スタンドアロン展開

ダウンロード

スタンドアロン展開は Linux と Windows をサポートしています。

スタンドアロン展開用のツール、ossimport-2.3.3.zip をダウンロードします。 ツールをローカルディレクトリにダウンロードし、ツールまたは unzip コマンドを使用してファイルを解凍します。 解凍後のファイル構造は次のとおりです。

ossimport
├── bin
│   └── ossimport2.jar  # The JAR including master, worker, tracker, and console modules
├── conf
│   ├── local_job.cfg   # The job configuration file
│   └── sys.properties  # Configuration file of the system running parameters
├── console.bat         # Windows command line, which can run distributed call-in tasks
├── console.sh          # Linux command line, which can run distributed call-in tasks
├── import.bat          # The configuration file for one-click import and execution in Windows is the data migration job configured in conf/local_job.cfg, including start, migration, validation, and retry
├── import.sh           # The configuration file for one-click import and execution in Linux is the data migration job configured in conf/local_job.cfg, including start, migration, validation, and retry
├── logs                # Log directory
└── README.md           # Description documentation. We recommend that you carefully read the documentation before using the feature

設定

スタンドアロンバージョンには、次の 2 つの設定ファイルがあります。: conf/sys.properties および conf/local_job.cfg

• conf/sys.properties 内の構成項目 (workingDir、workerUserName、workerPassword、およびprivateKeyFile は変更しないでください。

• conf/local_job.cfg の名前と保存先を変更しないでください。 jobName 構成項目を変更しないでください。

他の項目を適切に設定します。

実行

スタンドアロンモードでは、データ移行ジョブには ワンクリックインポートとステップバイステップ実行の 2 つの実行モードがあります。

段階的な実行には、開始サービスの実行、ジョブの実行依頼、失敗したタスクの再試行が含まれます。

• ワンクリックインポート
  1. ワンクリックインポートを実行するには、Windows の cmd.exe で import.bat を実行し、Linux のbash import.sh を実行します。
  2. 以前にこのジョブを実行したことがある場合は、最後のブレークポイントからジョブを続行するかどうか、または新しい同期ジョブを実行するかどうかを尋ねられます。 新しいデータ移行ジョブを開始した場合、または同期化されたソースエンドとデスティネーションエンドを変更した場合は、同期ジョブを再度実行します。
  3. Windows でジョブが開始されると、新しい cmd ウィンドウが開き、進行中の同期ジョブとログが表示されます。 古いウィンドウのジョブステータスは 10 秒ごとに更新されます。 データ移行プロセス中に前述の 2 つのウィンドウを閉じないでください。 Linux では、上記のプロセスはバックグラウンドで実行されます。
  4. ジョブが完了したときにタスクが失敗していた場合は、再試行するかどうかを尋ねられます。 再試行するには y を入力、このステップをスキップして終了するには n を入力します。
  5. アップロードが失敗した理由を確認するには、ファイル master/jobs/local_test/failed_tasks/<tasktaskid>/audit.log を開き、失敗の原因を確認します。
• ステップバイステップ実行
  1. 同じ名前のジョブを消去します。 以前に同じ名前のジョブを実行したことがあり、そのジョブを再度実行したい場合は、まず同じ名前のジョブを消去します。 ジョブを一度も実行したことがないか、失敗したジョブを再試行したい場合は、clear コマンドを実行しないでください。 Windows では、cmd.exe で console.bat clean を実行します。 Linux では、bash console.sh clean を実行します。
  2. データ移行ジョブを送信します。OssImport は、同じ名前のジョブの送信をサポートしていません。 同じ名前のジョブが存在する場合は、最初に同じ名前のジョブを消去します。 投入されたジョブの構成ファイルは conf/local_job.cfg、既定のジョブ名は "local_test" です。 ジョブを送信するには、Windows の cmd.exe で console.bat submit を実行し、Linux の bash console.sh submit を実行します。
  3. サービスを開始します。 Windows の cmd.exe で console.bat start を実行し、Linux の bash console.sh start を実行します。
  4. ジョブの状況を表示します。 Windows の cmd.exe で console.bat start を実行し、Linux の bash console.sh start を実行します。
  5. 失敗したタスクを再試行します。ネットワークの問題やその他の原因により、タスクが失敗することがあります。 失敗したタスクのみが再試行されます。Windows の cmd.exe で console.bat の再試行を実行し、bash console.sh の再試行を実行します。
  6. サービスを停止します。 Windows でウィンドウ %JAVA_HOME%/bin/java.exe を閉じ、Linux でbash console.sh stop を実行します。
  注 特別な要件がない場合は、データ移行にワンクリックインポートを使用することを推奨します。
• 失敗の一般的な原因
  • アップロードの処理中に、ソースディレクトリ内のファイルが変更されたとします。 この原因は、log/audit.log の SIZE_NOT_MATCH エラーによって示されます。 この場合、古いファイルは正常にアップロードされていますが、変更は OSS に同期されていません。
  • アップロード処理中にソースファイルが削除されると、ダウンロードに失敗します。
  • ソースファイル名が OSS の命名規則に準拠していないと、(ファイル名を / で始めることはできません)、アップロードは失敗します。
  • データソースファイルのダウンロードに失敗。
  • プログラムは予期せずに終了します。ジョブ状況は "中止" です。 このような場合は、チケットを起票し、サポートセンターへお問い合わせください。
• ジョブの状態とログ

  ジョブが送信された後、マスターはジョブをタスクに分割し、ワーカーはタスクを実行し、トラッカーはタスクのステータスを収集します。 ジョブが完了すると、ossimport ディレクトリには次のものが含まれます。

  ossimport
  ├── bin
  │   └── ossimport2.jar    # The standalone version JAR
  ├── conf
  │   ├── local_job.cfg     # The job configuration file
  │   └── sys.properties    # Configuration file of the system running parameters
  ├── console.sh            # The command line tool
  ├── import.sh             # One-click import script
  ├── logs
  │   ├── import.log        # Archive logs
  │   ├── job_stat.log      # Job status record
  │   ├── ossimport2.log    # Running log of the standalone version
  │   └── submit.log        # Job submission record
  ├── master
  │   ├── jobqueue                # Store jobs that have not been fully split
  │   └── jobs                    # Store the job running status
  │       └── local_test          # Job name
  │           ├── checkpoints     # The checkpoint record of the master splitting the job to tasks
  │           │   └── 0
  │           │       └── 034DC9DD2860B0CFE884242BC6FF92E7.cpt
  │           ├── dispatched      # Tasks that have been assigned to the workers but haven't been fully run
  │           │   └── localhost
  │           ├── failed_tasks    # Tasks that failed to run
  │           ├── pending_tasks   # Tasks that have not been assigned
  │           └── succeed_tasks   # Tasks that run successfully
  │               └── A41506C07BF1DF2A3EDB4CE31756B93F_1499744514501@localhost
  │                   ├── audit.log   # The task running log. You can view the error causes in the log
  │                   ├── DONE        # Mark of successful tasks
  │                   ├── error.list  # The task error list. You can view the error file list
  │                   ├── STATUS      # The task status marker file. The content is Failed or Completed
  │                   └── TASK        # The task description information
  └── worker      # Status of the task being run by the worker. After running, tasks are managed by the master
      └── jobs
          └── local_test
              └── tasks

  注記:

  • ジョブの実行情報については、log/ossimport2.log をご参照ください。
  • タスク失敗の原因については、master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log を表示してください。
  • 失敗したタスクファイルについては、master/jobs/${JobName}/failed_tasks/${TaskName}/error.list を表示してください。

よくあるご質問

「よくあるご質問」をご参照ください。