ダウンロード
スタンドアロン展開は Linux と Windows をサポートしています。
スタンドアロン展開用のツール、ossimport-2.3.3.zip をダウンロードします。 ツールをローカルディレクトリにダウンロードし、ツールまたは unzip
コマンドを使用してファイルを解凍します。 解凍後のファイル構造は次のとおりです。
ossimport
├── bin
│ └── ossimport2.jar # The JAR including master, worker, tracker, and console modules
├── conf
│ ├── local_job.cfg # The job configuration file
│ └── sys.properties # Configuration file of the system running parameters
├── console.bat # Windows command line, which can run distributed call-in tasks
├── console.sh # Linux command line, which can run distributed call-in tasks
├── import.bat # The configuration file for one-click import and execution in Windows is the data migration job configured in conf/local_job.cfg, including start, migration, validation, and retry
├── import.sh # The configuration file for one-click import and execution in Linux is the data migration job configured in conf/local_job.cfg, including start, migration, validation, and retry
├── logs # Log directory
└── README.md # Description documentation. We recommend that you carefully read the documentation before using the feature
設定
スタンドアロンバージョンには、次の 2 つの設定ファイルがあります。: conf/sys.properties
および conf/local_job.cfg
-
conf/sys.properties
内の構成項目 (workingDir
、workerUserName
、workerPassword
、およびprivateKeyFile
は変更しないでください。 conf/local_job.cfg
の名前と保存先を変更しないでください。jobName
構成項目を変更しないでください。
他の項目を適切に設定します。
注 ジョブを実行する前に、
sys.properties
および
local_job.cfg
のパラメーターを確認します。 ジョブ内のパラメーターは、ジョブの実行後に変更することはできません。
実行
スタンドアロンモードでは、データ移行ジョブには ワンクリックインポートとステップバイステップ実行の 2 つの実行モードがあります。
ワンクリックインポートによりすべての手順がカプセル化され、スクリプトの指示に従ってデータの移行を完了させることができます。
注 新規ユーザーにはワンクリックインポートを強く推奨します。
段階的な実行には、開始サービスの実行、ジョブの実行依頼、失敗したタスクの再試行が含まれます。
- ワンクリックインポート
- ワンクリックインポートを実行するには、Windows の cmd.exe で
import.bat
を実行し、Linux のbash import.sh
を実行します。 - 以前にこのジョブを実行したことがある場合は、最後のブレークポイントからジョブを続行するかどうか、または新しい同期ジョブを実行するかどうかを尋ねられます。 新しいデータ移行ジョブを開始した場合、または同期化されたソースエンドとデスティネーションエンドを変更した場合は、同期ジョブを再度実行します。
- Windows でジョブが開始されると、新しい cmd ウィンドウが開き、進行中の同期ジョブとログが表示されます。 古いウィンドウのジョブステータスは 10 秒ごとに更新されます。 データ移行プロセス中に前述の 2 つのウィンドウを閉じないでください。 Linux では、上記のプロセスはバックグラウンドで実行されます。
- ジョブが完了したときにタスクが失敗していた場合は、再試行するかどうかを尋ねられます。 再試行するには y を入力、このステップをスキップして終了するには n を入力します。
- アップロードが失敗した理由を確認するには、ファイル master/jobs/local_test/failed_tasks/<tasktaskid>/audit.log を開き、失敗の原因を確認します。
- ワンクリックインポートを実行するには、Windows の cmd.exe で
- ステップバイステップ実行
- 同じ名前のジョブを消去します。 以前に同じ名前のジョブを実行したことがあり、そのジョブを再度実行したい場合は、まず同じ名前のジョブを消去します。 ジョブを一度も実行したことがないか、失敗したジョブを再試行したい場合は、clear コマンドを実行しないでください。 Windows では、cmd.exe で
console.bat clean
を実行します。 Linux では、bash console.sh clean
を実行します。 - データ移行ジョブを送信します。OssImport は、同じ名前のジョブの送信をサポートしていません。 同じ名前のジョブが存在する場合は、最初に同じ名前のジョブを消去します。 投入されたジョブの構成ファイルは
conf/local_job.cfg
、既定のジョブ名は "local_test
" です。 ジョブを送信するには、Windows の cmd.exe でconsole.bat submit
を実行し、Linux のbash console.sh submit
を実行します。 - サービスを開始します。 Windows の cmd.exe で
console.bat start
を実行し、Linux のbash console.sh start
を実行します。 - ジョブの状況を表示します。 Windows の cmd.exe で
console.bat start
を実行し、Linux のbash console.sh start
を実行します。 - 失敗したタスクを再試行します。ネットワークの問題やその他の原因により、タスクが失敗することがあります。 失敗したタスクのみが再試行されます。Windows の cmd.exe で
console.bat
の再試行を実行し、bash console.sh
の再試行を実行します。 - サービスを停止します。 Windows でウィンドウ %JAVA_HOME%/bin/java.exe を閉じ、Linux で
bash console.sh stop
を実行します。
注 特別な要件がない場合は、データ移行にワンクリックインポートを使用することを推奨します。 - 同じ名前のジョブを消去します。 以前に同じ名前のジョブを実行したことがあり、そのジョブを再度実行したい場合は、まず同じ名前のジョブを消去します。 ジョブを一度も実行したことがないか、失敗したジョブを再試行したい場合は、clear コマンドを実行しないでください。 Windows では、cmd.exe で
- 失敗の一般的な原因
- アップロードの処理中に、ソースディレクトリ内のファイルが変更されたとします。 この原因は、log/audit.log の
SIZE_NOT_MATCH
エラーによって示されます。 この場合、古いファイルは正常にアップロードされていますが、変更は OSS に同期されていません。 - アップロード処理中にソースファイルが削除されると、ダウンロードに失敗します。
- ソースファイル名が OSS の命名規則に準拠していないと、(ファイル名を / で始めることはできません)、アップロードは失敗します。
- データソースファイルのダウンロードに失敗。
- プログラムは予期せずに終了します。ジョブ状況は "中止" です。 このような場合は、チケットを起票し、サポートセンターへお問い合わせください。
- アップロードの処理中に、ソースディレクトリ内のファイルが変更されたとします。 この原因は、log/audit.log の
- ジョブの状態とログ
ジョブが送信された後、マスターはジョブをタスクに分割し、ワーカーはタスクを実行し、トラッカーはタスクのステータスを収集します。 ジョブが完了すると、ossimport ディレクトリには次のものが含まれます。
ossimport ├── bin │ └── ossimport2.jar # The standalone version JAR ├── conf │ ├── local_job.cfg # The job configuration file │ └── sys.properties # Configuration file of the system running parameters ├── console.sh # The command line tool ├── import.sh # One-click import script ├── logs │ ├── import.log # Archive logs │ ├── job_stat.log # Job status record │ ├── ossimport2.log # Running log of the standalone version │ └── submit.log # Job submission record ├── master │ ├── jobqueue # Store jobs that have not been fully split │ └── jobs # Store the job running status │ └── local_test # Job name │ ├── checkpoints # The checkpoint record of the master splitting the job to tasks │ │ └── 0 │ │ └── 034DC9DD2860B0CFE884242BC6FF92E7.cpt │ ├── dispatched # Tasks that have been assigned to the workers but haven't been fully run │ │ └── localhost │ ├── failed_tasks # Tasks that failed to run │ ├── pending_tasks # Tasks that have not been assigned │ └── succeed_tasks # Tasks that run successfully │ └── A41506C07BF1DF2A3EDB4CE31756B93F_1499744514501@localhost │ ├── audit.log # The task running log. You can view the error causes in the log │ ├── DONE # Mark of successful tasks │ ├── error.list # The task error list. You can view the error file list │ ├── STATUS # The task status marker file. The content is Failed or Completed │ └── TASK # The task description information └── worker # Status of the task being run by the worker. After running, tasks are managed by the master └── jobs └── local_test └── tasks
注記:
- ジョブの実行情報については、log/ossimport2.log をご参照ください。
- タスク失敗の原因については、master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log を表示してください。
- 失敗したタスクファイルについては、master/jobs/${JobName}/failed_tasks/${TaskName}/error.list を表示してください。
よくあるご質問
「よくあるご質問」をご参照ください。