ダウンロード

スタンドアロン展開は Linux と Windows をサポートしています。

スタンドアロン展開用のツール、ossimport-2.3.3.zip をダウンロードします。 ツールをローカルディレクトリにダウンロードし、ツールまたは unzip コマンドを使用してファイルを解凍します。 解凍後のファイル構造は次のとおりです。

ossimport
├── bin
│   └── ossimport2.jar  # The JAR including master, worker, tracker, and console modules
├── conf
│   ├── local_job.cfg   # The job configuration file
│   └── sys.properties  # Configuration file of the system running parameters
├── console.bat         # Windows command line, which can run distributed call-in tasks
├── console.sh          # Linux command line, which can run distributed call-in tasks
├── import.bat          # The configuration file for one-click import and execution in Windows is the data migration job configured in conf/local_job.cfg, including start, migration, validation, and retry
├── import.sh           # The configuration file for one-click import and execution in Linux is the data migration job configured in conf/local_job.cfg, including start, migration, validation, and retry
├── logs                # Log directory
└── README.md           # Description documentation. We recommend that you carefully read the documentation before using the feature

設定

スタンドアロンバージョンには、次の 2 つの設定ファイルがあります。: conf/sys.properties および conf/local_job.cfg

  • conf/sys.properties 内の構成項目 (workingDirworkerUserNameworkerPassword、およびprivateKeyFile は変更しないでください。

  • conf/local_job.cfg の名前と保存先を変更しないでください。 jobName 構成項目を変更しないでください。

他の項目を適切に設定します。

ジョブを実行する前に、 sys.properties および local_job.cfg のパラメーターを確認します。 ジョブ内のパラメーターは、ジョブの実行後に変更することはできません。

実行

スタンドアロンモードでは、データ移行ジョブには ワンクリックインポートとステップバイステップ実行の 2 つの実行モードがあります。

ワンクリックインポートによりすべての手順がカプセル化され、スクリプトの指示に従ってデータの移行を完了させることができます。
新規ユーザーにはワンクリックインポートを強く推奨します。

段階的な実行には、開始サービスの実行、ジョブの実行依頼、失敗したタスクの再試行が含まれます。

  • ワンクリックインポート
    1. ワンクリックインポートを実行するには、Windows の cmd.exe で import.bat を実行し、Linux のbash import.sh を実行します。
    2. 以前にこのジョブを実行したことがある場合は、最後のブレークポイントからジョブを続行するかどうか、または新しい同期ジョブを実行するかどうかを尋ねられます。 新しいデータ移行ジョブを開始した場合、または同期化されたソースエンドとデスティネーションエンドを変更した場合は、同期ジョブを再度実行します。
    3. Windows でジョブが開始されると、新しい cmd ウィンドウが開き、進行中の同期ジョブとログが表示されます。 古いウィンドウのジョブステータスは 10 秒ごとに更新されます。 データ移行プロセス中に前述の 2 つのウィンドウを閉じないでください。 Linux では、上記のプロセスはバックグラウンドで実行されます。
    4. ジョブが完了したときにタスクが失敗していた場合は、再試行するかどうかを尋ねられます。 再試行するには y を入力、このステップをスキップして終了するには n を入力します。
    5. アップロードが失敗した理由を確認するには、ファイル master/jobs/local_test/failed_tasks/<tasktaskid>/audit.log を開き、失敗の原因を確認します。
  • ステップバイステップ実行
    1. 同じ名前のジョブを消去します。 以前に同じ名前のジョブを実行したことがあり、そのジョブを再度実行したい場合は、まず同じ名前のジョブを消去します。 ジョブを一度も実行したことがないか、失敗したジョブを再試行したい場合は、clear コマンドを実行しないでください。 Windows では、cmd.execonsole.bat clean を実行します。 Linux では、bash console.sh clean を実行します。
    2. データ移行ジョブを送信します。OssImport は、同じ名前のジョブの送信をサポートしていません。 同じ名前のジョブが存在する場合は、最初に同じ名前のジョブを消去します。 投入されたジョブの構成ファイルは conf/local_job.cfg、既定のジョブ名は "local_test" です。 ジョブを送信するには、Windows の cmd.execonsole.bat submit を実行し、Linux の bash console.sh submit を実行します。
    3. サービスを開始します。 Windows の cmd.execonsole.bat start を実行し、Linux の bash console.sh start を実行します。
    4. ジョブの状況を表示します。 Windows の cmd.execonsole.bat start を実行し、Linux の bash console.sh start を実行します。
    5. 失敗したタスクを再試行します。ネットワークの問題やその他の原因により、タスクが失敗することがあります。 失敗したタスクのみが再試行されます。Windows の cmd.execonsole.bat の再試行を実行し、bash console.sh の再試行を実行します。
    6. サービスを停止します。 Windows でウィンドウ %JAVA_HOME%/bin/java.exe を閉じ、Linux でbash console.sh stop を実行します。
    特別な要件がない場合は、データ移行にワンクリックインポートを使用することを推奨します。
  • 失敗の一般的な原因
    • アップロードの処理中に、ソースディレクトリ内のファイルが変更されたとします。 この原因は、log/audit.logSIZE_NOT_MATCH エラーによって示されます。 この場合、古いファイルは正常にアップロードされていますが、変更は OSS に同期されていません。
    • アップロード処理中にソースファイルが削除されると、ダウンロードに失敗します。
    • ソースファイル名が OSS の命名規則に準拠していないと、(ファイル名を / で始めることはできません)、アップロードは失敗します。
    • データソースファイルのダウンロードに失敗。
    • プログラムは予期せずに終了します。ジョブ状況は "中止" です。 このような場合は、チケットを起票し、サポートセンターへお問い合わせください。
  • ジョブの状態とログ

    ジョブが送信された後、マスターはジョブをタスクに分割し、ワーカーはタスクを実行し、トラッカーはタスクのステータスを収集します。 ジョブが完了すると、ossimport ディレクトリには次のものが含まれます。

    ossimport
    ├── bin
    │   └── ossimport2.jar    # The standalone version JAR
    ├── conf
    │   ├── local_job.cfg     # The job configuration file
    │   └── sys.properties    # Configuration file of the system running parameters
    ├── console.sh            # The command line tool
    ├── import.sh             # One-click import script
    ├── logs
    │   ├── import.log        # Archive logs
    │   ├── job_stat.log      # Job status record
    │   ├── ossimport2.log    # Running log of the standalone version
    │   └── submit.log        # Job submission record
    ├── master
    │   ├── jobqueue                # Store jobs that have not been fully split
    │   └── jobs                    # Store the job running status
    │       └── local_test          # Job name
    │           ├── checkpoints     # The checkpoint record of the master splitting the job to tasks
    │           │   └── 0
    │           │       └── 034DC9DD2860B0CFE884242BC6FF92E7.cpt
    │           ├── dispatched      # Tasks that have been assigned to the workers but haven't been fully run
    │           │   └── localhost
    │           ├── failed_tasks    # Tasks that failed to run
    │           ├── pending_tasks   # Tasks that have not been assigned
    │           └── succeed_tasks   # Tasks that run successfully
    │               └── A41506C07BF1DF2A3EDB4CE31756B93F_1499744514501@localhost
    │                   ├── audit.log   # The task running log. You can view the error causes in the log
    │                   ├── DONE        # Mark of successful tasks
    │                   ├── error.list  # The task error list. You can view the error file list
    │                   ├── STATUS      # The task status marker file. The content is Failed or Completed
    │                   └── TASK        # The task description information
    └── worker      # Status of the task being run by the worker. After running, tasks are managed by the master
        └── jobs
            └── local_test
                └── tasks

    注記:

    • ジョブの実行情報については、log/ossimport2.log をご参照ください。
    • タスク失敗の原因については、master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log を表示してください。
    • 失敗したタスクファイルについては、master/jobs/${JobName}/failed_tasks/${TaskName}/error.list を表示してください。

よくあるご質問

よくあるご質問」をご参照ください。