このトピックでは、OssImport を使用してサードパーティー製ストレージプロダクト (または別の OSS ソース) から OSS にデータを移行する方法について説明します。
環境設定
- スタンドアロンモードは、データサイズが 30 TB 未満の小規模データ移行シナリオに適用されます。分散モードは、大規模なデータ移行シナリオに適用されます。
- 分散モードは、大規模なデータ移行シナリオに適用されます。
- OSS の有効化
- Alibaba Cloud アカウントを使用し、中国 (杭州) に OSS バケットを作成します。
- RAM コンソールで RAM ユーザーを作成し、その RAM ユーザーに OSS アクセス権を付与します。 RAM ユーザーの AccessKeyID と AccessKeySecret も安全に保管する必要があります。
- ECS インスタンスの購入
OSS バケットが作成される中国 (杭州) リージョンに、2 つの CPU と 4 GB のメモリを持つ ECS インスタンスを購入します。 データ移行後、ECS インスタンスを解放する場合は、インスタンスを購入するときの請求方法に、[従量課金] を選択することを推奨します。
必要な ECS インスタンスの数は、"X/Y/(Z/100)" のように計算できます。 この式で、X は移行が必要なデータのサイズ、Y は移行に必要な日数、Z は 1 つの ECS インスタンスの転送速度 (MB/秒)を表しています。つまり、1 日に 1 つの ECS インスタンスで移行できるデータ量 (Z/100 として計算)を表します。 ECS インスタンスの転送速度が 200 MB/秒であるとします (つまり、ECS インスタンスは毎日 2 TB のデータを移行できます)。 すると、合計で 36 の ECS インスタンスを購入する必要があります (500/7/2 から計算)。
- OssImport の設定
この例の大規模なデータ移行要件では、OssImport を ECS インスタンスに分散モードで展開する必要があります。
conf/job.cfg
、conf/sys.properties
、および同時実行制御などの分散モードに関する設定情報については、「アーキテクチャと設定」をご参照ください。 OssImport のダウンロード方法や、OssImport 構成のトラブルシューティングなど、OssImport の分散デプロイメントの詳細については、「分散デプロイメント」を参照してください。
手順

- 時刻 T1 より前に AWS S3 の履歴データを完全に移行します。 詳しくは、「分散デプロイメント」の [展開中] のセクションを参照してください。
T1 は UNIX のタイムスタンプ、つまり 1970 年 1 月 1 日の UTC 00:00 から経過した秒数で、
date +%s
コマンドを実行して取得できます。 - OSS コンソールで、 「Back-to-Origin」を有効にします。対象のバケットの場合は、AWS S3 のアクセス URL をオリジン URL に設定します。
- AWS S3 上のすべての読み取りおよび書き込み操作を OSS に切り替え、時間を記録します (T2)。
このように、T1 より前のすべての履歴データは OSS バケットから直接読み取られ、T1 と T2 の間に格納されたデータは OSS のミラーリング Back-to-Origin 機能を通じて AWS S3 から読み取られます。
T2 の後、新しいデータはすべて OSS に書き込まれ、新しいデータは AWS S3 に書き込まれません。
- 構成ファイル
job.cfg
の項目importSince=T1
を変更してから、再度、移行タスクを開始して、T1 と T2 の間に追加されたデータを移行します。注- 手順 4 の後、すべての読み取りおよび書き込み操作は対象の OSS バケットで実行されます。 AWS S3 に保存されているデータは履歴データであり、必要に応じて保持または削除できます。
- OssImport はデータの移行と検証のみを行い、削除はしません。
データ移行中には、さまざまなコストが発生します。ECS インスタンスのコスト、トラフィックコスト、ストレージコスト、時間に依存するコストなどが発生します。 また、移行するデータのサイズが 1TB を超えると、移行に時間がかかるため、ストレージコストが増加します。 ただし、ストレージコストは通常、ネットワークトラフィックおよび ECS インスタンスに関連するコストよりも低く保たれます。 より多くの ECS インスタンスを使用することで、移行に必要な時間を短縮できます。
参考資料
OssImport の詳細については、以下のドキュメントをご参照ください。