:クラウド データの移行

Hadoop のデータ移行

Hadoopのデータ移行には、SqoopまたはDataWorksを使用できます。

• Sqoop では、MR ジョブが元の Hadoop クラスタ上で実行されるため、効率的なMaxCompute への分散データ転送が実現します。 詳細は、「Sqoop ツールの概要(Sqoop tool introduction)」をご参照ください。

• DataWorks と DataX を一緒に使用すると、Hadoop データを移行できます。

データベースの同期

MaxCompute にデータベースのデータを同期するには、データベースの種類と同期ルールに基づいて、適切なツールを選択する必要があります。

• オフライン バッチデータを同期化する場合は、DataWorks を使用します。 DataWorks は、MySQL、SQL Server、PostgreSQL を始めとした幅広いデータベースのタイプに対応しています。 詳細は、「データ統合ノード」をご参照ください。 インスタンスの操作手順については、「同期タスクの作成」をご参照ください。
• リアルタイムで Oracle データを同期する場合は、OGG プラグイン ツールを使用できます。
• リアルタイムで RDS データを同期する場合は、DTS を使用します。

ログ収集

ログ収集には、Flume、Fluentd、Logstash ツールを使用します。