Data Integration

Data Integration は、オールインワンのデータ同期プラットフォームで、 データソース、ネットワーク、ロケーションでのオンラインまたはオフラインデータ交換が可能

Data Integration

Data Integration は、複数のモジュール (ダーティデータ処理やフロー制御など) で高度な分散アーキテクチャに基づきデータ転送、データ変換および同期を提供する分散サービスです。マルチデータソース、高速転送、高い信頼性、スケーラビリティ、一括同期などの様々な特性を持っています。

メリット

複数の異なる種類のデータソースに対応
Data Integration は、400 パターンの組み合わせを超える異なるデータソース間のデータ同期に対応します。このようなデータソースとして、RDS データベース、半構造化ストレージ、非構造化ストレージ (オーディオ、ビデオ、画像など)、NoSQL データベース、およびビッグデータストレージなどがあります。 Data Integration では、Oracle、MySQL、DataHub などのデータソース間でのリアルタイムのデータの読み取りおよび書き込みも可能です。
タスクのスケジューリング
Data Integration では、特定のトリガー時間 (年、月、日、時間、分など) を設定することでオフラインタスクをスケジュールできます。必要なのは、定期的な増分データ抽出を設定するいくつかのステップだけです。Data Integration は、DataWorks データモデリングと完全に連動します。データモデリングタスクは、データをインポートした後すぐにトリガーされます。ワークフローの操作とメンテナンスがコンソールに統合されています。
クラウドへの一括アップロード
Data Integration は、Hadoop クラスターのコンピューティング能力を利用してクラスターから MaxCompute に HDFS データを同期します。これを一括クラウドアップロードと呼びます。Data Integration では、1 日あたり最大 5 TB のデータを転送できます。最大転送速度は 2 GB/秒です。
モニタリングとアラーム
19 個のビルトインモニタリングルールにより、Data Integration は多くのビジネスニーズに適用されます。これらのモニタリングルールに基づいてアラームルールを設定できます。また、Data Integration はタスク失敗通知条件を事前に定義できます。

特徴

  • データソース管理

    Data Integration は、2 つのデータ管理プラグインを提供します。読み取りプラグインはデータを読み取るために使用され、書き込みプラグインはデータを書き込むために使用されます。このフレームワークに基づいて、任意の構造化および半構造化データソース間でデータを交換するために、中間データ転送形式が利用できます。

  • ローカルデータ収集

    Data Integration では、Alibaba Cloud VPC 内でのデータ同期に加えて、ローカル IDC 内でのデータ収集が可能です。

  • 完全データベース移行

    フルデータベース移行は Data Integration によって提供されているツールであり、複数のデータ同期タスクの作成と、MySQL データベース内のすべてのデータテーブルの MaxCompute へのインポートを可能にします。フルデータベース移行を使用すると、同期タスクを 1 つずつ作成する必要がなくなります。

  • 増分同期

    Data Integration では、WHERE 句を使用して日付によるデータフィルタリングができます。異なる日付を持つデータは、関連する MaxCompute パーティションテーブルに同期されます。同期間隔は分単位、時間単位など任意に設定することができ、準リアルタイム増分同期を実行できます。

料金の概要

概要

Data Integration の購入方法は、従量課金のみです。

従量課金では、実際に使用した DMU に対して課金されます。また、保守コストなしで、必要に応じてリソースを有効化または停止できます。
タスクがシステムリソースグループ上で実行されている場合、価格は ¥6.5/時間/DMU です。タスクがカスタムリソースグループ上で実行されている場合、価格は ¥2.6/時間です。

※本プロダクトは2018年9月1日まで無料でご利用いただけます。2018年9月1日以降は上記料金で課金を開始いたします。