edit-icon download-icon

データ同期概要

最終更新日: Jun 08, 2018

Alibaba Group は、安定した、効率的で、弾力的にスケーラブルなサービスを提供するデータ同期プラットフォームである Data Integration を提供しています。複雑なネットワーク環境における複数の異なる種類のデータソース間での、高速で安定したデータ移動と同期を実現するよう設計されています。

オフライン (バッチ) データ同期の紹介

オフライン (バッチ) データチャネルは、ソースとターゲットのデータベース、およびデータセットを定義することによって、一連の抽象的なデータ読み取りプラグイン (リーダー) とデータ書き込みプラグイン (ライター) を提供します。また、構造化されたデータソースと半構造化されたデータソースの間でデータを転送するためのフレームワークに基づいて、一連の単純化された中間データ転送フォーマットを設計します。

offline-trans

サポートしているデータソース

Data Integration では、次のようなデータソースの幅広いオプションを用意しています。

  • テキストストレージ (FTP/SFTP/OSS/マルチメディアファイル)

  • データベース (RDS/DRDS/MySQL/PostgreSQL)

  • NoSQL (Memcache/Redis/MongoDB/HBase)

  • ビッグデータ (MaxCompute/AnalyticDB/HDFS)

  • MPP データベース (HybridDB for MySQL)

詳細は、「サポートしているデータソース」をご参照ください。

注意:

異なる種類のデータソースの設定情報は、著しく違っており、実際のユースケースに基づいて詳細にパラメーター設定情報を照会する必要があります。このため、パラメーターの詳細な説明は、データソース設定およびジョブ設定ページで参照でき、必要に応じて問合せや使用が可能です。

同期開発の説明

同期開発には、ウィザードとスクリプトという 2 つの開発モードがあります。

ウィザード

ウィザードモードは、視覚化された開発ガイダンスと、データ同期タスクの設定に関する包括的な詳細を提供します。このモードは費用対効果に優れていますが、一部の高度な機能はありません。

スクリプト

スクリプトモードは、データ同期の開発を完了するための、データ同期 JSON スクリプトを直接記述することができます。このモードは上級ユーザーに適しており、高い学習コストを特長としています。また、このモードでは、細分化された設定管理用の柔軟な機能も豊富に用意されています。

注意:

  • ウィザードモードで生成されたコードは、スクリプトモードで生成されたコードに変換できます。この変換は単方向であり、結果のコードはウィザードモードのコードに戻すことはできません。これは、スクリプトモードの機能がウィザードモードの機能のスーパーセットであるためです。

  • コードを書く前に、常にデータソースを設定してターゲットテーブルを作成してください。

ネットワークタイプの説明

ネットワークは、クラシックネットワーク、VPC、ローカル IDC ネットワーク (計画) に分類できます。

  • クラシックネットワーク:Alibaba Cloud 公共インフラストラクチャネットワーク上に集中配備され、Alibaba Cloud によって計画され、管理されるネットワークです。このネットワークは、使いやすさを求めるユーザーに適しています。

  • VPC ネットワーク:Alibaba Cloud に基づいて作成された独立したネットワーク環境です。このネットワークでは、IP アドレス範囲のカスタマイズ、ネットワークセグメントのパーティション化、ルーティングテーブルとゲートウェイの設定など、仮想ネットワークを完全に制御できます。

  • ローカル IDC ネットワーク:サーバールームのネットワーク環境で、Alibaba Cloud ネットワークから隔離されています。

補足説明

  • パブリックネットワークアクセスがサポートされています - クラシックネットワークをネットワークタイプとして選択するだけです。このタイプのネットワークを使用する場合、パブリックネットワーク帯域幅の速度と関連するネットワークトラフィック料金に注意してください。特別な場合を除いてお勧めしていません。

  • 計画中のネットワーク上のデータを同期するために、新しいローカル実行リソースをスクリプトモードとともに使用できます。または、SHELL + DataX ソリューションが使用できます。

  • Virtual Private Cloud (VPC) は、独立したネットワーク環境を作成し、IP アドレス範囲、ネットワークセグメント、およびゲートウェイをカスタマイズできます。VPC のセキュリティが向上すると VPC アプリケーションが拡張されます。Data Integration では RDS for MySQL、RDS for SQL Server、RDS for PostgreSQL が提供され、VPC と同じネットワーク上にある余分な ECS を購入する必要はありません。代わりに、システムは逆プロキシを使用してデバイスを自動的に検出することによって相互接続性を確実に提供します。PPAS、OceanBase、Redis、MongoDB、Memcache、TableStore、HBase などの他の Alibaba Cloud データベースのサポートも今後利用可能になります。RDS 以外のデータソースの場合、VPC ネットワーク上のデータ統合同期タスクを設定し、相互接続性を保証するには、同じネットワーク上の ECS が必要です。

制約と制限

  • 構造化され (RDS、DRDSなど)、半構造化および非構造化 (OSS、TXT など、特定のデータ同期タスクは構造化データとして抽象化されている必要があります) されたデータ同期タスクがサポートされています。つまり、Data Integration は論理 2 次元テーブルとして抽象化できるデータの送信と同期をサポートします。現在 OSS に格納されている MP3 オーディオなど他の非構造化データについては、Data Integration は MaxCompute との同期をサポートしていません。しかし、将来的には利用可能になります。

  • 単一および特定のクロスリージョンデータストレージ間のデータ同期およびデータ交換がサポートされています。

  • 一部のリージョンでは、クロスリージョンのデータ送信はサポートされていますが、クラシックネットワークでは保証されていません。クラシックネットワークが切断されているときにこの機能を使用する必要がある場合は、代わりにパブリックネットワーク接続の使用をご検討ください。

  • データ同期 (送信) のみが実行され、データストリームの消費プランは提供されません。

ヘルプ