データ同期タスク

最終更新日: Apr 17, 2018

データ統合機能を使用すると、システムで生成されたビジネス・データをワークスペースに定期的にインポートし、さらに表示または操作するために指定したデータ・ソースにフロー計算結果を定期的にエクスポートできます。

DataWorsStep3

現在、以下のデータソースからのデータは、RDS、MySQL、SQL Server、PostgreSQL、 MaxCompute 、 ApsaraDB for Memcache 、DRDS、OSS、Oracle、FTP、DM、Hdfs などのデータ統合機能を介してワークスペースにインポートまたはエクスポートできます。 MongoDB などがあります。詳細は、サポートされているデータソースの種類を参照してください。

このセクションでは、 MySQL を例として、データ統合機能を使用して、データ IDE のデータを MySQL にエクスポートする方法を示します。

前提条件

データベースが ECS または RDS/MongoDB データソースの自己構築データベースである場合は、データ同期マシンの IP アドレスホワイトリストを ECS セキュリティグループまたは RDS/MongoDB ホワイトリストに追加する必要があります。詳細については、ホワイトリストとセキュリティグループを追加するを参照してください。

注意:

カスタムリソースグループを使用して RDS データ同期タスクをスケジュールする場合は、カスタムリソースグループのマシン IP アドレスを RDS ホワイトリストに追加する必要があります。

手順

データソースを追加する

注意:

プロジェクト管理者だけがデータソースを作成できます。他のロールはデータソースのみを表示できます。

  1. 管理者として DataWorks コンソールにログオンし、プロジェクトリストの該当するプロジェクトの操作列でワークスペースの入力をクリックします。

  2. 上部メニューからデータ統合をクリックし、左側のナビゲーションペインでデータソースをクリックします。

  3. 次の図に示すように、右上隅の [新しいソース] をクリックします。

    NewSoucePage

  4. 次の図に示すように、[データソースの作成]ダイアログボックスで設定項目を入力します。

    AddNewSource

    • 型 :データソースのネットワーク型 。
    • 名前:名前には文字、数字、およびアンダースコア()を含める必要がありますが、数字またはアンダースコア() で始めることはできません( abc_123 など)。
    • 説明:説明は 80 文字を超えることはできません。
    • JDBC URL:
    • ユーザー名/パスワード:ユーザー名とパスワードは、データベースへの接続に使用されます。

      さまざまなタイプのデータソースの設定については、データソース設定の記事を参照してください。

  5. 接続テストをクリックします。

  6. 接続テストが成功した場合は、[保存]をクリックします。

    注意:

    対象の MySQL データベースにテーブルが含まれていることを確認します。

MySQL データベースに odps_result テーブルを作成します。テーブルの作成に使用されるステートメントは、以下のとおりです。

  1. CREATE TABLE `ODPS_RESULT` (
  2. `education` varchar(255) NULL ,
  3. `num` int(10) NULL
  4. )

テーブルの作成後、 desc odps_result; を実行すると、テーブルの詳細を表示できます。

同期ノードを作成して設定する

この節では、同期ノード write_result を作成および構成し、 result_table から MySQL データベースにデータを書き込む方法を示します。具体的な手順は次のとおりです。

  1. 次の図に示すように、ノード write_result を作成します。

    19

    20

  2. ソースを選択します。

    次の図に示すように、 MaxCompute データソースとソーステーブル result_table を選択し、 Next をクリックします。 21

  3. ターゲットを選択します。

    次の図に示すように、 MySQL データソースとターゲットテーブル odps_result を選択し、 [次へ] をクリックします。 22

  4. フィールドをマップします。

    フィールド間のマッピングを選択します。フィールドマッピング関係を設定する必要があります。左側のソーステーブルフィールドは、右側のターゲットテーブルフィールドに対応しています(1 対 1)。FieldMapping

  5. チャネルを制御します。

    次の図に示すように、 [次へ] をクリックして、最大ジョブ率とダーティデータチェックルールを設定します。

    24

  6. プレビューと保存。

    構成後、上下にスクロールしてタスク構成を表示できます。エラーが見つからない場合は、[保存]をクリックします。25

データ同期タスクを送信する

同期タスクを保存したら [送信] をクリックすると、同期タスクがスケジューリングシステムに送信されます。スケジューリングシステムは、構成属性に従って 2 日目以降のタスクを自動的かつ定期的に実行します。

後続のステップ

ここでは、同期タスクを作成し、さまざまな種類のデータソースにデータをエクスポートする方法を理解しています。さらなる研究のために、次のチュートリアルに進みます。このチュートリアルでは、同期タスクのスケジューリング属性と依存関係を設定する方法について説明します。詳細は、タスクスケジューリングの属性と依存関係の設定を参照してください。