:Data Integration を使用したデータ

ユースケース

Data Integration で同期ジョブを使用すると、次のことができます。

• AnalyticDB for PostgreSQL 内のデータを他のデータソースと同期させ、 データに対して期待される処理を実行します。

• 他のデータソースから処理されたデータを AnalyticDB for PostgreSQL に 同期します。

前提条件

Data Integration と AnalyticDB for PostgreSQL サイドでのそれぞれの操作が 完了していること。

Data Integration

Data Integration でプロジェクトを作成するには、次の手順に従います。

1. 正式な Alibaba Cloud Web サイトで実名認証のアカウントを開き、 アカウントにアクセスするための AccessKey を作成します。

2. MaxCompute を起動すると、システムが自動的にデフォルトの ODPS データソースを 生成します。 プライマリアカウントを使用して Data IDE にログインします。

3. プロジェクトを作成します。 ユーザーはプロジェクト内で共同作業をし、ワークフローを完成させ、 データとジョブを一緒に維持します。 このため、 データ IDE を使用する前にプロジェクトを作成する必要があります。

4. サブアカウントを用いて Data Integration ジョブを作成する場合には、 サブアカウントに関連する権限を付与する必要があります。

AnalyticDB for PostgreSQL

データをインポートする前に、PostgreSQL クライアント上でデータの移行先となる AnalyticDB for PostgreSQL でターゲットデータベースとテーブルを 作成する必要があります。

データのエクスポート元となるソースデータベースがAnalyticDB for PostgreSQLの場合、 AnalyticDB for PostgreSQL のコンソールに、「IP ホワイトリストを設定する」ことを 推奨します。 次の手順に従って、IP ホワイトリストを設定します。

1. AnalyticDB for MySQL コンソールにログインします 。

2. 目的のインスタンスを選択し、[ホワイトグループリストの 追加]をクリックします。これは、[データセキュリティー]ページの下の [ホワイトリストの設定]ページになります。

3. 以下の IP アドレスを追加します。 10.152.69.0/24,10.153.136.0/24,10.143.32.0/24,120.27.160.26,10.46.67.156,120.27.160.81,10.46.64.81,121.43.110.160,10.117.39.238,121.43.112.137,10.117.28.203,118.178.84.74,10.27.63.41,118.178.56.228,10.27.63.60,118.178.59.233,10.27.63.38,118.178.142.154,10.27.63.15,100.64.0.0/8

           </section>
           <section class="section" id="addsource">
              <h2 class="title sectiontitle" id="title-3oe-y4s-g49">データソースの追加</h2>
              <p class="p" id="p-4hy-spn-feq">AnalyticDB for PostgreSQL へのデータ同期のための Data Integration を行う前に、新しい AnalyticDB for PostgreSQL
                 データソースが Data Integration に 追加される必要があります。 データソースを追加するには、 次の手順に従います。
              </p>
              <ol class="ol" id="ol-zrf-p3z-gfb">
                 <li class="li" id="li-7e7-dy0-ugv"><a title="" href="https://workbench.data.aliyun.com/console">「DataWorks コンソール」</a>に管理者としてログインし、 プロジェクトリスト内の関連プロジェクトの操作列で <span class="ph uicontrol" id="uicontrol-sot-8ub-t5w">[ワークスペースを入力]</span> を クリックします。
                 </li>
                 <li class="li" id="li-pjo-0n7-lno">上部のナビゲーションバーにある <span class="ph uicontrol" id="uicontrol-ul5-sn1-epr">[Data Integration]</span> をクリックし、 <span class="ph uicontrol" id="uicontrol-ka0-j8d-iu6">[データソース]</span> ページに行きます。
                 </li>
                 <li class="li" id="li-tst-wi7-4mc"><span class="ph uicontrol" id="uicontrol-kd1-6cl-rjl">[新しいソース]</span> をクリックし、サポートされているデータソースを 表示します。
                 </li>
                 <li class="li" id="li-fyz-g37-kdz"><span class="keyword wintitle" id="wintitle-t6l-fsv-d8g">[新しいデータソース]</span> ウィンドウで、 <span class="keyword parmname" id="parmname-fb6-jg3-7a5">PostgreSQL</span> を <span class="ph uicontrol" id="uicontrol-ysz-5nw-5qp">[データソース タイプ]</span> として選択します。
                 </li>
                 <li class="li" id="li-gd1-t8t-7pg">
                    <p class="p" id="p-4m4-19s-pna"><strong class="ph b" id="b-gy9-104-dj8">JDBC</strong> インスタンスの形式で PostgreSQL データソースを選択して 設定します。 パラメーターは次のとおりです。
                    </p>
                    <ul class="ul" id="ul-rfx-dkz-gfb">
                       <li class="li" id="li-cv0-s2w-k2o">タイプ: 公衆 IP アドレスなしのデータソース。</li>
                       <li class="li" id="li-bzk-lli-jzr">名前: 文字、数字、下線の組み合わせで、 文字またはアンダースコアで始め、60 文字を超えることはできません。</li>
                       <li class="li" id="li-gta-xg8-qpc">説明: データソースについての 80 文字を超えない 短い説明です。</li>
                       <li class="li" id="li-9mp-6c0-c0r">リソースグループ: 同期タスクの実行であり、一般的に リソースグループを追加する際には、複数のマシンがバインドされます。 詳細につきましては、 <a title="" href="https://www.alibabacloud.com/help/doc-detail/72979.htm#concept-wfz-j45-q2b">「スケジューリングリソースの追加」</a>をご参照ください。
                       </li>
                       <li class="li" id="li-i35-bik-xub">JDBC URL: Format: jdbc:mysql://ServerIP:Port/database.</li>
                       <li class="li" id="li-659-pcp-6hc">ユーザ名/パスワード: データベースの接続に使用されるユーザ名と パスワードです。</li>
                    </ul>
                 </li>
                 <li class="li" id="li-bsj-5b0-a61">
                    <p class="p" id="p-535-qc3-t9p">設定が完了したら、<span class="ph uicontrol" id="uicontrol-lqc-mkh-7sf">[接続性の テスト]</span> をクリックします。
                    </p>
                 </li>
                 <li class="li" id="li-mqn-whw-22g">
                    <p class="p" id="p-fv4-za4-x47">接続テストに合格したら、 <span class="ph uicontrol" id="uicontrol-yyv-fou-wdq">[完了]</span> をクリックします。
                    </p>
                 </li>
              </ol>
           </section>
           <section class="section" id="section-w49-37z-air">
              <h2 class="title sectiontitle" id="title-r15-xfd-j5h">Data Integration を使用してデータをインポートする</h2>
              <p class="p" id="p-qj8-l0j-b5e">次のいずれかの方法を使用して、同期ジョブを設定できます。</p>
              <ul class="ul" id="ul-bsf-p3z-gfb">
                 <li class="li" id="li-9g2-2pq-rxw">
                    <p class="p" id="p-hrk-tc3-vhu">ビジュアライズドウィザードを用いる場合には、<a title="" href="#importwizard">「ウィザードモードで同期ジョブを 設定する」</a>をご参照ください。 ウィザードモードはスクリプトモードに切り替えることが できます。
                    </p>
                 </li>
                 <li class="li" id="li-biz-zjb-nxn">
                    <p class="p" id="p-1qf-isz-1q9">テンプレートベースのパラメーター設定を用いる場合には、<a title="" href="#importscript">「スクリプトモードで 同期ジョブを設定する」</a>をご参照ください。 スクリプトモードは、 ウィザードモードへの変更はできません。
                    </p>
                 </li>
              </ul>
              <p class="p" id="p-3ol-xjb-vln">先に進む前に、 <a title="" href="#addsource">「データソースを追加する」</a>方法に従って、AnalyticDB for PostgreSQL データソースを Data Integration に追加することを確認します。
              </p>
              <p class="p" id="importwizard"><strong class="ph b" id="b-68g-lxa-lex">ウィザードモードで同期ジョブを設定する</strong></p>
              <p class="p" id="p-zge-xtt-vl3">同期ジョブを設定するには、次の手順に従います。</p>
              <ol class="ol" id="ol-csf-p3z-gfb">
                 <li class="li" id="li-n2k-o5d-iil">
                    <p class="p" id="p-kfd-1yf-nug">同期ジョブを作成するには、<strong class="ph b" id="b-qap-58s-nto">ウィザードモード</strong>を選択します。
                    </p>
                 </li>
                 <li class="li" id="li-nnf-1ad-ojn">
                    <p class="p" id="p-0fv-qvz-j1u">データソースを選択します。 パラメーターは次のとおりです。</p>
                    <ul class="ul" id="ul-dsf-p3z-gfb">
                       <li class="li" id="li-2vh-xfh-bws"><strong class="ph b" id="b-bpi-0bk-0k3">データソース</strong>: <span class="ph uicontrol" id="uicontrol-vwd-2i2-r64">[odps_first(odps)]</span>、 すなわち MaxCompute を選択します。
                       </li>
                       <li class="li" id="li-oiv-rcb-q8n"><strong class="ph b" id="b-exa-375-qkp">テーブル</strong>: <span class="ph uicontrol" id="uicontrol-apf-90o-31u">[hpg]</span> を選択します。
                       </li>
                       <li class="li" id="li-bi1-ko7-91w"><strong class="ph b" id="b-0py-de6-xku">データプレビュー</strong> : ウィンドウはデフォルトでは折りたたまれています。 クリックして 展開します。
                       </li>
                    </ul>
                    <p class="p" id="p-afe-be6-zyw">上記の情報を入力したら、 <span class="ph uicontrol" id="uicontrol-394-elp-frm">[次へ]</span> をクリックします。
                    </p>
                 </li>
                 <li class="li" id="li-wc1-2ac-80f">
                    <p class="p" id="p-4e9-de1-dd9">ターゲットを選択します。 パラメーターは次のとおりです。</p>
                    <ul class="ul" id="ul-esf-p3z-gfb">
                       <li class="li" id="li-06r-7it-b1m">データソース: <span class="ph uicontrol" id="uicontrol-uhy-kdi-3o0">[I_PostGreSql(postgresql)]</span> を選択します。
                       </li>
                       <li class="li" id="li-iwx-vd3-wkj">テーブル: <span class="ph uicontrol" id="uicontrol-0xu-nk9-iwh">[public.person]</span> を選択します。
                       </li>
                       <li class="li" id="li-y7f-cml-dgz">インポート前に準備するステートメント: データ同期ジョブを始める前に SQL ステートメントを入力して 実行します。
                          <p class="p" id="p-xwn-y7z-3ms">現在のところ、ウィザードモードでは 1 つの SQL ステートメントだけしか 実行できません。 しかし、スクリプトモードでは複数の SQL ステートメントを 実行できます。
                             たとえば、古いデータを 消去します。
                          </p>
                       </li>
                       <li class="li" id="li-os2-a3l-lud">インポート後に用意されたステートメント : データ同期ジョブを開始した後で、 SQL 文を入力し実行します。
                          <p class="p" id="p-l9z-4x6-r5z">現在のところ、ウィザードモードでは 1 つの SQL ステートメントだけしか 実行できません。 しかし、スクリプトモードでは複数の SQL ステートメントを 実行できます。
                             たとえば、タイムスタンプを 追加します。
                          </p>
                       </li>
                       <li class="li" id="li-e22-i2f-k46">プライマリキーの競合: <span class="ph uicontrol" id="uicontrol-9sj-6he-1as">[挿入]</span> を選択します。 プライマリキーが ユニークインデックスと競合する場合、Data Integration 処理はダーティデータとして データ処理を行います。 
                       </li>
                    </ul>
                    <p class="p" id="p-wll-dcq-20f">上記の情報を入力したら、 <span class="ph uicontrol" id="uicontrol-mml-4x2-3mu">[次へ]</span>をクリックし、
                    </p>
                 </li>
                 <li class="li" id="li-gdb-5dd-c14">
                    <p class="p" id="p-lj4-ltf-lwb">フィールドをマッピングします。 フィールドのマッピング関係を設定する必要があります。 左側の <span class="keyword wintitle" id="wintitle-rbq-3r0-fha">「ソーステーブルフィールド」</span>は、 右側の<span class="keyword wintitle" id="wintitle-5n8-6so-ume">「ターゲットテーブルフィールド」</span>に一対一で対応します。
                    </p>
                    <p class="p" id="p-q61-9ml-4nf"><strong class="ph b" id="b-ho0-rjr-6q1">説明</strong>: 
                    </p>
                    <ul class="ul" id="ul-fsf-p3z-gfb">
                       <li class="li" id="li-xsh-x51-1tr">定数を入力します。 その値は、半角の単一引用符で囲まれる 必要があります。 たとえば、 "abc" または “123” です。</li>
                       <li class="li" id="li-lou-xjx-8h0">スケジュールパラメーターは一緒に使用します。 たとえば、 <code class="ph codeph" id="codeph-o2r-j2o-u3u">${bdp.system.bizdate}</code>などです。
                       </li>
                       <li class="li" id="li-ezw-4rj-bqw">同期するパーティション列を入力します。 たとえば、 パーティション列をPTで分割します。</li>
                       <li class="li" id="li-kra-mxe-nca">入力した値を解析できない場合タイプは "認識されません" として表示されます。</li>
                       <li class="li" id="li-zpp-ese-cgl">ODPS 機能を設定することはできません。</li>
                    </ul>
                    <p class="p" id="p-7mx-e30-c4g">その後、<span class="ph uicontrol" id="uicontrol-rx4-m11-vy7">[次へ]</span> をクリックします。
                    </p>
                 </li>
                 <li class="li" id="li-hsk-8xb-jfn">
                    <p class="p" id="p-b2t-r5t-o6y">チャネルをコントロールします。 最大ジョブレートとダーティデータチェックルールを 設定します。 パラメーターは次のとおりです。</p>
                    <ul class="ul" id="ul-gsf-p3z-gfb">
                       <li class="li" id="li-b9t-iy2-o92">
                          <p class="p" id="p-m4w-aq5-fxd"><strong class="ph b" id="b-nwi-tx7-ufg">Maximum Job Rate</strong>: データ同期ジョブの 最大値を決めます。 実際のジョブレートは、 ネットワーク環境、データベースの設定、その他の要因により 変わります。
                          </p>
                       </li>
                       <li class="li" id="li-niw-0me-w8e">
                          <p class="p" id="p-pbj-a4v-tkf">同時並行ジョブ数: 最大ジョブレート = 同時並行ジョブ数 × 単一並行ジョブの伝送レートです。 最大ジョブレートが 指定されている場合、以下の方法で同時並行ジョブ数を
                             選択します。
                          </p>
                          <ul class="ul" id="ul-hsf-p3z-gfb">
                             <li class="li" id="li-6no-7mg-oce">データソースがオンラインビジネスデータの場合、 オンラインデータベースとの干渉を避けるために、同時並行ジョブ数に大きな値を設定しないことを 推奨します。</li>
                             <li class="li" id="li-1ci-f0p-49w">高い同期レートを必要とする場合には、 最大のジョブレートと最大の同時並行ジョブ数を選択することを 推奨します。</li>
                          </ul>
                       </li>
                    </ul>
                 </li>
                 <li class="li" id="li-vk4-am2-jdb">
                    <p class="p" id="p-o9b-pxi-g00">設定をプレビューして保存します。 上記の設定後、 上下にスクロールしてジョブの設定を表示します。 その後、 <span class="ph uicontrol" id="uicontrol-g3o-zxn-tuo">[保存]</span> をクリックします。
                    </p>
                 </li>
                 <li class="li" id="li-t8g-cxd-tez">
                    <p class="p" id="p-wif-hon-ibp">結果を取得します。 同期ジョブを保存した後、</p>
                    <ul class="ul" id="ul-isf-p3z-gfb">
                       <li class="li" id="li-fia-bga-7tn"><span class="ph uicontrol" id="uicontrol-p5r-0ia-8p2">[ジョブの実行]</span> をクリックして、すぐにジョブを実行します。
                       </li>
                       <li class="li" id="li-7vm-kcn-h35">右側の <span class="ph uicontrol" id="uicontrol-poi-ege-pt4">[送信]</span> をクリックし、 同期ジョブをスケジューリングシステムに送信します。
                       </li>
                    </ul>
                    <p class="p" id="p-zfg-za6-jdx">スケジューリングシステムは、設定属性に従って自動的かつ定期的に 翌日からジョブを実行します。 関連するスケジュール設定に関しては、 <a title="" href="https://www.alibabacloud.com/help/doc-detail/50130.htm">「スケジューリング設定」</a>をご参照ください。
                    </p>
                 </li>
              </ol>
              <p class="p" id="importscript"><strong class="ph b" id="b-tad-q2o-euo">スクリプトモードで同期ジョブを設定する</strong></p>
              <p class="p" id="p-za8-384-x5y">サンプルコードは次のとおりです。</p>
                          <pre class="pre codeblock" id="codeblock-vn9-svb-h72"><code>{

“configuration”: { “reader”: { “plugin”: “odps”, “parameter”: { “partition”: “pt=${bdp.system.bizdate}”,//Partition information “datasource”: “odps_first”,//Data source name. 同期ジョブを設定する前に、データソースを追加することを推奨します。 この設定項目の値は、追加したデータソースの名前と同じでなければなりません。 “column”: [ "id"、 "year", "year", "birthdate", "ismarried", "interest", "salary" ], “table”: “hpg”//Source table name } }, “writer”: { "plugin"： "postgresql"、 “parameter”: { “postSql”: [],//Prepare the statemen-USt after the import “datasource”: “l_PostGreSql”,//Data source name. 同期ジョブを設定する前に、データソースを追加することを推奨します。 この設定項目の値は、追加したデータソースの名前と同じでなければなりません。 “column”: [ "id"、 "year", "year", "birthdate", "ismarried", "interest", "salary" ], “table”: “public.person”,//Target table name “preSql”: []//Prepare the statemen-USt before the import } }, “setting”: { “speed”: { “concurrent”: 7,//Number of concurrent jobs “mbps”: 7//The maximum job rate } } }, “type”: “job”, "version"： "1.0"}