Data Integration は、Alibaba Cloud ビッグデータサービスにより提供される データ同期プラットフォームです。 このプラットフォームは、異なるネットワーク環境の 20 を超える データソースにオフライン (完全/増分的) データアクセスチャネルを提供し、 高信頼性、高セキュリティ、および低コストを特長とする、異種システム間のデータストレージと拡張を サポートします。 使用可能なデータソースについては、「サポートされるデータソースタイプ」を ご確認ください。
ここでは、AnalyticDB for PostgreSQL でのデータインポートとデータ エクスポートに対する Data Integration の使用方法について説明します。 Data Integrationは、 ウィザードモード (ビジュアルインターフェイスによるガイド) と スクリプトモード (テンプレートに基づくパラメーター設定) に置けるサンプルコードの両方の手順を提供します。
ユースケース
Data Integration で同期ジョブを使用すると、次のことができます。
-
AnalyticDB for PostgreSQL 内のデータを他のデータソースと同期させ、 データに対して期待される処理を実行します。
-
他のデータソースから処理されたデータを AnalyticDB for PostgreSQL に 同期します。
前提条件
Data Integration と AnalyticDB for PostgreSQL サイドでのそれぞれの操作が 完了していること。
Data Integration
Data Integration でプロジェクトを作成するには、次の手順に従います。
-
正式な Alibaba Cloud Web サイトで実名認証のアカウントを開き、 アカウントにアクセスするための AccessKey を作成します。
-
MaxCompute を起動すると、システムが自動的にデフォルトの ODPS データソースを 生成します。 プライマリアカウントを使用して Data IDE にログインします。
-
プロジェクトを作成します。 ユーザーはプロジェクト内で共同作業をし、ワークフローを完成させ、 データとジョブを一緒に維持します。 このため、 データ IDE を使用する前にプロジェクトを作成する必要があります。
-
サブアカウントを用いて Data Integration ジョブを作成する場合には、 サブアカウントに関連する権限を付与する必要があります。
AnalyticDB for PostgreSQL
データをインポートする前に、PostgreSQL クライアント上でデータの移行先となる AnalyticDB for PostgreSQL でターゲットデータベースとテーブルを 作成する必要があります。
データのエクスポート元となるソースデータベースがAnalyticDB for PostgreSQLの場合、 AnalyticDB for PostgreSQL のコンソールに、「IP ホワイトリストを設定する」ことを 推奨します。 次の手順に従って、IP ホワイトリストを設定します。
-
AnalyticDB for MySQL コンソールにログインします 。
-
目的のインスタンスを選択し、[ホワイトグループリストの 追加]をクリックします。これは、[データセキュリティー]ページの下の [ホワイトリストの設定]ページになります。
-
以下の IP アドレスを追加します。
10.152.69.0/24,10.153.136.0/24,10.143.32.0/24,120.27.160.26,10.46.67.156,120.27.160.81,10.46.64.81,121.43.110.160,10.117.39.238,121.43.112.137,10.117.28.203,118.178.84.74,10.27.63.41,118.178.56.228,10.27.63.60,118.178.59.233,10.27.63.38,118.178.142.154,10.27.63.15,100.64.0.0/8
</section>
<section class="section" id="addsource">
<h2 class="title sectiontitle" id="title-3oe-y4s-g49">データソースの追加</h2>
<p class="p" id="p-4hy-spn-feq">AnalyticDB for PostgreSQL へのデータ同期のための Data Integration を行う前に、新しい AnalyticDB for PostgreSQL
データソースが Data Integration に 追加される必要があります。 データソースを追加するには、 次の手順に従います。
</p>
<ol class="ol" id="ol-zrf-p3z-gfb">
<li class="li" id="li-7e7-dy0-ugv"><a title="" href="https://workbench.data.aliyun.com/console">「DataWorks コンソール」</a>に管理者としてログインし、 プロジェクトリスト内の関連プロジェクトの操作列で <span class="ph uicontrol" id="uicontrol-sot-8ub-t5w">[ワークスペースを入力]</span> を クリックします。
</li>
<li class="li" id="li-pjo-0n7-lno">上部のナビゲーションバーにある <span class="ph uicontrol" id="uicontrol-ul5-sn1-epr">[Data Integration]</span> をクリックし、 <span class="ph uicontrol" id="uicontrol-ka0-j8d-iu6">[データソース]</span> ページに行きます。
</li>
<li class="li" id="li-tst-wi7-4mc"><span class="ph uicontrol" id="uicontrol-kd1-6cl-rjl">[新しいソース]</span> をクリックし、サポートされているデータソースを 表示します。
</li>
<li class="li" id="li-fyz-g37-kdz"><span class="keyword wintitle" id="wintitle-t6l-fsv-d8g">[新しいデータソース]</span> ウィンドウで、 <span class="keyword parmname" id="parmname-fb6-jg3-7a5">PostgreSQL</span> を <span class="ph uicontrol" id="uicontrol-ysz-5nw-5qp">[データソース タイプ]</span> として選択します。
</li>
<li class="li" id="li-gd1-t8t-7pg">
<p class="p" id="p-4m4-19s-pna"><strong class="ph b" id="b-gy9-104-dj8">JDBC</strong> インスタンスの形式で PostgreSQL データソースを選択して 設定します。 パラメーターは次のとおりです。
</p>
<ul class="ul" id="ul-rfx-dkz-gfb">
<li class="li" id="li-cv0-s2w-k2o">タイプ: 公衆 IP アドレスなしのデータソース。</li>
<li class="li" id="li-bzk-lli-jzr">名前: 文字、数字、下線の組み合わせで、 文字またはアンダースコアで始め、60 文字を超えることはできません。</li>
<li class="li" id="li-gta-xg8-qpc">説明: データソースについての 80 文字を超えない 短い説明です。</li>
<li class="li" id="li-9mp-6c0-c0r">リソースグループ: 同期タスクの実行であり、一般的に リソースグループを追加する際には、複数のマシンがバインドされます。 詳細につきましては、 <a title="" href="https://www.alibabacloud.com/help/doc-detail/72979.htm#concept-wfz-j45-q2b">「スケジューリングリソースの追加」</a>をご参照ください。
</li>
<li class="li" id="li-i35-bik-xub">JDBC URL: Format: jdbc:mysql://ServerIP:Port/database.</li>
<li class="li" id="li-659-pcp-6hc">ユーザ名/パスワード: データベースの接続に使用されるユーザ名と パスワードです。</li>
</ul>
</li>
<li class="li" id="li-bsj-5b0-a61">
<p class="p" id="p-535-qc3-t9p">設定が完了したら、<span class="ph uicontrol" id="uicontrol-lqc-mkh-7sf">[接続性の テスト]</span> をクリックします。
</p>
</li>
<li class="li" id="li-mqn-whw-22g">
<p class="p" id="p-fv4-za4-x47">接続テストに合格したら、 <span class="ph uicontrol" id="uicontrol-yyv-fou-wdq">[完了]</span> をクリックします。
</p>
</li>
</ol>
</section>
<section class="section" id="section-w49-37z-air">
<h2 class="title sectiontitle" id="title-r15-xfd-j5h">Data Integration を使用してデータをインポートする</h2>
<p class="p" id="p-qj8-l0j-b5e">次のいずれかの方法を使用して、同期ジョブを設定できます。</p>
<ul class="ul" id="ul-bsf-p3z-gfb">
<li class="li" id="li-9g2-2pq-rxw">
<p class="p" id="p-hrk-tc3-vhu">ビジュアライズドウィザードを用いる場合には、<a title="" href="#importwizard">「ウィザードモードで同期ジョブを 設定する」</a>をご参照ください。 ウィザードモードはスクリプトモードに切り替えることが できます。
</p>
</li>
<li class="li" id="li-biz-zjb-nxn">
<p class="p" id="p-1qf-isz-1q9">テンプレートベースのパラメーター設定を用いる場合には、<a title="" href="#importscript">「スクリプトモードで 同期ジョブを設定する」</a>をご参照ください。 スクリプトモードは、 ウィザードモードへの変更はできません。
</p>
</li>
</ul>
<p class="p" id="p-3ol-xjb-vln">先に進む前に、 <a title="" href="#addsource">「データソースを追加する」</a>方法に従って、AnalyticDB for PostgreSQL データソースを Data Integration に追加することを確認します。
</p>
<p class="p" id="importwizard"><strong class="ph b" id="b-68g-lxa-lex">ウィザードモードで同期ジョブを設定する</strong></p>
<p class="p" id="p-zge-xtt-vl3">同期ジョブを設定するには、次の手順に従います。</p>
<ol class="ol" id="ol-csf-p3z-gfb">
<li class="li" id="li-n2k-o5d-iil">
<p class="p" id="p-kfd-1yf-nug">同期ジョブを作成するには、<strong class="ph b" id="b-qap-58s-nto">ウィザードモード</strong>を選択します。
</p>
</li>
<li class="li" id="li-nnf-1ad-ojn">
<p class="p" id="p-0fv-qvz-j1u">データソースを選択します。 パラメーターは次のとおりです。</p>
<ul class="ul" id="ul-dsf-p3z-gfb">
<li class="li" id="li-2vh-xfh-bws"><strong class="ph b" id="b-bpi-0bk-0k3">データソース</strong>: <span class="ph uicontrol" id="uicontrol-vwd-2i2-r64">[odps_first(odps)]</span>、 すなわち MaxCompute を選択します。
</li>
<li class="li" id="li-oiv-rcb-q8n"><strong class="ph b" id="b-exa-375-qkp">テーブル</strong>: <span class="ph uicontrol" id="uicontrol-apf-90o-31u">[hpg]</span> を選択します。
</li>
<li class="li" id="li-bi1-ko7-91w"><strong class="ph b" id="b-0py-de6-xku">データプレビュー</strong> : ウィンドウはデフォルトでは折りたたまれています。 クリックして 展開します。
</li>
</ul>
<p class="p" id="p-afe-be6-zyw">上記の情報を入力したら、 <span class="ph uicontrol" id="uicontrol-394-elp-frm">[次へ]</span> をクリックします。
</p>
</li>
<li class="li" id="li-wc1-2ac-80f">
<p class="p" id="p-4e9-de1-dd9">ターゲットを選択します。 パラメーターは次のとおりです。</p>
<ul class="ul" id="ul-esf-p3z-gfb">
<li class="li" id="li-06r-7it-b1m">データソース: <span class="ph uicontrol" id="uicontrol-uhy-kdi-3o0">[I_PostGreSql(postgresql)]</span> を選択します。
</li>
<li class="li" id="li-iwx-vd3-wkj">テーブル: <span class="ph uicontrol" id="uicontrol-0xu-nk9-iwh">[public.person]</span> を選択します。
</li>
<li class="li" id="li-y7f-cml-dgz">インポート前に準備するステートメント: データ同期ジョブを始める前に SQL ステートメントを入力して 実行します。
<p class="p" id="p-xwn-y7z-3ms">現在のところ、ウィザードモードでは 1 つの SQL ステートメントだけしか 実行できません。 しかし、スクリプトモードでは複数の SQL ステートメントを 実行できます。
たとえば、古いデータを 消去します。
</p>
</li>
<li class="li" id="li-os2-a3l-lud">インポート後に用意されたステートメント : データ同期ジョブを開始した後で、 SQL 文を入力し実行します。
<p class="p" id="p-l9z-4x6-r5z">現在のところ、ウィザードモードでは 1 つの SQL ステートメントだけしか 実行できません。 しかし、スクリプトモードでは複数の SQL ステートメントを 実行できます。
たとえば、タイムスタンプを 追加します。
</p>
</li>
<li class="li" id="li-e22-i2f-k46">プライマリキーの競合: <span class="ph uicontrol" id="uicontrol-9sj-6he-1as">[挿入]</span> を選択します。 プライマリキーが ユニークインデックスと競合する場合、Data Integration 処理はダーティデータとして データ処理を行います。
</li>
</ul>
<p class="p" id="p-wll-dcq-20f">上記の情報を入力したら、 <span class="ph uicontrol" id="uicontrol-mml-4x2-3mu">[次へ]</span>をクリックし、
</p>
</li>
<li class="li" id="li-gdb-5dd-c14">
<p class="p" id="p-lj4-ltf-lwb">フィールドをマッピングします。 フィールドのマッピング関係を設定する必要があります。 左側の <span class="keyword wintitle" id="wintitle-rbq-3r0-fha">「ソーステーブルフィールド」</span>は、 右側の<span class="keyword wintitle" id="wintitle-5n8-6so-ume">「ターゲットテーブルフィールド」</span>に一対一で対応します。
</p>
<p class="p" id="p-q61-9ml-4nf"><strong class="ph b" id="b-ho0-rjr-6q1">説明</strong>:
</p>
<ul class="ul" id="ul-fsf-p3z-gfb">
<li class="li" id="li-xsh-x51-1tr">定数を入力します。 その値は、半角の単一引用符で囲まれる 必要があります。 たとえば、 "abc" または “123” です。</li>
<li class="li" id="li-lou-xjx-8h0">スケジュールパラメーターは一緒に使用します。 たとえば、 <code class="ph codeph" id="codeph-o2r-j2o-u3u">${bdp.system.bizdate}</code>などです。
</li>
<li class="li" id="li-ezw-4rj-bqw">同期するパーティション列を入力します。 たとえば、 パーティション列をPTで分割します。</li>
<li class="li" id="li-kra-mxe-nca">入力した値を解析できない場合タイプは "認識されません" として表示されます。</li>
<li class="li" id="li-zpp-ese-cgl">ODPS 機能を設定することはできません。</li>
</ul>
<p class="p" id="p-7mx-e30-c4g">その後、<span class="ph uicontrol" id="uicontrol-rx4-m11-vy7">[次へ]</span> をクリックします。
</p>
</li>
<li class="li" id="li-hsk-8xb-jfn">
<p class="p" id="p-b2t-r5t-o6y">チャネルをコントロールします。 最大ジョブレートとダーティデータチェックルールを 設定します。 パラメーターは次のとおりです。</p>
<ul class="ul" id="ul-gsf-p3z-gfb">
<li class="li" id="li-b9t-iy2-o92">
<p class="p" id="p-m4w-aq5-fxd"><strong class="ph b" id="b-nwi-tx7-ufg">Maximum Job Rate</strong>: データ同期ジョブの 最大値を決めます。 実際のジョブレートは、 ネットワーク環境、データベースの設定、その他の要因により 変わります。
</p>
</li>
<li class="li" id="li-niw-0me-w8e">
<p class="p" id="p-pbj-a4v-tkf">同時並行ジョブ数: 最大ジョブレート = 同時並行ジョブ数 × 単一並行ジョブの伝送レートです。 最大ジョブレートが 指定されている場合、以下の方法で同時並行ジョブ数を
選択します。
</p>
<ul class="ul" id="ul-hsf-p3z-gfb">
<li class="li" id="li-6no-7mg-oce">データソースがオンラインビジネスデータの場合、 オンラインデータベースとの干渉を避けるために、同時並行ジョブ数に大きな値を設定しないことを 推奨します。</li>
<li class="li" id="li-1ci-f0p-49w">高い同期レートを必要とする場合には、 最大のジョブレートと最大の同時並行ジョブ数を選択することを 推奨します。</li>
</ul>
</li>
</ul>
</li>
<li class="li" id="li-vk4-am2-jdb">
<p class="p" id="p-o9b-pxi-g00">設定をプレビューして保存します。 上記の設定後、 上下にスクロールしてジョブの設定を表示します。 その後、 <span class="ph uicontrol" id="uicontrol-g3o-zxn-tuo">[保存]</span> をクリックします。
</p>
</li>
<li class="li" id="li-t8g-cxd-tez">
<p class="p" id="p-wif-hon-ibp">結果を取得します。 同期ジョブを保存した後、</p>
<ul class="ul" id="ul-isf-p3z-gfb">
<li class="li" id="li-fia-bga-7tn"><span class="ph uicontrol" id="uicontrol-p5r-0ia-8p2">[ジョブの実行]</span> をクリックして、すぐにジョブを実行します。
</li>
<li class="li" id="li-7vm-kcn-h35">右側の <span class="ph uicontrol" id="uicontrol-poi-ege-pt4">[送信]</span> をクリックし、 同期ジョブをスケジューリングシステムに送信します。
</li>
</ul>
<p class="p" id="p-zfg-za6-jdx">スケジューリングシステムは、設定属性に従って自動的かつ定期的に 翌日からジョブを実行します。 関連するスケジュール設定に関しては、 <a title="" href="https://www.alibabacloud.com/help/doc-detail/50130.htm">「スケジューリング設定」</a>をご参照ください。
</p>
</li>
</ol>
<p class="p" id="importscript"><strong class="ph b" id="b-tad-q2o-euo">スクリプトモードで同期ジョブを設定する</strong></p>
<p class="p" id="p-za8-384-x5y">サンプルコードは次のとおりです。</p>
<pre class="pre codeblock" id="codeblock-vn9-svb-h72"><code>{
“configuration”: { “reader”: { “plugin”: “odps”, “parameter”: { “partition”: “pt=${bdp.system.bizdate}”,//Partition information “datasource”: “odps_first”,//Data source name. 同期ジョブを設定する前に、データソースを追加することを推奨します。 この設定項目の値は、追加したデータソースの名前と同じでなければなりません。 “column”: [ "id"、 "year", "year", "birthdate", "ismarried", "interest", "salary" ], “table”: “hpg”//Source table name } }, “writer”: { "plugin": "postgresql"、 “parameter”: { “postSql”: [],//Prepare the statemen-USt after the import “datasource”: “l_PostGreSql”,//Data source name. 同期ジョブを設定する前に、データソースを追加することを推奨します。 この設定項目の値は、追加したデータソースの名前と同じでなければなりません。 “column”: [ "id"、 "year", "year", "birthdate", "ismarried", "interest", "salary" ], “table”: “public.person”,//Target table name “preSql”: []//Prepare the statemen-USt before the import } }, “setting”: { “speed”: { “concurrent”: 7,//Number of concurrent jobs “mbps”: 7//The maximum job rate } } }, “type”: “job”, "version": "1.0"}
<section class="section" id="section-bj2-qzo-ddm">
<h2 class="title sectiontitle" id="title-nep-9a0-whi">Data Integration を使用してデータをエクスポートする</h2>
<p class="p" id="p-3ts-8wn-ypk">次のいずれかの方法を使用して、同期ジョブを設定できます。</p>
<ul class="ul" id="ul-ksf-p3z-gfb">
<li class="li" id="li-0y6-stw-7w4">可視化されたウィザードを使用する場合は、<a title="" href="#exportwizard">「ウィザードモードでの同期ジョブの 設定」</a>をご参照ください。
</li>
<li class="li" id="li-7h3-nd4-2hk">テンプレートベースのパラメーター設定を用いる場合は、<a title="" href="#exportscript">「スクリプトモードでの同期ジョブの 設定」</a>をご参照ください。
</li>
</ul>
<p class="p" id="p-mcd-fgp-nxe">先に進む前に、 <a title="" href="#addsource">「データソースを追加する」</a>方法に従って、AnalyticDB for PostgreSQL データソースを Data Integration に追加したことを確認します。
</p>
<p class="p" id="exportwizard"><strong class="ph b" id="b-7mn-mdv-ugo">ウィザードモードで同期ジョブを設定する</strong></p>
<p class="p" id="p-mo7-0jb-th7">同期ジョブを設定するには、次の手順に従います。</p>
<ol class="ol" id="ol-lsf-p3z-gfb">
<li class="li" id="li-t8s-1dy-7m4">
<p class="p" id="p-56b-3gr-0kz">同期ジョブを作成するには、<span class="ph uicontrol" id="uicontrol-m80-x96-8uz">[ウィザードモード]</span> を 選択します。
</p>
</li>
<li class="li" id="li-5e9-glh-xqt">
<p class="p" id="p-4jg-mnk-n91">ソースを選択します。 パラメーターは次のとおりです。</p>
<ul class="ul" id="ul-msf-p3z-gfb">
<li class="li" id="li-24x-z59-0s4">Data Source: select <span class="ph uicontrol" id="uicontrol-k3h-l6z-kte">I_PostGreSql(postgresql)</span>。
</li>
<li class="li" id="li-lm8-rzp-att">テーブル : <span class="ph uicontrol" id="uicontrol-046-kgu-hs7">[public.person]</span> を選択します。
</li>
<li class="li" id="li-3fj-plz-aqe">データプレビュー : ウィンドウはデフォルトでは折りたたまれています。 クリックして 展開します。</li>
<li class="li" id="li-2ht-zjs-3pz">
<p class="p" id="p-o36-3pg-m7b">データフィルタリング : データ同期のフィルタリング条件を設定します。 PostgreSQLReaderは、以下に基づいてSQL ステートメントを連結します。 SQL
ステートメントに従った指定された列、テーブル、WHERE 条件、 抽出データ。
</p>
<p class="p" id="p-1lk-6j4-dq2">たとえば、テスト中の where 条件における実際のユースケースを 指定します。 通常、その日のデータは、同期のために 選ばれます。 この場合、id > 2 および
sex = 1 の where 条件を 設定できます。 where 条件は増分的なビジネスデータの同期を効果的に サポートします。 where 条件が 設定されていなかったり、null
のままである場合、完全なテーブル Data Integration が 適用されます。
</p>
</li>
<li class="li" id="li-nr3-l5w-kuu">
<p class="p" id="p-u6g-qqv-9wd">分割キー: PostgreSQLReader を用いてデータ抽出する時に splitPk を指定する場合、 データ分割に splitPk で表されるフィールドを 使用するということです。
この場合、Data Integration は 同時並列ジョブを開始しデータ同期を行います。 これはデータ同期効率を大きく改善します。
</p>
<p class="p" id="p-c1v-gw2-zyv">プライマリキーは通常、データのホットスポットリスクが少なくなるよう均等に配布されるので、 プライマリキーのテーブルを用いることを 推奨します。 splitPk は整数の分割のみをサポートし、
文字列、浮動小数点数、日付、その他タイプをサポートしません。 サポートされていない データタイプが splitPk として指定された場合、 splitPk の機能は無視され、データはシングルチャネルで
同期されます。 splitPk 値が提供されていない場合 (null 値が提供されている場合を含む)、 テーブルのデータはシングルチャネルで同期されます。
</p>
</li>
</ul>
</li>
<li class="li" id="li-upc-3ug-9i8">
<p class="p" id="p-vba-bbb-n5w">ターゲットを選択します。 パラメーターは次のとおりです。</p>
<ul class="ul" id="ul-nsf-p3z-gfb">
<li class="li" id="li-xns-lg8-9a2">Data Source: <span class="ph uicontrol" id="uicontrol-4ff-lz8-m0k">odps_first(odps)]</span>、すなわち MaxCompute を 選択します。
</li>
<li class="li" id="li-y7q-oid-xqb">Table: <span class="ph uicontrol" id="uicontrol-58l-az8-fc8">[hpg]</span> を選択します。
</li>
</ul>
<p class="p" id="p-lw5-uf1-5nh">上記の情報を入力したら、 <span class="ph uicontrol" id="uicontrol-pyu-1yo-2yh">[次へ]</span> をクリックします。
</p>
</li>
<li class="li" id="li-2u1-zzy-5zx">
<p class="p" id="p-vyf-3w5-a2y">フィールドをマッピングします。 フィールドのマッピング関係を設定する必要があります。 左側の <span class="keyword wintitle" id="wintitle-7rg-5nd-bw9">「ソースデータフィールド」</span>は、 右側の<span class="keyword wintitle" id="wintitle-ptf-0vu-d5z">「ターゲットテーブルフィールド」</span>に一対一で対応します。 その後、 <span class="ph uicontrol" id="uicontrol-f5d-n5a-nto">[次へ]</span> をクリックします。
</p>
</li>
<li class="li" id="li-n83-d6o-l0e">
<p class="p" id="p-ua4-7wo-83q">チャネルをコントロールします。 最大ジョブレートとダーティデータチェックルールを 設定します。 その後、<span class="ph uicontrol" id="uicontrol-9df-59f-aq8">[次へ]</span> をクリックします。
</p>
</li>
<li class="li" id="li-47m-d18-w2i">
<p class="p" id="p-v57-9no-q3d">設定をプレビューして保存します。 上記の設定の後で、上下にスクロールしてジョブの設定を 表示します。 その後、 <span class="ph uicontrol" id="uicontrol-yw9-ehx-c7v">[保存]</span> をクリックします。
</p>
</li>
</ol>
<p class="p" id="p-g3z-c20-hum">これまで、ウィザードモードでデータ同期ジョブを作成し、 AnalyticDB for PostgreSQL からデータをエクスポートしました。</p>
<p class="p" id="exportscript"><strong class="ph b" id="b-8yw-z5o-7v8">スクリプトモードで同期ジョブを設定する</strong></p>
<p class="p" id="p-5p2-x5l-gy5">サンプルコードは次のとおりです。</p>
<pre class="pre codeblock" id="codeblock-84d-8m0-047"><code>{
“configuration”: { “reader”: { "plugin": "postgresql"、 “parameter”: { “datasource”: “l_PostGreSql”,//Data source name. 同期ジョブを設定する前に、データソースを追加することを推奨します。 この設定項目の値は、追加したデータソースの名前と同じでなければなりません。 “table”: “public.person”,//Source table name "where": "",//Filtering condition “column”: [ "id"、 "year", "year", "birthdate", "ismarried", "interest", "salary" ], “splitPk”: “”//Split key } }, “writer”: { “plugin”: “odps”, “parameter”: { “datasource”: “odps_first”,//Data source name. 同期ジョブを設定する前に、データソースを追加することを推奨します。 この設定項目の値は、追加したデータソースの名前と同じでなければなりません。 “column”: [ "id"、 "year", "year", "birthdate", "ismarried", "interest", "salary" ], "table": "hpg",//Target table name “truncate”: true, "partition": "pt=${bdp.system.bizdate}"//Partition information } }, “setting”: { “speed”: { "mbps": 5,//The maximum job rate “concurrent”: 5//Number of concurrent jobs } } }, “type”: “job”, "version": "1.0"}
</div>
</article>
</main>