ApsaraDB RDS:oss_fdw拡張子を使用して、外部データのテキストファイルを読み書きする

前提条件

例

# RDSインスタンスのoss_fdw拡張機能を作成します。
拡張子oss_fdwを作成します。-- OSSサーバーを作成します。 
CREATE SERVER ossserver FOREIGN DATA WRAPPER oss_fdw OPTIONS 
     (ホスト 'oss -cn-hangzhou.aliyuncs.com '、id 'xxx' 、key 'xxx' 、bucket 'mybucket');
-- ossexampleという名前の外部OSSテーブルを作成します。
CREATE FOREIGN TABLE ossexample 
    (date text, time text, open float,
     high float, low float, volume int) 
     SERVER ossserver 
     オプション (dir 'osstest/', delimiter',',
         フォーマット 'csv' 、エンコード 'utf8' 、PARSE_ERRORS '100');
-- RDSインスタンスにexampleという名前のテーブルを作成します。 このテーブルは、RDSインスタンスにインポートされたデータを保存するために使用されます。 
create table example
        (date text, time text, open float,
         高フロート、低フロート、ボリュームint);
-- ossexampleテーブルからサンプルテーブルにデータをインポートします。 
例select * from ossexampleに挿入します。-- oss_fdw拡張子を使用して、ossexampleテーブルのサイズを推定し、クエリプランを作成します。 
insert into exampleを説明する* from ossexample;
                             クエリ計画
---------------------------------------------------------------------
 例に挿入 (コスト=0.00 .. 1.60行=6幅=92)
   -> ossexampleの外部スキャン (コスト=0.00 .. 1.60行=6幅=92)
         Foreign OssFile: osstest/example.csv.0
         Foreign OssFileサイズ: 728
(4行)
-サンプルテーブルからossexampleテーブルにデータをエクスポートします。 
ocsample select * from exampleに挿入します。osexample select * from exampleへの挿入を説明します。
                           クエリ計画
-----------------------------------------------------------------
 ossexampleに挿入 (コスト=0.00 .. 16.60行=660幅=92)
   -> Seq例のスキャン (コスト=0.00 .. 16.60行=660幅=92)
(2行) 

上記の例のパラメーターの詳細については、次のセクションを参照してください。

oss_fdw拡張でサポートされているパラメーター

他の外部データラッパー (FDW) と同様に、oss_fdw拡張機能はOSSバケットに格納されている外部データをカプセル化します。 oss_fdw拡張子を使用して、OSSバケットからデータを読み取ることができます。 このプロセスは、データテーブルを読み取るプロセスと同様である。 oss_fdw拡張機能は、指定されたOSSバケットにアクセスし、OSSバケット内のOSSオブジェクトを解析するために使用されるいくつかの一意のパラメーターを提供します。

CREATE SERVERステートメントのパラメーター

次の表に、OSSによって提供されるフォールトトレランスパラメーターを示します。 ネットワーク接続が不十分な場合は、これらのパラメーターの値を調整して、インポートとエクスポートを成功させることができます。

CREATE FOREIGN TABLEステートメントのパラメーター

CREATE FOREIGN TABLEステートメントのパラメーター

• oss_flush_block_size: 一度にOSSバケットに書き込むことができるデータのバッファサイズ。 有効な値: 1 ~ 128 単位：MB。 デフォルト値: 32。

• oss_file_max_size: OSSバケット内のオブジェクトに書き込むことができるデータの最大量。 書き込まれる必要があるデータの量が最大値に達すると、残っているデータは新しいオブジェクトに書き込まれます。 有効値: 8 ~ 4000 単位：MB。 デフォルト値: 1024。

• num_parallel_worker: OSSバケットに書き込まれたデータを圧縮するために並列に実行できるスレッドの最大数。 有効値: 1～8。 デフォルト値: 3。

補助関数

FUNCTION oss_fdw_list_file (relname text, schema text DEFAULT 'public')

• この関数は、指定された外部テーブルが一致するOSSオブジェクトの名前とサイズを取得するために使用されます。

• サイズはバイト単位で測定されます。

select * from oss_fdw_list_file (not_oss');
              名前 | サイズ
-------------------------------- -----------
 oss_test/test.gz.1  | 739698350
 oss_test/test.gz.2  | 739413041
 oss_test/test.gz.3 | 739562048
(3行) 

補助パラメータ

oss_fdw.rds_read_one_file: 外部テーブルが一致するOSSオブジェクトを指定します。 このパラメーターは、OSSバケットからRDSインスタンスにデータをインポートする場合にのみサポートされます。 このパラメーターを指定すると、指定された外部テーブルが一致するOSSオブジェクトのみがインポートされます。

例: set oss_fdw.rds_read_one_file = 'oss_test/example16.csv.1';

set oss_fdw.rds_read_one_file = 'oss_test/test.gz.2 ';
oss_fdw_list_fileから * を選択します (_oss' ではありません) 。
              名前 | サイズ
-------------------------------- -----------
  oss_test/test.gz.2 | 739413041
(1行) 

使用上の注意

• oss_fdw拡張は、外部テーブルを管理するためのPostgreSQL FOREIGN TABLEフレームワークに基づいて開発されています。

• データインポートパフォーマンスは、使用可能なPostgreSQLおよびOSSリソースによって異なります。 PostgreSQLリソースは、CPU、I/O、およびメモリです。

• 高パフォーマンスでデータをインポートするには、RDSインスタンスとOSSバケットが同じリージョンにあることを確認します。 詳細は、「OSSドメイン名」をご参照ください。

• 外部テーブルからSQL文を読み取るときにエラー「error: oss endpoint userendpoint not in aliyun white list」が報告された場合は、指定したリージョンに提供されているパブリックOSSエンドポイントを使用することを推奨します。 詳細については、「リージョンとエンドポイント」をご参照ください。

トラブルシューティング

インポートまたはエクスポートエラーが発生した場合、次のエラー情報がログに記録されます。

• code: 失敗したリクエストの HTTP ステータスコード。

• error_code: OSSによって返されるエラーコード。

• error_msg: OSSから返されるエラーメッセージ。

• req_id: 失敗したリクエストのUUID。 問題の解決に支援が必要な場合は、失敗したリクエストのreq_id値を含むチケットを起票してください。

さまざまなエラーの詳細については、次のドキュメントを参照してください。 oss_ext拡張に関連するパラメーターを再設定することで、タイムアウトエラーを処理できます。

• OSSドキュメント

• FOREIGNテーブルの作成

• OSSエラー処理

• OSSエラー応答

AccessKey IDとAccessKey secretの暗号化

CREATE SERVERステートメントのidパラメーターとkeyパラメーターの値を暗号化しない場合、他のユーザーはselect * from pg_foreign_serverステートメントを実行することで、AccessKeyペアをプレーンテキストで取得できます。 対称暗号化を使用して、idおよびkeyパラメーターの値を暗号化できます。 RDSインスタンスごとに異なるキーを使用します。 これにより、AccessKeyペアがさらに保護されます。 ただし、Greenplumのようにデータ型を追加することはできません。 これにより、以前のバージョンとの互換性がなくなります。

次のスニペットは、idおよびkeyパラメーターの暗号化された値を提供します。

postgres=# select * from pg_foreign_server;
  srvname | srvowner | srvfdw | srvtype | srvversion | srvacl | srvoptions
----------- ------------------------------------------------------------- + ------------------------------------------------------------------------------------------------------------------------------------
----------------------------------
 ossserver | 10 | 16390 | | | | {hos t=oss-cn-hangzhou-zmf.aliyuncs.com、id=MD5xxxxxxxx、key=MD5xxxxxxxx、bucket=067862} 

各暗号化値はMD5文字列で始まります。 全長を8で割ったものは3である。 これらの暗号化された値がエクスポートされた後、それらは再び暗号化されません。 MD5文字列で始まるAccessKey IDまたはAccessKeyシークレットを作成することはできません。