:外部テーブル

概念

DataWorks コンソールの視覚的インターフェイスを使用して、外部テーブルを作成、検索、構成、処理、構成できます。 外部テーブルのデータをクエリ、計算、分析することもできます。 DataWorks は MaxCompute を利用しています。

ネットワークとアクセス権限の付与

MaxCompute は OSS から独立しているため、異なるクラスターでのネットワーク接続は、OSS に格納されているデータへアクセスするための MaxCompute の能力に影響する場合があります。 プライベートエンドポイント (-internal.aliyuncs.com で終わる) を使って、MaxCompute から OSS に格納されているデータへアクセスすることを推奨します。

外部テーブルの作成

1. データ定義言語 (DDL) を使用して外部テーブルを作成します。

   [データ分析] ページに移動し、DDL 文を使用して外部テーブルを作成します。 DDL 文は、MaxCompute 構文に準拠している必要があります。 STS の権限付与を完了している場合は、DDL 文の odps.properties.rolearn 属性を含める必要はありません。

   次のセクションでは、サンプルの DDL 文を示します。ここでの EXTERNAL は外部テーブルを示します。

   CREATE EXTERNAL TABLE IF NOT EXISTS ambulance_data_csv_external(
   vehicleId int,
   recordId int,
   patientId int,
   calls int,
   locationLatitute double,
   locationLongtitue double,
   recordTime string,
   direction string
   )
   
   STORED BY 'com.aliyun.odps.udf.example.text.TextStorageHandler' --必須。 STORED BY 文は、カスタムストレージハンドラークラスまたは他のファイル形式の名前を指定します。
   with SERDEPROPERTIES (
   'delimiter'='\\|', -- 任意。 The SERDEPROPERITES 句はデータのシリアル化または逆シリアル化をする場合に使用されるパラメーターを指定します。 これらのパラメーターは DataAttributes を介して EXTRACT ロジックにわたすことができます。
   'odps.properties.rolearn'='acs:ram::xxxxxxxxxxxxx:role/aliyunodpsdefaultrole'
   )
   LOCATION 'oss://oss-cn-shanghai-internal.aliyuncs.com/oss-odps-test/Demo/SampleData/CustomTxt/AmbulanceData/'     --必須。 LOCATION パラメーターは、外部テーブルの場所を指定します。
   USING 'odps-udf-example.jar'; -カスタムフォーマットクラスを使用する場合は必須。 USING パラメーターは、カスタムフォーマットクラスが存在する JAR パッケージを指定します。 

   STORED BY の次は、Comma Separated Value (CSV) または Tab Separated Value (TSV) ファイル用に組み込まれたストレージハンドラーを示すパラメーターが続きます。 詳細は以下のとおりです。

   • com.aliyun.odps.CsvStorageHandler テーブルが CSV ファイルとして保存されていることを示します。 この仕様では、列区切り文字はコンマ (,) で、改行文字は \ n です。例：STORED BY'com.aliyun.odps.CsvStorageHandler'。
   • com.aliyun.odps.TsvStorageHandler テーブルが TSV ファイルとして保存されていることを示します。 この仕様では、列区切り文字は \ tで、改行文字は \ n です。
   STORED BY の次は、[オープンソースの外部テーブル]、ORC、Parquet、シーケンスファイル、Record Columnar File (RCFile)、Avro、テキストファイルなどにすることができます。 たとえば、 org.apache.hive.hcatalog.data.JsonSerDe クラスを指定して、テーブルをテキストファイルとして保存できます。

   • org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe: テーブルはテキストファイルとして格納されます。
   • org.apache.hadoop.hive.ql.io.orc.OrcSerde: テーブは Optimized Row Columnar (ORC) 形式で格納されます。
   • org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe：テーブルは Parquet 形式で格納されます。
   • org.apache.hadoop.hive.serde2.avro.AvroSerDe：テーブルは Avro 形式で格納されます。
   • org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe -> テーブルがシーケンスファイルとして格納されます。
   次のセクションでは、オープンソースの外部テーブルを作成するための DDL 文について説明します。

     CREATE EXTERNAL TABLE [IF NOT EXISTS] (<column schemas>)
     [PARTITIONED BY (partition column schemas)]
     [ROW FORMAT SERDE '']
     STORED AS 
     [WITH SERDEPROPERTIES ( 'odps.properties.rolearn'='${roleran}'
     [,'name2'='value2',...]
     ) ]
     LOCATION 'oss://${endpoint}/${bucket}/${userfilePath}/';

   次の表は、 SERDEPROPERTIES 句の属性を示します。

   属性	有効値	デフォルト値	説明
   odps.text.option.gzip.input.enabled	true または false	false	読み取るファイルが圧縮されているかどうかを示します。
   odps.text.option.gzip.output.enabled	true または false	false	書き込むファイルが圧縮されているかどうかを示します。
   odps.text.option.header.lines.count	N (非負整数)	0	ファイルの最初の N 行をスキップします。
   odps.text.option.null.indicator	String	Empty string	NULL を表す文字列です。
   odps.text.option.ignore.empty.lines	true または false	true	空白行を無視するかどうかを指定します。
   odps.text.option.encoding	UTF-8、UTF-16、または US-ASCII	UTF-8	ファイルのエンコーディングです。

   注 MaxCompute では、組み込み抽出機能を使用して GZIP 形式の CSV および TSV ファイルを読み取ることもできます。 ファイルを GZIP 圧縮するかどうかを選択できます。これによって指定する必要のある属性が決まります。

   LOCATION パラメーターは oss://oss-cn-shanghai-internal.aliyuncs.com/Bucket name/Directory name 形式です。 OSS ディレクトリは、グラフィカルユーザーインターフェイス (GUI) で取得できます。 ディレクトリの横にファイル名を追加する必要はありません。

   DDL 文を使用して作成されたテーブルは、[ワークスペーステーブル] タブのノードツリーにあります。 レベル 1 フォルダーとレベル 2 フォルダーの値を変更して、テーブルの場所を変更できます。

2. Table Store 結果テーブルを作成します。
   次のセクションでは、Table Store の外部テーブルの作成に使用される文について説明します。

   CREATE EXTERNAL TABLE IF NOT EXISTS ots_table_external(
   odps_orderkey bigint,
   odps_orderdate string,
   odps_custkey bigint,
   odps_orderstatus string,
   odps_totalprice double
   )
   STORED BY 'com.aliyun.odps.TableStoreStorageHandler' 
   WITH SERDEPROPERTIES (
   'tablestore.columns.mapping'=':o_orderkey,:o_orderdate,o_custkey, o_orderstatus,o_totalprice', -- (3)
   'tablestore.table.name'='ots_tpch_orders'
   'odps.properties.rolearn'='acs:ram::xxxxx:role/aliyunodpsdefaultrole'
   )
   LOCATION 'tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com'; 

   この文のパラメーターは下記のとおりです。

   • com.aliyun.odps.TableStoreStorageHandler は Table Store に格納されたデータを処理するための MaxCompute の組み込みストレージハンドラーを指定します。
   • SERDEPROPERTIES は、パラメーターのオプションを提供します。 TableStoreStorageHandler を使って「tablestore.columns.mapping」と「tablestore.table.name」を指定する必要があります。
     • tablestore.columns.mapping ：必須。 このパラメーターは MaxCompute がアクセスする Table Store のテーブルの列を説明します。プライマリキー列とプロパティ列を含みます。 プライマリキー列は、列名の前にコロン (:) で示します。 この例では、プライマリキー列は、 :o_orderkey 、 :o_orderdatee です。 他は、プロパティ列です。

       Table Store は最大 4 つのプライマリキー列をサポートします。 データ型には、STRING、INTEGER、BINARY があります。 最初のプライマリキーはパーティションキーです。 マッピングを指定する際、Table Store にあるテーブルのすべてのプライマリキー列を指定します。 MaxCompute がすべてのプロパティ列を指定する代わりにアクセスするプロパティ列を指定する必要があります。

     • tablestore.table.name: Table Store にアクセスするテーブル名です。 テーブル名が Table Store にない場合、エラーが報告されます。 MaxCompute は Table Store にテーブルを作成しません。
   • LOCATION: Table Store インスタンスの名前とエンドポイントを指定します。
3. GUI でテーブルを作成します。
   [データ分析] ページに移動し、GUI でテーブルを作成します。 外部テーブルには次の属性が含まれます。

   • 一般
     • テーブル名 (テーブルの作成時に入力)
     • 表示名
     • レベル 1 フォルダーとレベル 2 フォルダー
     • 説明
   • 物理モデル
     • [テーブルタイプ]: [外部テーブル] を選択します。
     • [パーティション化] ：Table Store の外部テーブルはパーティション化をサポートしていません。
     • [ストレージアドレス] ：[物理モデル] セクションで、LOCATION パラメーターをストレージアドレスとして入力できます。 または、[クリックして選択] をクリックして、ストレージアドレスを選択します。 [承認] をクリックします。
     • [ストレージフォーマット]: 必要に応じてファイル形式を選択します。 CSV、TSV、ORC、Parquet、シーケンスファイル、RCFile、Avro、テキストファイル、カスタムファイル形式がサポートされています。 カスタムファイル形式を選択する場合、対応するリソースを選択する必要があります。 リソースをコミットすると、DataWorks は含まれているクラス名を自動的に解析し、それらをクラス名ドロップダウンリストに表示します。
     • [Rolearn] ：STS 権限付与を完了している場合は、未指定のままにすることができます。
   • Schema

     パラメーター	説明
     フィールドタイプ	MaxCompute 2.0 は、TINYINT、SMALLINT、INT、BIGINT、VARCHAR、STRING 型のフィールドをサポートしています。
     操作	追加、変更、削除操作がサポートされています。
     定義または値の最大長	VARCHAR 型のフィールドの最大長を設定できます。 複雑なデータ型の場合は、定義を入力します。

データ型

MaxCompute 2.0 で新しくサポートされるようになったデータタイプ (TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP、BINARY または複合データ型) を使用する場合、テーブルを作成する文の前に set odps.sql.type.system.odps2=true; を含めます。 テーブル作成の文とともに set 文をコミットします。 Hive との互換性が必要な場合、odps.sql.hive.compatible=true; 文を含めることを推奨します。

外部テーブルの表示と処理

[データ分析] ページに移動して、左側のナビゲーションウィンドウで [ワークスペーステーブル] をクリックして外部テーブルを表示します。 外部テーブルは、内部テーブルと同じ方法で処理されます。