Hadoop コード内のパラメーターの説明

以下のパラメーターは、Hadoop コードで使用できます。

プロパティ デフォルト 説明
fs.oss.accessKeyId なし (省略可能) OSS へのアクセスに使用する必須の AccessKey ID
fs.oss.accessKeySecret なし (省略可能) OSS へのアクセスに使用する必須の AccessKey Secret
fs.oss.securityToken なし (省略可能) OSS へのアクセスに使用する必須の STS トークン
fs.oss.endpoint なし (省略可能) OSS へのアクセスに使用するエンドポイント
fs.oss.multipart.thread.number 5 アップロード部分コピー時に OSS が使用するスレッド (同時実行) 数
fs.oss.copy.simple.max.byte 134217728 一般的な API を使用した OSS の内部コピーのファイル制限
fs.oss.multipart.split.max.byte 67108864 一般的な API を使用して OSS のバケット間でファイルをコピーする場合のファイルマルチパート制限
fs.oss.multipart.split.number 5 OSS の一般的な API を使用中のバケット間でファイルをコピーする場合のファイルマルチパート制限。 デフォルトの制限はコピーで使用されるスレッド数と同じです。
fs.oss.impl com.aliyun.fs.oss.nat.NativeOssFileSystem ネイティブ OSS ファイルシステムの実装クラス
fs.oss.buffer.dirs /mnt/disk1,/mnt/disk2,… OSS のローカルの一時ディレクトリ。 It uses a cluster data disk by default.
fs.oss.buffer.dirs.exists false OSS 一時ディレクトリが存在するかどうかを示します。
fs.oss.client.connection.timeout 50000 OSS クライアントの接続タイムアウト (ミリ秒)
fs.oss.client.socket.timeout 50,000 OSS クライアントのソケットタイムアウト (ミリ秒)。
fs.oss.client.connection.ttl -1 接続存続時間
fs.oss.connection.max 1024 許可される最大接続数
io.compression.codec.snappy.native false Snappy ファイルを標準としてマークするかどうかを示します。 デフォルトでは、Hadoop は Hadoop によって変更された Snappy ファイルを認識します。