Hadoop コード内のパラメーターの説明
以下のパラメーターは、Hadoop コードで使用できます。
プロパティ | デフォルト | 説明 |
---|---|---|
fs.oss.accessKeyId | なし | (省略可能) OSS へのアクセスに使用する必須の AccessKey ID |
fs.oss.accessKeySecret | なし | (省略可能) OSS へのアクセスに使用する必須の AccessKey Secret |
fs.oss.securityToken | なし | (省略可能) OSS へのアクセスに使用する必須の STS トークン |
fs.oss.endpoint | なし | (省略可能) OSS へのアクセスに使用するエンドポイント |
fs.oss.multipart.thread.number | 5 | アップロード部分コピー時に OSS が使用するスレッド (同時実行) 数 |
fs.oss.copy.simple.max.byte | 134217728 | 一般的な API を使用した OSS の内部コピーのファイル制限 |
fs.oss.multipart.split.max.byte | 67108864 | 一般的な API を使用して OSS のバケット間でファイルをコピーする場合のファイルマルチパート制限 |
fs.oss.multipart.split.number | 5 | OSS の一般的な API を使用中のバケット間でファイルをコピーする場合のファイルマルチパート制限。 デフォルトの制限はコピーで使用されるスレッド数と同じです。 |
fs.oss.impl | com.aliyun.fs.oss.nat.NativeOssFileSystem | ネイティブ OSS ファイルシステムの実装クラス |
fs.oss.buffer.dirs | /mnt/disk1,/mnt/disk2,… | OSS のローカルの一時ディレクトリ。 It uses a cluster data disk by default. |
fs.oss.buffer.dirs.exists | false | OSS 一時ディレクトリが存在するかどうかを示します。 |
fs.oss.client.connection.timeout | 50000 | OSS クライアントの接続タイムアウト (ミリ秒) |
fs.oss.client.socket.timeout | 50,000 | OSS クライアントのソケットタイムアウト (ミリ秒)。 |
fs.oss.client.connection.ttl | -1 | 接続存続時間 |
fs.oss.connection.max | 1024 | 許可される最大接続数 |
io.compression.codec.snappy.native | false | Snappy ファイルを標準としてマークするかどうかを示します。 デフォルトでは、Hadoop は Hadoop によって変更された Snappy ファイルを認識します。 |