すべてのプロダクト
Search
ドキュメントセンター

Object Storage Service:再開可能なアップロード

最終更新日:Feb 26, 2024

再開可能なアップロードを使用してオブジェクトをobject Storage Service (OSS) にアップロードする場合、再開可能なアップロードレコードを格納するチェックポイントファイルのディレクトリを指定できます。 ネットワーク例外またはプログラムエラーのためにオブジェクトのアップロードに失敗した場合、チェックポイントファイルに記録された位置からアップロードタスクが再開されます。

使用上の注意

  • このトピックでは、中国 (杭州) リージョンのパブリックエンドポイントを使用します。 OSSと同じリージョンにある他のAlibaba CloudサービスからOSSにアクセスする場合は、内部エンドポイントを使用します。 OSSリージョンとエンドポイントの詳細については、「リージョンとエンドポイント」をご参照ください。

  • このトピックでは、アクセス資格情報は環境変数から取得します。 アクセス資格情報の設定方法の詳細については、「アクセス資格情報の設定」をご参照ください。

  • このトピックでは、OSSエンドポイントを使用してOSSClientインスタンスを作成します。 カスタムドメイン名またはSTS (Security Token Service) を使用してOSSClientインスタンスを作成する場合は、「初期化」をご参照ください。

  • 再開可能アップロードを使用するには、oss:PutObject権限が必要です。 詳細については、「RAMポリシーの一般的な例」をご参照ください。

  • 再開可能なアップロードでは複数のスレッドが使用されます。 したがって、再開可能なアップロードメソッドを呼び出すときに、複数のアップロードスレッドをカプセル化する必要はありません。 そうでなければ、データは繰り返し送信され得る。

  • ネットワーク接続が安定している場合は、部品サイズを増やすことを推奨します。 それ以外の場合は、部品サイズを小さくします。

次のサンプルコードは、再開可能なアップロードを実行する方法の例を示します。

# -*-コーディング: utf-8 -*-
oss2のインポート
oss2.credentialsからEnvironmentVariableCredentialsProviderをインポート
# 環境変数からアクセス資格情報を取得します。 サンプルコードを実行する前に、環境変数OSS_ACCESS_KEY_IDとOSS_ACCESS_KEY_SECRETが設定されていることを確認してください。 
auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
# バケットが配置されているリージョンのエンドポイントを指定します。 たとえば、バケットが中国 (杭州) リージョンにある場合、エンドポイントをhttps://oss-cn-hangzhou.aliyuncs.comに設定します。 
# バケットの名前を指定します。 例: examplebucket. 
bucket = oss2.Bucket(auth, 'https:// oss-cn-hangzhou.aliyuncs.com ', 'examplebucket')

# オブジェクトのフルパスを指定します。 バケット名をフルパスに含めないでください。 例: exampledir/exampleobject.txt。 
# ローカルファイルのフルパスを指定します。 例: D :\\ localpath\\examplefile.txt。 デフォルトでは、ローカルファイルのフルパスを指定しない場合、サンプルプログラムが属するプロジェクトのパスからローカルファイルがアップロードされます。 
oss2.resumable_upload (バケット、'exampledir/exampleobject.txt '、'D :\\ localpath\\examplefile.txt')
# storeパラメーターでディレクトリを指定しない場合は、チェックポイント情報を格納するために、HOMEディレクトリにpy-oss-uploadディレクトリを作成します。 

# OSS SDK for Python 2.1.0以降は、再開可能アップロードでのオプションパラメーターの設定をサポートしています。 次のコードでは、再開可能アップロードでオプションのパラメーターを設定する方法の例を示します。# インポートsys
## アップロードするデータの長さがわからない場合、total_bytesの値はNoneです。 
# defパーセンテージ (consumed_bytes, total_bytes):
# if total_bytes:
# rate = int(100 * (float(consumed_bytes) / float(total_bytes)))
# print('\r{0}%'.format(rate), end='')
# sys.stdout.flush()
※ storeパラメーターでディレクトリを指定すると, 指定したディレクトリにチェックポイント情報が格納されます。 num_threadsパラメーターを使用して同時アップロードスレッドの数を指定する場合は、oss2.defaults.connection_pool_sizeの値が同時アップロードスレッドの数以上であることを確認してください。 同時スレッドのデフォルト数は1です。 
# oss2.resumable_upload(bucket, '<yourObjectName>', '<yourLocalFile>',
# store=oss2.ResumableStore(root='/tmp') 、## オブジェクトサイズがmultipart_thresholdの値以上の場合、マルチパートアップロードを使用するように指定します。 multipart_thresholdのデフォルト値は10 MBです。 
# multipart_threshold=100*1024、## 各パーツのサイズを指定します。 単位:バイト 有効なパーツサイズは100 KB〜5 GBです。 デフォルトの部品サイズは100 KBです。 
# part_size=100*1024、## アップロードコールバックを実装して、再開可能なアップロードタスクの進行状況を示す関数を設定します。 
# progress_callback=パーセンテージ、## num_threadsパラメーターを使用して同時アップロードスレッド数を指定する場合は、oss2.defaults.connection_pool_sizeの値が同時アップロードスレッド数以上であることを確認してください。 同時スレッドのデフォルト数は1です。 
# num_threads=4) 

参考資料

再開可能アップロードの完全なサンプルコードについては、GitHubをご参照ください。