ログインまたはコンソールをアクセス

OK

DataWorks

ワンストップで大規模データを処理するオンライン IDE サービス

今すぐ利用開始

概要

DataWorks は、Alibaba Cloud のビッグデータプラットフォームプロダクトです。ビッグデータの処理や分析などをワンストップで行い、データ権限管理、オフラインジョブスケジューリングなどの機能もご利用いただけます。

DataWorks は直観的な操作ですぐに使うことができます。また、複雑な基盤クラスターの設定や運用および管理も低コストで利用可能です。


利点

優れた操作性

システムのデータ開発モジュールでは、SQL (MaxCompute SQL)、データ同期、MR (MaxCompute MR)、シェル、その他のジョブタイプを含む豊富なコンポーネントが用意されています。一般的なワークフローのエディタよりも簡単に操作できます。

カスタマイズ性

システムデータ管理モジュールでは、処理対象のデータをフォルダ階層やタグ機能などで管理することができます。例えば、お気に入りへの追加、ライフサイクル、基本情報、オーナーなどの管理、ストレージ情報、パーティション情報、出力情報、リレーション情報の表示など、データテーブルに対する操作が簡単に行えます。

ワンクリックジョブ管理

同じプライマリアカウントで異なるプロジェクト間のジョブの迅速な移行とパブリッシュが可能です。"開発" および "運用" 環境をシミュレートする顧客向けのデュアル環境モデルと、その他のオフラインおよびオンライン運用モデルを提供します。

ジョブモニタリングの可視化

DataWorks には、ビジュアルタスクモニタリングとジョブ管理が可能な O&M Center が用意されており、実行されているタスクをグラフ形式で表示します。エラーが発生したジョブを一覧で表示する画面もあり、"再実行"、"復元"、"一時停止"、"停止" などの操作を実行できます。


アーキテクチャ

DataWorks は、ビッグデータを処理に特化したAlibaba Cloudのプラットフォームのプロダクトです。
ワンストップのビッグデータ処理プログラムの開発、権限管理、ジョブスケジューリングなどを実現します。また、豊富な OpenAPI が用意されており、効率的にアプリケーションを開発することができます。

DataWorks は、大規模データ計算エンジン MaxCompute と連携することで、オフライン処理、データ分析、データウェアハウス構築、データマイニングなどにも対応します。


特徴

データ処理プログラム開発

DataWorks は、複数のプログラミング言語やデバッグ機能を備えるビジュアルビジネスプロセス開発ツールです。コードのオートコンプリート、コードの書式設定、コードのバージョン管理、コラボレーション開発などの機能を提供します。

ジョブスケジューリング

DataWorks は、日や時などの複数の時間単位でジョブの実行頻度の設定が可能です。また、オンライン O&M、モニタリングアラームなどの機能を持つオフラインタスクスケジューリングにより、安定したオフラインスケジューリング機能を提供します。数百万のオフラインディスパッチタスクをサポートします。

データ管理

DataWorks は、データ測定や影響分析機能などのあらゆるデータサービスをサポートします。メタデータ、異なる形式のデータ、サービスのメタデータ、データライフサイクル、データ資産、データ権限を管理できます。

利用イメージ

一般的な DataWorks 利用イメージをいくつか次に示します。

データの保護

DataWorks では、データ収集、大規模データウェアハウスおよび BI アプリケーションの構築、MaxCompute の大規模データストレージおよび計算処理の活用が簡単に実現できます。

データ処理プログラム開発

ビッグデータに対して、高速な処理能力を実施し実行結果をエクスポートし、他システムにデータを連携させることが可能です。

データの可視化および共有

DataWorks では、タスクを視覚化し一元的に管理する画面や詳細な管理画面が用意されています。これにより、運用管理業務の利便性が向上します。

はじめに

コンソールを用いた DataWorks の使用

DataWorks 管理コンソールでは、プロジェクト管理、メンバー管理、データ分析、ワークフロースケジューリングなどのすべての作業が可能です。

ドキュメント

DataWorks の利用を開始し、使用方法を確認するには、ドキュメントセンターの「クイックスタート」を参照してください。

よくある質問

1. DataWorks の利用開始方法を教えてください。

Alibaba Cloud アカウントの作成後、コンソールより Dataworks を有効化してください。その後、プロジェクトを作成することで利用可能です。詳しくはプロジェクトの作成に関するドキュメントを参照してください。

2. RAM ユーザーは DataWorks を使用できますか。

RAM ユーザーも DataWorks を使用できます。詳細については、「メンバーの追加と権限付与」を参照してください。

3. DataWorks を用いた MaxCompute テーブルの作成方法を教えてください。

DataWorks の新規スクリプトファイルおよびデータ管理モジュールの新規テーブル機能を使用して、MaxCompute テーブルを作成できます。詳細については、「テーブルの作成と削除」を参照してください。

4. ユーザー側で関数の定義をすることはできますか。

はい。
DataWorks では、MaxCompute と同じ関数の定義が可能です。詳細については、「UDF の作成」を参照してください。

6. DataWorks と同期が可能なデータソースを教えてください。

DataWorks と同期が可能なデータソースは、MaxCompute、RDS (MySQL、SQL Server、PostgreSQL)、Oracle、FTP、ADS、OSS、ApsaraDB for Memcache、DRDS などです。詳細については、「データ同期ジョブの作成」を参照してください。