MaxCompute

大量のデータを高速で処理するオールインワンサービス

使用を開始する ドキュメント

概要

MaxCompute は、大規模データウェアハウジング対応のデータ処理プラットフォームです。用途やデータソースに応じて、きめ細やかなユーザー権限を設定可能です。 さまざまなデータ連携ソリューションと分散コンピューティング処理をベースにした効率的なデータ処理により、大規模データセットに対する照会・検索処理が可能です。


利点

大規模コンピューティングおよびストレージ

GBレベルからPBレベルの大容量データの処理及び保存が対応可能

主要な計算モデル

SQL、MapReduce、Graph、および MPI の反復アルゴリズムが利用可能

セキュリティ

Alibaba グループが中国国内で展開されている金融や EC サービスなどでも導入されている、マルチレイヤーサンドボックスなどの高セキュリティなオフライン分析技術が利用可能

低コスト

プライベートクラウドを独自導入した際のコストと比べて、20 ~ 30% 削減が可能


アーキテクチャ

MaxCompute は、テラバイト/ペタバイト級の大容量データに対応した、マネージドデータウェアハウスソリューションです。強力なデータインポート機能と分散コンピューティングモデルをベースに開発したビッグデータ処理プラットフォームにより、データを高速処理することができます。さらに、データソースごとにアクセス権限を設定することができるため、安全なデータ管理が可能です。


特徴

Tunnel 機能による大容量データ連携

大容量データの連携を実現する「Tunnel 機能」が利用可能です。このサービスはスケーリングさせることができ、テラバイトからペタバイトレベルのデータのインポート/エクスポートをサポートします。

リアルタイムインポート

低レイテンシで増分データのインポートに適した datahub 機能を利用することができます。

テーブル形式のデータ構造

処理対象のデータは、テーブル形式でファイルシステム格納されます。さらに、ファイル圧縮の効果により、ランニングコストを大幅に削減します。

コンピューティング - SQL

集計処理に最適化させた独自の SQL 処理フレームワークにより、一般的な MapReduce モデルの SQL 演算処理よりも高速で処理が可能です。注意点として、トランザクション、インデックス、更新/削除などの、集計以外のテーブル操作はサポートしていません。

コンピューティング - MapReduce

Java MapReduce プログラミングモデルが用意されており、これを使用することで効率的なソフトウェア開発プロセスを実現します。MapReduce モデル (MR2) では、1 つの map 関数に対して複数の reduce 関数を利用できます。

コンピューティング - Graph モデル

MapReduce で K-Means や PageRank などの反復計算処理を実施すると、複雑なものになると非常に時間がかかってしまいます。このような場合、MaxCompute に用意されている Graph モデルを使うことで、非常に効率的に行うことができます。

セキュリティ

MaxCompute は、ユーザーデータが分離されたマルチテナント形式を採用しています。必要に応じて適切な権限を設定することにより、他のユーザーとデータ共有させることも可能です。


アーキテクチャ

MaxCompute では、抽象的なタスク処理フレームワークにより、MaxCompute は、統一プログラミングインタフェース/GUI、共有セキュリティ制御、ストレージ、データ管理、およびリソーススケジューリングを提供し、多種多様なコンピューティングタスクをサポートします。また、データアップロード/ダウンロードトンネリング、SQL、MapReduce、機械学習アルゴリズム、グラフィックスコンピューティング、ストリーミングコンピューティング、その他のコンピューティングモデルも用意されています。


利用イメージ

MaxCompute の典型的な利用イメージとして、ビッグデータソリューションをご紹介します。

BI 分析

ECS、AnalyticDB/RDS、その他の BI レポートツールと連携し、BI 分析の要件に応えます。アプリケーションや Web サーバーのアクセス履歴等の各種ログを、Fluentd データインポートツールを介して DataHub にアップロードできます。また、MaxCompute SDK またはクライアントツールを使用することで SQL Analysis スクリプトを送信することも可能です。

DWH の開発

MaxCompute にインポートしたデータに対する抽出、変換、挿入の各処理用プログラムを開発することができます。DWH の開発、運用、保守の各工程で、MaxCompute 用のコマンドラインツールや、DataWorks など GUI ツールを使用することができます。

料金

MaxCompute は、プロジェクトを課金単位としています。
ストレージ、コンピューティング、データダウンロード 3 つの項目の使用状況に応じて課金されます。

価格詳細については、下記詳細ページをご参照ください。
https://jp.alibabacloud.com/help/doc-detail/27989.htm

※正確な価格は購入ページで表示される情報を確認ください。


はじめに

コマンドラインツールを用いた MaxCompute の使用

コマンドラインツールから MaxCompute にアクセスできます。MaxCompute をインストールおよび設定するには、「ドキュメントセンター」を参照してください。

ユーザーの追加/削除

プロジェクトオーナー以外のユーザーが MaxCompute を操作する際は、MaxCompute プロジェクトにそのユーザーを追加して、適切な権限を付与する必要があります。ユーザーの追加/削除については、「ドキュメントセンター」をご参照ください。

テーブルの作成/記述/削除

プロジェクトに追加されたユーザーは、MaxCompute を操作できます。MaxCompute で入力/出力時に使用するテーブルには、事前にテーブルに対して適切なパーティションを設定する必要があります。テーブルの作成/記述/削除については、「ドキュメントセンター」をご参照ください。

データチャネル

MaxCompute には、Tunnel 操作を使用して、データを直接インポートおよびエクスポートする方法と、Tunnel SDK を使用する方法の、2 つがあります。

SQL

MaxCompute の SQL 構文については、「ドキュメントセンター」をご参照ください。

MapReduce

サンプルプログラム 'MapReduce WordCount' の実行方法については、「ドキュメントセンター」をご参照ください。

リソース

コマンドラインツール

クライアントサイドのコマンドラインツールは Java SDK に基づいて作成されており、MaxCompute に簡単にアクセスできます。

ダウンロード

データインポートツール

Fluentd や Flume などの一般的なデータ転送ツールを利用できます。

開発プラグイン

MapReduce および UDF Java SDK を使用した開発を容易にするために、MaxCompute は Eclipse プラグインを提供しています。Eclipse では、MapReduce と UDF のプロセスをシミュレートして、ユーザー向けのローカルデバッグの方法と簡単なテンプレート生成機能を提供します。

Java SDK

Maven を使用すると、"odps-sdk" で Maven ライブラリを検索して、さまざまなバージョンの Java SDK が利用できます。

よくある質問

どのような手順でインストールと設定をしたらよいですか。

まず、MaxCompute コンソールのインストーラをダウンロードします。コンソールの実行には JRE 1.6が必要ですので、コンソールを実行するマシンに JRE 1.6 がインストールされていることを確認します。次に、MaxCompute のインストーラを、任意のフォルダーに解凍します。詳細については、「ドキュメントセンター」をご参照ください。

料金に関する注意事項はありますか。

MaxCompute では、 ストレージの使用容量、コンピューティングリソース、データダウンロード容量に応じて、プロジェクトごとに課金されます。課金の詳細については、「ドキュメントセンター」をご参照ください。

どのように Java UDF を使用しますか。

MaxCompute では、UDF、UDAF、UDTF の 3 種類を包括して、UDF としています。「UDF ガイド」をご参照ください。

データ同期ジョブはどのように作成しますか。

データ同期ジョブは、MaxCompute、RDS (MySQL、SQL Server、PostgreSQL)、Oracle、FTP、ADS、OSS、ApsaraDB for Memcache、DRDS のデータソースタイプ上で作成できます。データ同期ジョブを作成するには、「ドキュメントセンター」をご参照ください。

MapReduce はどのように使用しますか。

MaxCompute には、MapReduce プログラミングインターフェイス (MaxCompute MapReduce、拡張 MapReduce、Hadoop MapReduce) が用意されています。詳細については、「ドキュメントセンター」をご参照ください。