Realtime Compute

Realtime Compute は、Apache Flink を最適化したマネージドリアルタイムデータ処理プラットフォームです。

Realtime Compute は、Apache Flink をベースに、リアルタイムのビッグデータ処理が可能になるワンストップ、ハイパフォーマンスのプラットフォームを提供します。ストリーミングデータ処理、オフラインデータ処理、および非構造化データ処理など多様な利用イメージで広く使用されています。 また、ビッグデータをリアルタイムで処理して解析し、ビジネスの洞察および意思決定に活用できます。

メリット

バッチ処理とストリーム処理をサポート
バッチ処理およびストリーム処理は同じエンジンと API を使用することで、運用をシンプル化することができます。
ハイパフォーマンス
Flink のパフォーマンスを最適化し、同じ条件の Flink と Spark のパフォーマンスを大幅に上回ります。
安定的かつ先進的なテクノロジー
Alibaba グループ 11・11 開催時に発生する大量のストリームデータをリアルタイムに処理する基盤を提供するプロダクトです。
最先端テクノロジー
Apache Flink に関わる多数の課題を解決したコミッターによって開発されたプロダクトです 。

特徴

ハイパフォーマンス

高スループットとスケーラビリティ

ハイパフォーマンス

Apache Flink SQL のコミュニティバージョンを大幅に改善し、スループットが数百万データレコードに達し、データ処理遅延も秒単位まで削減されています。

安定的かつセキュア

exactly-once 一致性・高可用性アーキテクチャ・各テナント間の隔離

安定的かつセキュア

exactly-once レベルで、確実に重複データや未処理データをなくし、分散クラスターベースの計算により自動障害回復を実現します。さらに、テナント間コンピューティングリソースの隔離でデータの安全性を保証します。

使いやすさ

SQL、オンライン開発環境、およびユーザー定義拡張機能 (UDX) をサポートしています。

使いやすさ

標準 SQL のサポートにより、学習コストを削減し、速やかに利用を開始することで、ビジネスロジックに集中できます。また、開発、デバッグ、ジョブ管理を統合したフルマネージドのオンライン開発環境は、オンラインデバッグ、インテリジェントコード補完、オンライン管理など幅広いコーディング支援機能を提供しています。

充実した機能

リアルタイムおよびオフラインのデータ処理などの課題に対応できるワンストッププラットフォームを提供しています。

充実した機能

リアルタイムおよびオフラインのデータクレンジング、データ分析、データ同期、異種データソースにまたがる計算、および非構造化データ分析機能を実装する SQL をサポートしています。これにより、ストリーミングデータおよび静的データの関連付けクエリが実行できるようになります。

利用イメージ

  • 代表的なリアルタイム処理アーキテクチャ
  • IoT ソリューション
リアルタイムのデータ分析

リアルタイムのデータ分析

リアルタイムのデータ分析

バッチ処理モデルでは、リアルタイムデータ分析の需要に対応できません。Realtime Compute は、DataHub および Log Service などリアルタイム解析用のストリーミングデータストレージシステムを、シームレスに統合するエンドツーエンドのデータ処理プラットフォームを提供しています。また、Dataworks や BI レポートの DataV などのコンポーネントと組み合わせることで、リアルタイムのデータ処理プラットフォームを速やかに構築できます。

メリット

  • 導入が簡単

    SQL を使用してリアルタイムのデータ分析が可能になります。

  • ハイパフォーマンス

    Alibaba グループ内の運用実績として、ピーク時 1 秒当たりのデータレコード処理件数が 1 億件以上に達しています。

  • ワンストップソリューション

    アップストリームおよびダウンストリームのデータストレージシステムをシームレスに統合します。

代表的なリアルタイム処理アーキテクチャ

代表的なリアルタイム処理アーキテクチャ

解説

データソースはストリーミングデータストレージシステムに、継続的にデータを生成、送信します。ストリーミングデータは、これらのシステムから Realtime Compute のシステムに取り込まれ、ストリーム処理のジョブを起動します。その後、これらのジョブの結果データはターゲットのデータストレージシステムに送信されます。

メリット

  • データ生成

    データソースから継続的に生成される大容量のデータを自動的に処理します。

  • ストリーミングデータストレージ

    メッセージのパブリッシュやサブスクライブが可能になり、ストリーミングデータを Realtime Compute のシステムに、リアルタイムで取り込めるようになります。

  • リアルタイム処理

    リアルタイムデータ処理を簡単に実装できる開発、および運用管理の統合環境を提供しています。

  • データストレージ

    幅広いデータストレージシステムと統合されており簡単にデータを消費できます。

  • データコンシューム

    簡単かつ安全にストリームデータをコンシューム出来ます。

IoT ソリューション

IoT ソリューション

IoT ソリューション

IoT Hub は Realtime Compute と DataHub を組み合わせて使用することでビッグデータを処理できます。Realtime Compute は IoT センサーからデータを取り込み、取り込んだデータに対してリアルタイムの演算を実行します。演算の結果データはレポートのモニタリング、アラート、およびカスタマイズに使用されます。RealtimeCompute と IoT Hub を連携し、より高度なデータを処理することもできます。

メリット

  • 導入が簡単

    SQL およびユーザー定義関数 (UDF) を使用して IoT の課題を簡単に解決できるようになります。

  • ハイパフォーマンス

    Alibaba グループ内の運用実績として、ピーク時 1 秒当たりのデータレコード処理件数が 1 億件以上に達しています。

  • 高スケーラビリティ

    デバイスの数の増加によって、自動拡張可能です。