このトピックでは、Spark Streaming SQL でサポートされるウィンドウ関数、ウィンドウタイプ、時間属性について説明します。
ウィンドウ関数
ウィンドウ関数は、特定のウィンドウの集計をサポートしています。 たとえば、ある Web ページに過去 1 分間にアクセスしたユーザー数を計算するには、過去 1 分間のデータを収集するウィンドウを定義し、このウィンドウでデータを計算します。
Spark Streaming SQL は、次の 2 つのウィンドウタイプをサポートしています。
- タンブリングウィンドウ
- スライディングウィンドウ
時間属性
Spark SQL は、イベント時間属性を使用したウィンドウ内のデータ集計をサポートします。
通常、イベント時間属性は、データレコードが作成された時間を示します。 この属性はスキーマで提供されます。
注意
時間ウィンドウを使用するクエリの場合、window.start と window.end で指定されたウィンドウの開始時間と終了時間を含むウィンドウ列が自動生成されます。