このトピックでは、Spark Streaming SQL でスライディングウィンドウ関数を使用する方法について説明します。

スライディングウィンドウとは

スライディングウィンドウは、ホップウィンドウとも呼ばれます。 タンブリングウィンドウとは異なり、スライドウィンドウは互いにオーバーラップすることが可能です。 スライディングウィンドウには、windowDuration と slideDuration の 2 つのパラメーターがあります。 slideDuration パラメーターは、各スライドのステップサイズを示します。 windowDuration パラメーターは、ウィンドウサイズを示します。
  • slideDuration パラメーターの値が windowDuration パラメーターの値よりも小さい場合、ウィンドウは互いにオーバーラップし、各要素は複数のウィンドウに割り当てられます。
  • slideDuration パラメーターの値が windowDuration パラメーターの値と等しい場合、ウィンドウはタンブリングウィンドウと同じです。

構文

GROUP BY HOPPING (colName, windowDuration, slideDuration)

例

SELECT avg(inv_quantity_on_hand) qoh
FROM kafka_inventory
GROUP BY HOPPING (inv_data_time, interval 1 minute, interval 30 second)