本チュートリアルでは、Spark SQL ジョブを設定する方法について学びます。
注 デフォルトで、ジョブの送信に使用される Spark SQL のモードは YARN です。
手順
- Alibaba Cloud E-MapReduce コンソールにログインします。
- ナビゲーションバーの上部にある、[データプラットフォーム] をクリックします。
- [操作] 列で、指定のプロジェクトの隣にある [ワークフローの設計] をクリックします。
- ジョブの編集ページの左側で、操作するフォルダを右クリックして [新規ジョブ] を選択します。
- [新規ジョブ] ダイアログボックスで、ジョブの名前と説明を入力します。
- [OK] をクリックします。
注 フォルダを右クリックして、サブフォルダを作成、フォルダ名を変更、フォルダを削除します。
- Spark SQL ジョブタイプを選択して Spark SQL ジョブを作成します。 このタイプのジョブは以下の方法を使用してバックグラウンドで送信されます。
spark-sql [options] [cli option]
- "コンテンツ" フィールドに Spark SQL コマンドに続けてパラメーターを入力します。
- -e オプション
-e オプションはジョブの "コンテンツ" フィールドに入力され、実行中の SQL に書き込まれます。 たとえば、以下のように入力します。
-e "show databases;"
- -f オプション
-f オプションを使用して Spark SQL スクリプトファイルを指定します。 よく準備された Spark SQL スクリプトファイルを OSS にアップロードすると、より柔軟な操作モードが提供されます。 この操作モードを使用することを推奨します。 たとえば、以下のように入力します。
-f ossref://your-bucket/your-spark-sql-script.sql
- -e オプション
- [保存] をクリックして Spark SQL ジョブの設定を完了します。