Logview は、MaxCompute ジョブの送信後、タスクを確認し、デバッグするためのツールです。

Logview を使用すると、ジョブに関する以下の詳細を確認できます。

  • タスクの実行ステータス
  • タスクの操作結果
  • タスクの詳細および各ステップの進行状況

ジョブが MaxCompute に送信されると、Logview へのリンクが生成されます。 ブラウザ上で直接 Logview リンクを開き、各ジョブの情報を表示することができます。 Logview ページは 7 日間有効です。

機能

以下に、特定の Logview Web ユーザーインターフェイスを使用して、各コンポーネントについて説明します。
Logview ホームページは 上部と下部の 2 つのセクションに分かれています。
  • インスタンス情報
  • タスク情報

インスタンス情報

Logview ホームページの上部は、SQL を生成するために送信された MaxCompute インスタンスです。 各 SQL のコミット後、一意の ID が生成されます。 レイテンシーは、実行所要時間のことです。他のページのレイテンシーも同様です。

4 つのステータスがあります。
  • Waiting: 現在のジョブが MaxCompute で処理中であり、Fuxi での実行がコミットされていないことを示します。
  • Waiting List: N はジョブが Fuxi へ送信され、キューにつながれており、キュー内で n ビットであることを示します。
  • Running: ジョブは Fuxi で実行中です。
  • Terminated: ジョブはキュー情報無しで終了しました。
ジョブの未終了ステータスをクリックし、キューの詳細情報を確認します。
ステータスをクリックし、キューの詳細を確認します。
  • Sub status: 現在のサブステータス情報です。
  • Waitpos: キューイングの場所のことで、0 は実行中、(-) は Fuxi へ到達していないことを示します。
  • Queuing length: Fuxi のキューの長さの合計です。
  • Total priority: システムがジョブ実行時間により判断する優先度です。
  • SubStatus history: クリックすると、ジョブ実行の詳細な履歴を表示できます。 ステータスコード、ステータスの説明、開始時間、実行時間などを含みます。 (現在、一部のバージョンには履歴情報がありません)

タスク情報

Logview ホームページの下部セクションは、タスク説明、結果の説明および他の詳細情報です。

結果

ジョブの実行後、以下の図のように結果 (select SQL 結果など) が表示されます。

詳細

ジョブの実行後、詳細をクリックするとタスクの実行ステータスが表示されます。
  • MaxCompute タスクは 1 つ以上の Fuxi ジョブで構成されます。 たとえば、SQL タスクが複雑な場合、MaxCompute は Fuxi に複数の Fuxi ジョブを送信します。
  • 各 Fuxi ジョブは 1 つ以上の Fuxi タスクで構成されます。 シンプルな MapReduce は通常、Map と Reduce という 2 つの Fuxi タスクを生成します。 2 つの Fuxi タスク名を順番に M1 および M2 として表示できます。 SQL が複雑な場合、1 つ以上の Fuxi が上述の図で示されるようなタスクを生成する場合があります。
  • 各タスクはタスク名を表示します。 たとえば、M1 はマップタスクで、 r54 の 4 は J4 に依存していることを意味します。 最後の実行が完了するまで実行は開始されません。 同様に、j4_1_2_3 は join4 の開始条件が M1、M2、M3 の 3 つのタスクに完全に依存していることを示します。
  • I/O Records は、このタスクの入出力のレコード数を表します。
いずれかの Fuxi タスクをクリックすると、 以下の図で示すような Fuxi インスタンスの内容が表示されます。

各 Fuxi タスクは 1 つ以上の Fuxi インスタンスで構成されます。 入力データレベルが大きい場合、MaxCompute はより多くのノードを起動してデータを処理します。 各ノードは Fuxi インスタンスです。 右側の Fuxi タスク列をダブルクリックして確認するか、行をダブルクリックして特定の Fuxi インスタンス情報を開きます。

ページの末尾に進むと、Logview は異なるステージのインスタンスでグループ化されます。 failed 列をクリックして、誤ったノードを表示します。

stdout と stderr 列では、標準出力と標準エラーメッセージが、出力される情報とともに確認できます。

Logview によるトラブルシューティング

  • タスクエラー

    タスクエラーが発生した場合、Logview ページ上の結果にエラーを示すプロンプトメッセージが表示されます。 Fuxi インスタンスの Stderr 詳細ページを使用して、特定インスタンスのエラーに関する情報を確認します。

  • データスキュー
    動作が遅い場合は、通常、すべての Fuxi インスタンス内の個々のインスタンスの中の特定の Fuxi タスクが原因です。 ロングテールは同一タスク内でのタスク割り当て不均等によって引き起こされます。 タスクが実行された後、サマリータブで実行結果を確認できます。 各タスクの出力は以下のとおりです。
    output records:
R2_1_Stg1: 199998999 (min: 22552459, max: 177446540, avg: 99999499)

    上の図では、min と max に大きな差があります、これは、このステージでデータの偏りが発生していることを示しています。 つまり、高頻度のワードが 1 つ出現すると、このワードを結合する際に偏りが発生します。