ログ管理

典型的なシナリオは次のとおりです。サーバー（コンテナ）は、異なるディレクトリに生成された膨大な量のアプリケーションログデータを格納します。

• 開発者は、新しいアプリケーションを導入したり、廃止したりします。
• サーバーは、ピーク時にはスケールアウトされ、スラック時にはスケールインされるなど、必要に応じてスケールアウトできます。
• ログデータは、さまざまな要件に応じて照会、監視、保管されます。

プロセスの課題

1. アプリケーションの迅速なデプロイメントと実行、および増加する数のログタイプ

各アプリケーションは、Access、OpLog、Logic および Error ログを生成できます。より多くのアプリケーションが追加され、アプリケーション間に依存関係が存在すると、ログの量が爆発的に増加します。

オンラインテイクアウェイ Web サイトの例を次に示します。

2. ログは異なる目的で使用される

たとえば、AccessLog は請求やユーザのダウンロードに使用できます。 OpLog は DBA によって照会され、BIA 分析と完全リンク監視も必要です。

3. 環境と変化

インターネットの信じられないほど高速な進化により、現実世界では常に変化するビジネスと環境に適応する必要があります。

• アプリケーションサーバーのサイズ変更
• マシンとしてのサーバー
• 新しいアプリケーションの導入
• 新しいログコンシューマ

完全な管理アーキテクチャが必要

• 低コストで明確に定義されたアーキテクチャ
• 安定した、信頼性の高い、無人のメカニズム（たとえば、自動スケーリングが可能で、必要に応じてサーバーの追加や削除が可能）
• 複雑な設定をせずに標準化されたアプリケーションの展開
• ログ処理要件への容易な準拠

ログサービスソリューション

ログサービスの LogHub 機能は、ログアクセスに関する以下の概念を定義し、Logtail を使用してログを収集します。

• プロジェクト：管理コンテナ
• ログストア：ログソースを表す
• マシングループ：ログのディレクトリとフォーマットを表す
• 設定：ログへのパスを示す

これらの概念の関係は次のとおりです。

• プロジェクトには複数のログストア、マシングループ、および設定が含まれており、異なるビジネス要件を満たす異なるプロジェクトが含まれています。

• アプリケーションは複数のタイプのログを持つことができます。ログタイプごとに、ログストアと固定ディレクトリー（同じ構成で）があります。

    app --> logstore1, logstore2, logstore3
    app --> config1, config2, config3

• 1 つのアプリケーションを複数のマシングループに、複数のアプリケーションを 1 つのマシングループに配備できます。

    app --> machineGroup1， mahcineGroup2
    machineGroup1 --> app1, app2，app3

• configで定義された収集ディレクトリは、マシングループに適用され、任意のログストアに収集されます。

    config1 * machineGroup1 --> Logstore1
    config1 * machineGroup2 --> logstore1
    config2 * machineGroup1 --> logstore2

利点

• 利便性：WebConsole / SDK およびバッチ管理用の他のツールを提供します。

• 大規模：数百万のマシンとアプリケーションを管理します。

• リアルタイム：コレクションの設定はわずか数分で有効になります。

• 柔軟性：

  • マシン ID 機能は、サーバーの自動スケーリングをサポートします。
  • LogHub は Auto Scaling をサポートしています。詳細は シャードの概要 を参照してください。

• 安定した信頼性：人の介入は必要ありません。

• ログ処理におけるリアルタイムコンピューティング、オフライン分析、索引付け、およびその他の照会機能については、サービス導入を参照してください。

  • LogHub: リアルタイム収集と使用。リアルタイムのダウンストリーム使用のために大量のデータを収集するために 30 以上の方法を使用します。
  • LogShipper: 安定した信頼性の高いログ配布。LogHub からストレージサービス（OSS / MaxCompute / Table Store）にデータを提供し、ストレージと大規模なデータ分析を実現します。
  • LogSearch: リアルタイムのデータインデックス作成およびクエリ。これにより、アクティブなサーバーログの場所を気にせずに集中ログを照会することができます。