DevOps シナリオでの Log Service と ELK(検索クラス)および Hadoop / Hive との比較

ソフトウェアとサービスの配信に対する需要の急増に対処するために、起業初期のチームも大手 IT 企業も DevOps モードに転換しつつあります。 開発(Dev)と保守(Ops)とのコラボレーションにより、部門を超える共同作業の実施や、顧客の要求に対する迅速な対応、及び持続的デリバリーを実現できます。

DeveOps モードでは、ログは問題調査、セキュリティ監査、運用サポートなどの面で重要なサポートの役割を果たします。 適切なログソリューションは、 DevOps にとって非常に重要です。

以下の点で LogSearch と ELK および Hadoop / Hive ソリューションを比較します。
  • ログが生成後、どれくらい経てばユーザーがクエリを実行できるか
  • クエリ能力:単位時間当たりにスキャンされるデータ量。
  • クエリ機能:キーワードクエリ、条件組み合わせクエリ、あいまいクエリ、数値比較、コンテキストクエリ。
  • トラフィックの 100 倍の増加に対する迅速な対応
  • コスト:GB あたりのコスト。
  • 信頼性:ログデータは安全であり、紛失しません。
一般的な解決策と比較
  • 自作 ELK:比較には Elastic、Logstash、Kibana を使用します。
  • オフライン Hadoop + Hive:データは Hadoop に格納され、Hive または Presto がクエリに使用されます(分析ではありません)。
  • Log Service(LogSearch)を使用します。

例としてアプリケーションログと Nginx アクセスログを使用してこれらのソリューションを比較します(1 日あたり 10 GB)。

機能 ELK システム Hadoop + Hive Log service
クエリ完了までの待ち時間 1 ~ 60 秒(refresh_interval により制御) 数分から数時間 リアルタイム
クエリ待ち時間 1 秒未満 分単位 1秒未満
超大クエリ 数十秒から数分 分単位 秒単位(10 億ログのクエリ)
キーワードクエリ サポート サポート サポート
あいまい検索 サポート サポート サポート
コンテキストクエリ 未サポート 未サポート サポート
コンテキストクエリ サポート サポート サポート
連続文字列クエリ サポート サポート 未サポート
拡張性 マシンを予め準備 マシンを予め準備 秒単位で 10 倍拡張
書込みコスト 書き込み料 5 USD / GB。 クエリは無料 書き込みは無料 1クエリーにつき 0.3 USD / GB 書き込み料 0.5 USD / GB クエリは無料
ストレージコスト ≤ 3.36 USD / GB *日 ≤ 0.035 USD / GB *日 ≤ 0.016 USD / GB *日
信頼性 コピー数を設定する コピー数を設定する SLA > 99.9%、 データ > 99.99999999%