Azure

AKS ( Kubernetes ) のPod からログをFilebeat を使って収集してelasticsearch + kibanaで解析する方法

はじめに

くどうです。

先日、fluentd によるKubernetesでのlogを取得する方法を紹介しました。
AKS ( Kubernetes ) のPod からログをfluentd を使って収集してelasticsearch + kibanaで解析する方法

Tweetしたところ @johtani さんからFilebeatを利用した方法を教えて頂いたので紹介します、
Shipping Kubernetes Logs to Elasticsearch with Filebeat
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat

fluentdの代わりにFilebeatは入るイメージです。

準備と展開

elasticsearch + kibana 環境の構築は下記に記載しています。
http://level69.net/archives/25379

filebeatの展開はfluentdと同様、マニフェストを利用してDaemonSetを展開します。

環境変数を修正します。
主に ELASTICSEARCH_HOST をelasticsearchのホスト名もしくはIPアドレスを指定します。

展開します。

kubectlにて正しく展開されているのが確認できます。

以上で完了です。
簡単ですね。

確認

kibanaの利用方法は割愛します。

負荷テストを行ってみると以下の様にログが送られていることが分かります。

以上で設定自体は完了です。

削除

DaeamonSetの削除

まとめ

Filebeatもfluentdと同様、ログを取得できます。詳しくは確認していませんがFilebeatの方が取得できるログ情報が多いと思います。
Index Patternを作成するとfieldsが多いです。その分、同じにIndexに色々とぶっこめば解析がしやすいメリットがあるのかな?(小並感
先日、試したfluentdはkubernetesに絞っているようです。
実際に、パフォーマンスや環境に合わせて導入が必要となると思います。

参考:
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat
https://www.elastic.co/guide/en/beats/filebeat/6.0/running-on-kubernetes.html

Related post

  1. Azure

    「クラウドの知識から学ぶ Azure 勉強会@旭川」に参加して話してきた。

    はじめにくどうです。今回は、勉強会レポートです。9月19日に「ク…

  2. Azure

    Microsoft Azure でDockerはじめちゃいますか?

    じゅんくどうです。本投稿は「Azure Advent Calende…

  3. Azure

    Microsoft MVP for Microsoft Azure を受賞しました。

    受賞くどうです。Microsoft MVP for Mic…

  4. Azure

    同サブスクリプションでVNET間接続を行う。ポータルでも設定できます。

    はじめにくどうです。VNET間接続、ポータルでもちゃんと設…

  5. Azure

    AzureにVulsをインストールしてみる。コピペでどーん。Docker編

    はじめにくどうです。Vulsです。前回と一緒。いろ…

  6. Azure

    SCOMで監視できるAzure(リソースマネージャ側)のサービス

    はじめにくどうです。SCOMで監視できるAzureのサービスSC…

  1. Linux

    一定回数のログイン失敗でロックしちゃうぜ!
  2. Azure

    HDInsightのKafkaをJolokia(REST API)でモニタリング…
  3. Linux

    Ubuntu 18.04 on windows subsystemが消せない。
  4. Azure

    Serverless Framework が Azure Functionsをサ…
  5. Azure

    Azure Container Instances でPrometheus の …
PAGE TOP