Azure

AKS ( Kubernetes ) のPod からログをFilebeat を使って収集してelasticsearch + kibanaで解析する方法

はじめに

くどうです。

先日、fluentd によるKubernetesでのlogを取得する方法を紹介しました。
AKS ( Kubernetes ) のPod からログをfluentd を使って収集してelasticsearch + kibanaで解析する方法

Tweetしたところ @johtani さんからFilebeatを利用した方法を教えて頂いたので紹介します、
Shipping Kubernetes Logs to Elasticsearch with Filebeat
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat

fluentdの代わりにFilebeatは入るイメージです。

準備と展開

elasticsearch + kibana 環境の構築は下記に記載しています。
http://level69.net/archives/25379

filebeatの展開はfluentdと同様、マニフェストを利用してDaemonSetを展開します。

環境変数を修正します。
主に ELASTICSEARCH_HOST をelasticsearchのホスト名もしくはIPアドレスを指定します。

展開します。

kubectlにて正しく展開されているのが確認できます。

以上で完了です。
簡単ですね。

確認

kibanaの利用方法は割愛します。

負荷テストを行ってみると以下の様にログが送られていることが分かります。

以上で設定自体は完了です。

削除

DaeamonSetの削除

まとめ

Filebeatもfluentdと同様、ログを取得できます。詳しくは確認していませんがFilebeatの方が取得できるログ情報が多いと思います。
Index Patternを作成するとfieldsが多いです。その分、同じにIndexに色々とぶっこめば解析がしやすいメリットがあるのかな?(小並感
先日、試したfluentdはkubernetesに絞っているようです。
実際に、パフォーマンスや環境に合わせて導入が必要となると思います。

参考:
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat
https://www.elastic.co/guide/en/beats/filebeat/6.0/running-on-kubernetes.html

Related post

  1. Azure

    AzureにVulsをインストールしてみる。コピペでどーん。Docker編

    はじめにくどうです。Vulsです。前回と一緒。いろ…

  2. Azure

    Azure RemoteApp でローカルのドライブを利用する。

    はじめにくどうです。RemoteAppでもローカル(クライアント)…

  3. Azure

    Diagnostics(診断)設定をする場合のストレージについて

    はじめにくどうです。Diagnostics(診断)設定をす…

  4. AlibabaCloud

    Virtual KubeletでAlibaba Cloud ECIを操作する。

    はじめにAlibaba Cloud ECI をMS謹製のVirtu…

  5. Azure

    Azure App Service Environmentのすすめ。

    はじめにApp Service Environment は仮想ネッ…

  1. Azure

    Azure DNS をポータルから使ってみた。シンプルです。
  2. Azure

    Azure Container Instances でPrometheus の …
  3. Azure

    Azureで旧インスタンスサイズを利用したい場合
  4. Azure

    Azure Functions を起動した(だけ)。だけど、これは面白そうだ。
  5. Azure

    Microsoft Azure でDockerはじめちゃいますか?
PAGE TOP