Azure

AKS ( Kubernetes ) のPod からログをFilebeat を使って収集してelasticsearch + kibanaで解析する方法

はじめに

くどうです。

先日、fluentd によるKubernetesでのlogを取得する方法を紹介しました。
AKS ( Kubernetes ) のPod からログをfluentd を使って収集してelasticsearch + kibanaで解析する方法

Tweetしたところ @johtani さんからFilebeatを利用した方法を教えて頂いたので紹介します、
Shipping Kubernetes Logs to Elasticsearch with Filebeat
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat

fluentdの代わりにFilebeatは入るイメージです。

準備と展開

elasticsearch + kibana 環境の構築は下記に記載しています。
http://level69.net/archives/25379

filebeatの展開はfluentdと同様、マニフェストを利用してDaemonSetを展開します。

環境変数を修正します。
主に ELASTICSEARCH_HOST をelasticsearchのホスト名もしくはIPアドレスを指定します。

展開します。

kubectlにて正しく展開されているのが確認できます。

以上で完了です。
簡単ですね。

確認

kibanaの利用方法は割愛します。

負荷テストを行ってみると以下の様にログが送られていることが分かります。

以上で設定自体は完了です。

削除

DaeamonSetの削除

まとめ

Filebeatもfluentdと同様、ログを取得できます。詳しくは確認していませんがFilebeatの方が取得できるログ情報が多いと思います。
Index Patternを作成するとfieldsが多いです。その分、同じにIndexに色々とぶっこめば解析がしやすいメリットがあるのかな?(小並感
先日、試したfluentdはkubernetesに絞っているようです。
実際に、パフォーマンスや環境に合わせて導入が必要となると思います。

参考:
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat
https://www.elastic.co/guide/en/beats/filebeat/6.0/running-on-kubernetes.html

Related post

  1. Azure

    Azure Firewall でFQDN filtering を利用してみる。

    はじめに新たにAzure Firewallがリリース(プレビュー)…

  2. Azure

    Windowsの仮想マシンを作成時に拡張機能を追加できます。

    はじめにくどうですWindowsの仮想マシンを作成する時に…

  3. Azure

    Azure Database for MySQL PreviewのServer parameters…

    Azure Database for MySQLのServer par…

  4. AWS

    CloudMonixをちょっとだけ試してみた。

    はじめにくどうです管理運用面倒ですね・・・そこで、楽に…

  5. Azure

    Azure Active Directory のBasic とかPremium とかのライセンスって…

    はじめにくどうです。Azure Active Direct…

  6. Azure

    リソースのLockは大事です。ポータルからも設定できます。

    はじめにくどうです。以前、リソースのロックの話を書きました…

  1. 未分類

    RHEL5とRHEL4ESのベンチマーク
  2. Linux

    Cactiでグラフに日本語が表示されないときの対処方法
  3. dev

    Visual Studio 2017 をインストールしようとしたけど失敗、でも解…
  4. 未分類

    drbdの起動方法
  5. Azure

    MCP70-532を受験してきた。
PAGE TOP