Azure

AKS ( Kubernetes ) のPod からログをFilebeat を使って収集してelasticsearch + kibanaで解析する方法

はじめに

くどうです。

先日、fluentd によるKubernetesでのlogを取得する方法を紹介しました。
AKS ( Kubernetes ) のPod からログをfluentd を使って収集してelasticsearch + kibanaで解析する方法

Tweetしたところ @johtani さんからFilebeatを利用した方法を教えて頂いたので紹介します、
Shipping Kubernetes Logs to Elasticsearch with Filebeat
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat

fluentdの代わりにFilebeatは入るイメージです。

準備と展開

elasticsearch + kibana 環境の構築は下記に記載しています。
http://level69.net/archives/25379

filebeatの展開はfluentdと同様、マニフェストを利用してDaemonSetを展開します。

環境変数を修正します。
主に ELASTICSEARCH_HOST をelasticsearchのホスト名もしくはIPアドレスを指定します。

展開します。

kubectlにて正しく展開されているのが確認できます。

以上で完了です。
簡単ですね。

確認

kibanaの利用方法は割愛します。

負荷テストを行ってみると以下の様にログが送られていることが分かります。

以上で設定自体は完了です。

削除

DaeamonSetの削除

まとめ

Filebeatもfluentdと同様、ログを取得できます。詳しくは確認していませんがFilebeatの方が取得できるログ情報が多いと思います。
Index Patternを作成するとfieldsが多いです。その分、同じにIndexに色々とぶっこめば解析がしやすいメリットがあるのかな?(小並感
先日、試したfluentdはkubernetesに絞っているようです。
実際に、パフォーマンスや環境に合わせて導入が必要となると思います。

参考:
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat
https://www.elastic.co/guide/en/beats/filebeat/6.0/running-on-kubernetes.html

Related post

  1. Azure

    仮想マシンの構成がダイアグラムで確認できます。

    ダイアグラムで表示くどうです。いつの間にか、仮想マシンがダ…

  2. Azure

    Power BIを使って仮想マシンのパフォーマンスログを確認してみる。

    はじめにくどうです仮想マシンの過去のパフォーマンスログをグ…

  3. Azure

    SQL Server で照合順序 Japanese_CI_AS どこ消えた?あった。

    はじめにくどうですSQLServerをインストールしていた…

  4. Azure

    AzureにVulsをインストールしてみる。コピペでどーん。Docker編

    はじめにくどうです。Vulsです。前回と一緒。いろ…

  5. Azure

    Azure DNS をポータルから使ってみた。シンプルです。

    はじめにくどうです。Azure DNS がポータルから操作…

  6. Azure

    Azureのリソースをもっとライトに管理運用しよう。

    はじめに くどうです。 Azureを管理する方法として…

  1. Azure

    Azure RemoteApp でローカルのドライブを利用する。
  2. Azure

    System Center Management Pack for Micros…
  3. Linux

    Hyper-v(だけじゃないけど)、ゲストとしてCentOSインストール時の解像…
  4. 未分類

    Windows7にWindows SharePoint Services 3.0…
  5. 未分類

    オープンソースカンファレンス2007 Hokkaido
PAGE TOP