Azure

AKS ( Kubernetes ) のPod からログをFilebeat を使って収集してelasticsearch + kibanaで解析する方法

はじめに

くどうです。

先日、fluentd によるKubernetesでのlogを取得する方法を紹介しました。
AKS ( Kubernetes ) のPod からログをfluentd を使って収集してelasticsearch + kibanaで解析する方法

Tweetしたところ @johtani さんからFilebeatを利用した方法を教えて頂いたので紹介します、
Shipping Kubernetes Logs to Elasticsearch with Filebeat
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat

fluentdの代わりにFilebeatは入るイメージです。

準備と展開

elasticsearch + kibana 環境の構築は下記に記載しています。
http://level69.net/archives/25379

filebeatの展開はfluentdと同様、マニフェストを利用してDaemonSetを展開します。

環境変数を修正します。
主に ELASTICSEARCH_HOST をelasticsearchのホスト名もしくはIPアドレスを指定します。

展開します。

kubectlにて正しく展開されているのが確認できます。

以上で完了です。
簡単ですね。

確認

kibanaの利用方法は割愛します。

負荷テストを行ってみると以下の様にログが送られていることが分かります。

以上で設定自体は完了です。

削除

DaeamonSetの削除

まとめ

Filebeatもfluentdと同様、ログを取得できます。詳しくは確認していませんがFilebeatの方が取得できるログ情報が多いと思います。
Index Patternを作成するとfieldsが多いです。その分、同じにIndexに色々とぶっこめば解析がしやすいメリットがあるのかな?(小並感
先日、試したfluentdはkubernetesに絞っているようです。
実際に、パフォーマンスや環境に合わせて導入が必要となると思います。

参考:
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat
https://www.elastic.co/guide/en/beats/filebeat/6.0/running-on-kubernetes.html

Related post

  1. Linux

    超メモ:Zabbixの外部チェックでrubyスクリプトを動かす時のポイント

    くどうですrubyをrbenvでインストールした場合、アクセス権の…

  2. AWS

    Azure仮想マシンがやってるポートフォワーディングをAWSのELBでやってみる。

    くどうです。小ネタです。Azureでは便利なことに仮想マシンを新…

  3. Azure

    Azure Application Gateway で Let’s Encrypt も使えます。Le…

    はじめにくどうです4/12にLet’s EncryptがG…

  4. Azure

    Node Auto-Scaling + Kubernetes with ACS-Engine on …

    はじめにくどうです。Azure上に、ACS-Engineで…

  5. Azure

    Azureポータルの地味なキーボードショートカット

    Azureポータルの地味なキーボードショートカットA:タスクの…

  6. Azure

    Azureのリソースをもっとライトに管理運用しよう。

    はじめに くどうです。 Azureを管理する方法として…

  1. Azure

    ユーザーにパスワードリセットさせたいときはAzure Active Direct…
  2. Azure

    Azureのシンボルをpngに変換してみた。I converted the sy…
  3. その他

    デブナイト vol1 に行ってきた。 タニタ食堂のご飯って美味しいです!
  4. セキュリティ

    サイバーセキュリティシンポジウム道後2017に初参加してきました。旅先で出会う人…
  5. Azure

    AzureのKali Linuxでapt-getを実行した時に Hash Sum…
PAGE TOP