Azure

AKS ( Kubernetes ) のPod からログをFilebeat を使って収集してelasticsearch + kibanaで解析する方法

はじめに

くどうです。

先日、fluentd によるKubernetesでのlogを取得する方法を紹介しました。
AKS ( Kubernetes ) のPod からログをfluentd を使って収集してelasticsearch + kibanaで解析する方法

Tweetしたところ @johtani さんからFilebeatを利用した方法を教えて頂いたので紹介します、
Shipping Kubernetes Logs to Elasticsearch with Filebeat
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat

fluentdの代わりにFilebeatは入るイメージです。

準備と展開

elasticsearch + kibana 環境の構築は下記に記載しています。
http://level69.net/archives/25379

filebeatの展開はfluentdと同様、マニフェストを利用してDaemonSetを展開します。

環境変数を修正します。
主に ELASTICSEARCH_HOST をelasticsearchのホスト名もしくはIPアドレスを指定します。

展開します。

kubectlにて正しく展開されているのが確認できます。

以上で完了です。
簡単ですね。

確認

kibanaの利用方法は割愛します。

負荷テストを行ってみると以下の様にログが送られていることが分かります。

以上で設定自体は完了です。

削除

DaeamonSetの削除

まとめ

Filebeatもfluentdと同様、ログを取得できます。詳しくは確認していませんがFilebeatの方が取得できるログ情報が多いと思います。
Index Patternを作成するとfieldsが多いです。その分、同じにIndexに色々とぶっこめば解析がしやすいメリットがあるのかな?(小並感
先日、試したfluentdはkubernetesに絞っているようです。
実際に、パフォーマンスや環境に合わせて導入が必要となると思います。

参考:
https://www.elastic.co/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat
https://www.elastic.co/guide/en/beats/filebeat/6.0/running-on-kubernetes.html

関連記事

  1. Azure

    PowerMockupのAzure Icon Setを更新(ver2.5)

    更新アップデートしてたのでPowerMockupのシェイプも更新…

  2. Azure

    Azure RemoteAppを使ってみる。Officeが使えますよ!

    はじめにくどうです。事務所はちょっと寒いです。RemoteAppの…

  3. Azure

    Azure Active Directory の削除方法。それ、ServicePrincipalの問…

    はじめにくどうです。みなさんAzure Active Direct…

  4. Azure

    Azure PowerShell のインストールで注意すること。あれ? Azure Resource…

    はじめにくどうです。最近、PCを入れ替えてAzure PowerS…

  5. Azure

    Microsoft MVP for Microsoft Azure を受賞しました。

    受賞くどうです。Microsoft MVP for Mic…

  1. AWS

    DatadogのCloud FunctionsでLambdaのパフォーマンスを確…
  2. AWS

    Azure ADとAWS Directory Serviceで同期してみよう。
  3. TED

    TEDxSapporo Salon Vol.5 に参加してきました。
  4. GCP

    GoogleのTitan Security KeyでGCPにログインしてみた。
  5. Azure

    ユーザーにパスワードリセットさせたいときはAzure Active Direct…
PAGE TOP