Forwarderでのフィルター設定について

[githubBourbon]

やりたいこと

こんにちは
FluentdでのForwarderの設定についてお聞きします。
構成は、
Workerノード①のFluentBITが取集したデータを
クラスタ外にあるfotwarderのログ収集サーバ②のFluentdが
データを受け取ります。
①ではログすべてが対象（多分）で、
/var/log/containers/*.log
②では、
/var/log/fluentd/fluentd.log
として随時書き込まれています。
添付にあるような設定になっておりますが、
基本全ログが出力されているので仕分けしないといけないと考えております。
②においては、
せめてPOD毎のログに分けたいと思っています。
１）各PODフォルダに吐かせる
あるいは、
２）PODの識別子を目視可能なようにログに文字を入れる。
の上から１）がダメなら２）でというふうに思っております。

すでに調べておりますが実現していません・・・
宜しくお願い致します。

設定した内容

（WorkerノードのFluentの設定抜粋）
※全データを対象でkube.*のTAGがつく？！
  input-kubernetes.conf: |
    [INPUT]
        Name              tail
        Tag               kube.*
        Path              /var/log/containers/*.log
        Parser            cri
        DB                /var/log/flb_kube.db
        Mem_Buf_Limit     5MB
        Skip_Long_Lines   On
        Refresh_Interval  10

  filter-kubernetes.conf: |
    [FILTER]
        Name                kubernetes
        Match               kube.*
        Kube_URL            https://kubernetes.default.svc:443
        Kube_CA_File        /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        Kube_Token_File     /var/run/secrets/kubernetes.io/serviceaccount/token
        Kube_Tag_Prefix     kube.var.log.containers.
        Merge_Log           On
        Merge_Log_Key       log_processed
        K8S-Logging.Parser  On
        K8S-Logging.Exclude Off

※Forwarderに全データを送信？！
  output-forward.conf: |
    [OUTPUT]
        Name          forward
        Match         *
        Host          ${FLUENT_FOWARD_HOST}
        Port          ${FLUENT_FOWARD_PORT}
        Retry_Limit     False



（Forwarderのログ収集サーバFluentdの設定）
※ /etc/fluent/fluent.conf全文です。
※　順番が前後しているのがよくわかりません。
※　[filter]で設定なんでしょうね？！

###
## Output descriptions:
##


# Treasure Data (http://www.treasure-data.com/) provides cloud based data
# analytics platform, which easily stores and processes data from td-agent.
# FREE plan is also provided.
# @see http://docs.fluentd.org/articles/http-to-td
#
# This section matches events whose tag is td.DATABASE.TABLE
<match td.*.*>
  @type tdlog
  @id output_td
  apikey YOUR_API_KEY

  auto_create_table
  <buffer>
    @type file
    path /var/log/fluent/buffer/td
  </buffer>

  <secondary>
    @type secondary_file
    directory /var/log/fluent/failed_records
  </secondary>
</match>

## match tag=debug.** and dump to console
# (stdout)Logging in /var/log/fluentd.log by default maybe
#<match debug.**>
#  @type stdout
#  @id output_stdout
#</match>
<match *.**>　　　　　←　ここで標準出力で/var/log/fluent/fluentd.logに書き込みか？！
  @type stdout
  @id output_stdout
</match>

####
## Source descriptions:
##

## built-in TCP input
## @see http://docs.fluentd.org/articles/in_forward
<source>
  @type forward　　　　　　←　ここでローカル24225で受信のデータを取り込む設定か？！
  @id input_forward
  bind xxx.xxx.xxx.xxx
  port 24225

</source>

## built-in UNIX socket input
#<source>
#  type unix
#</source>

# HTTP input
# POST http://localhost:8888/<tag>?json=<json>
# POST http://localhost:8888/td.myapp.login?json={"user"%3A"me"}
# @see http://docs.fluentd.org/articles/in_http
<source>
  @type http
  @id input_http
  port 8888
</source>
<filter debug.*>
  @type record_transformer
  <record>
    host_param "#{Socket.gethostname}"
  </record>
</filter>
<match debug.**>
  @type file
  path /var/log/fluent/http
</match>

## live debugging agent
<source>
  @type debug_agent
  @id input_debug_agent
  bind 127.0.0.1
  port 24230
</source>

####
## Examples:
##

## File input
## read apache logs continuously and tags td.apache.access
#<source>
#  @type tail
#  @id input_tail
#  <parse>
#    @type apache2
#  </parse>
#  path /var/log/httpd-access.log
#  tag td.apache.access
#</source>

## File output
## match tag=local.** and write to file
#<match local.**>
#  @type file
#  @id output_file
#  path /var/log/fluent/access
#</match>

## Forwarding
## match tag=system.** and forward to another fluentd server
#<match system.**>
#  @type forward
#  @id output_system_forward
#
#  <server>
#    host 192.168.0.11
#  </server>
#  # secondary host is optional
#  <secondary>
#    <server>
#      host 192.168.0.12
#    </server>
#  </secondary>
#</match>

## Multiple output
## match tag=td.*.* and output to Treasure Data AND file
#<match td.*.*>
#  @type copy
#  @id output_copy
#  <store>
#    @type tdlog
#    apikey API_KEY
#    auto_create_table
#    <buffer>
#      @type file
#      path /var/log/fluent/buffer/td
#    </buffer>
#  </store>
#  <store>
#    @type file
#    path /var/log/fluent/td-%Y-%m-%d/%H.log
#  </store>
#</match>

ログの内容

No response

環境について

- Fluentd version:
fluent-package 5.0.5 fluentd 1.16.6 (fa1cfbb0335e7751a2fd5547897ab611484ee000)
- TD Agent version:
- Fluent Package version:
- Docker image (tag):
- Operating system:
- Kernel version:

[daipom]

②では、
/var/log/fluentd/fluentd.log
として随時書き込まれています。

基本全ログが出力されているので仕分けしないといけないと考えております。

これは、次のmatch設定が働いているからです。

<match *.**>　　　　　←　ここで標準出力で/var/log/fluent/fluentd.logに書き込みか？！
  @type stdout
  @id output_stdout
</match>

ここで標準出力で/var/log/fluent/fluentd.logに書き込みか？！

その通りです。

②においては、
せめてPOD毎のログに分けたいと思っています。
１）各PODフォルダに吐かせる
あるいは、
２）PODの識別子を目視可能なようにログに文字を入れる。
の上から１）がダメなら２）でというふうに思っております。

Fluentdには様々なOutputプラグインがあり、match設定に利用できます。

• https://docs.fluentd.org/output

今使われているout_stdoutは、主に検証やデバッグ目的で使うものです。
出力先に応じて適切なOutputプラグインを選択して、活用してみてください。

例えばファイルに出力したいのならば

• out_file

をご利用ください。
https://docs.fluentd.org/output/file#path に例がありますが、
パス設定にプレースホルダーを設定して、バッファーのキーに応じて動的にパスを振り分けさせることができます。
例えばタグと日付毎にファイルを分けるには、次のような設定が可能です。

  path /path/to/${tag}/file.%Y%m%d
  <buffer tag,time>
  ...
  </buffer>

補足ですが、検証にはin_sampleプラグインが便利です！
このプラグインをsourceとして設定すると、ダミーデータをFluentdに入力してくれるので、
設定したmatchが意図通り動作しているのかを確かめるのに便利です。

例えば次の設定でFluentdを動作させてみると、すぐにタグ毎と日付毎に分かれたファイルにログが出力されていくのを確かめられます。

<source>
  @type sample
  tag test.foo
</source>

<source>
  @type sample
  tag test.bar
</source>

<match test.**>
  @type file
  path /path/to/output/${tag}/%Y-%m-%d
  append true
  <buffer tag,time>
    path /path/to/buffer/
    flush_mode interval
    flush_interval 5s
  </buffer>
</match>

[githubBourbon]

お世話になります。
早い返信ありがとうございます。
そんだったんですねえー
かなり絞って調査が出来そうです。
上記記載の内容をしっかり勉強したいです。
ありがとうございます。

[daipom]

また困ったらご相談ください！

[githubBourbon]

ありがとうございます。