1. 最近遇到一个需求,大致是字符串用\t分割,每一个子串都是一个json串,需要用logstash对该字符串进行结构化处理,用于elasticsearch和可视化kibana。
    字符串格式如下:
{"person":{"age":"11"}}     this is the sample

该字符串期望分割成两个字段,并对第一个字段进行json解析。最终达到下面的形式:

field1:{
    field_person:{
        field_age:11
    }
}
field2:this is the sample

下面直接上配置文件:

input{
  stdin{
     # codec=>rubydebug
        }
}
filter{
#       codec=>rubydebug
        mutate{
        split=>["message","     "]
                add_field => {
                        "field1" => "%{[message][0]}"
                }
                add_field => {
                        "field2" => "%{[message][1]}"
                }
                remove_field => ["message"]
        }
        json{
                source => "field1"
                target => "field1"
        }
}
output{
  stdout{
        codec=>rubydebug
  }
}

整体配置文件比较容易,如果json的处理中不配置target参数的话,json形成的字段会和field1并列,而不会成为field的字段值。这个需要特别注意一下!

http://www.cnblogs.com/qq27271609/p/4762562.html
http://blog.csdn.net/jiao_fuyou/article/details/49174269

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐