Graylog解析Syslog中的Json数据

按照Syslog规范中所定义的message格式,

<PRI>Timestamp Hostname Tag: Content

例如下面的消息:

<28>2018-10-08T16:03:00+08:00 zhangtaodeMacBook-Pro.local demotag[15182]:  
{
"name":"devex",
"status":1
}

对于用户来说,真正关心的是:

{
"name":"devex",
"status":1
}

因此如果使用Graylog来接受Syslog消息时,需要剥离Content之前的数据。

配置Regex Extractors

首先使用正则表达式,从message中提取content。 因为最关心的数据再最后面,同时demotag是程序中固定输出的tag,因此可以按照下面的正则规则来设定:

^.*demotag\[.+\]:(.*)$

我们只保留:之后的字符串。 这样就将

{
"name":"devex",
"status":1
}

剥离了出来。 然后下一步就是解析这段字符串。

配置Json Extractors

在Json Extractors中,需要设定对哪个字段进行json解析。 所以需要对上面通过正则解析出来的数据给个字段名,这里命名为rawmessage。 然后对rawmessage进行json解析。解析出来的字段保留原始名称。

因为是对raw_message整个字段进行json解析,因此只要这个字段保存的是合法json字符串,那么就可以动态解析其包含的字段。

最后,通过syslog客户端发送数据到graylog,验证一下解析出的数据是否正确。