本文内容是基于上文的基础上,通过实践的方式来演示sensu的使用,初步接触check、handler、filter的相关配置。
下面将通过一个具体的实例来演示sensu的使用。主要的逻辑是使用 sensu 对节点的HTTP
服务状态进行监控,每隔一段时间调用check去检查被监控机器上HTTP服务的状态。此外,我们还添加了将event信息写入文件的handler,传递给handler的event数据会被输出到文件中。最后,通过添加filter设置只有连续发生5次以上的状态才会递交给hanlder进行处理。
配置check
Sensu Check由两部分组成:检测插件和定义Check。Check插件是在客户端运行的可执行文件,Check定义文件主要用于定义何时以及如何运行插件。
Sensu中服务端和客户端都可以进程Check的调度,下面分别对这两种调度方式用实例的方式讲解。
首先我们需要一个检测HTTP服务状态的插件,并配置一个Check定义文件来执行插件,该执行过程将会由服务端调度。
安装插件
在客户端安装插件:1
yum -y install -y nagios-plugins-http
这里你也许会有疑问,“为什么Sensu中要安装Nagios的插件呢?”
不得不说这是一个好问题,Sensu集成了Nagios检测插件,这意味着Nagios中可以使用的检测插件在Sensu中不用做任何修改即可使用。安装成功后,可以在/usr/lib64/nagios/plugins/check_http
中获取到该插件,可以手动运行看下是什么效果。
这里可以看出检测的返回结果是失败的,除此之外,Sensu会使用退出状态值($?
)来标记本次检测的最终结果是OK
、WARNING
、还是CRITICAL
。这里返回状态值的是2
,表示CRITICAL
状态。
定义Check
在服务端的/etc/sensu/conf.d
中新建一个check_http.json
文件,文件内容如下:1
2
3
4
5
6
7
8
9{
"checks": {
"check_http": {
"command": "/usr/lib64/nagios/plugins/check_http -I 127.0.0.1",
"interval": 10,
"subscribers": ["test"]
}
}
}
该文件定义了一个名为check_http
的Check,执行周期是10s,订阅了test
主题的客户端会收到执行该check的请求。
重启服务端
在新增了Check定义文件后,需要重启Service和API来重新加载配置。1
2service sensu-server restart
service sensu-api restart
在重启后,就可以通过API查看到Check定义已经加载:
执行日志
- 服务端的执行日志
也可以通过服务端的Sensu日志来查看Check的调度:
字样publishing check request
表示服务端已经发出来Check请求。
- 客户端的执行日志
上面的日志可以看出,客户端已经收到Check请求,并且得到了执行,然后将执行结果重新返回到结果队列,以供服务端进程处理。
安装handler
在客户端将Check执行结果返回后,服务端需要对结果进行处理。请求的处理可以出发多种形式的事件,本次练习中我们就配置发送邮件警告。
在Check定义文件中可以指定如何处理检查结果,由于我们的定义文件中并没有相关配置,因此会使用默认的handler进行处理。
下面通过服务端的日志来看一下默认的handler是如何处理的:
由于默认的handler没有配置,Check的执行结果实际上会被丢弃。这就意味着我们需要配置一个handler。
配置默认handler
创建文件/etc/sensu/conf.d/handler_default.json
,内容如下:1
2
3
4
5
6
7
8
9{
"handlers": {
"default": {
"command": "/etc/sensu/plugins/event-file.rb",
"type": "pipe"
,"filter": "recurrence"
}
}
}
或者,不使用默认的配置,为该handler配置一个名称,并在check定义中进行引用:
- /etc/sensu/conf.d/handler_default.json
1 | { |
- /etc/sensu/conf.d/check_http.json
1 | { |
安装 handler 的插件
在Sensu服务器端/etc/sensu/plugin/
目录下安装handler的插件:event-file.rb
:1
wget -O /etc/sensu/plugins/event-file.rb http://sensuapp.org/docs/1.2/files/event-file.rb
配置 filter
添加一个filter,用于过滤掉重复出现次数小于5的事件。这样可以避免被监控节点上的误报。Filter在handler的配置文件中指定,可以看到,我们通过名称recurrence
在my_handler.json
中指定了使用该filter,即大于5次时才会交由handler处理。
同样的,在服务器端/etc/sensu/config.d/
目录下添加filter配置文件my_filter.json
:1
2
3
4
5
6
7
8
9{
"filters": {
"recurrence": {
"attributes": {
"occurrences": "eval: value > 5"
}
}
}
}
check结果
从上图可以看到,history中连续出现了21个返回值为2
,这表示连续21次 check 返回CRITICAL
状态,从而通过了filter筛选条件,由hanlder进行处理。
在/tmp
目录中也有相应的文件生成,这表明handler成功的处理了event。
filter测试
下面把客户端的HTTP服务恢复到正常状态,并将之前handler生成的文件删除,然后再停止HTTP状态,看下filter是如何处理的。
此时页面已经出现警告,通过history可以看出已经出现1次CRITICAL
状态。但此时并没有生成文件,这就表明handler没有处理,表示过滤器生效。
当重复次数>5
时,文件生成。
参考
https://www.ibm.com/developerworks/cn/cloud/library/1607-sensu-monitoring-platform/index.html
https://sensuapp.org/docs/latest/quick-start/learn-sensu-basics.html