简介

Grafana+InfluxDB+cAdvisor是一套开源的Docker容器监控方案，cAdvisor用于数据采集，InfluxDB用于数据存储，其基于时间序列，支持与时间相关的函数；可以实时对大量数据进行计算；并且有强大的类SQL语法；Grafana用于数据展示。

监控

1. CPU监控

SELECT derivative(mean("value"), 1s)  / 8000000000 FROM "cpu_usage_total" WHERE ("container_name" = '/') AND $timeFilter GROUP BY time($__interval) fill(previous)

说明：cAdivsor采集的主机CPU数据是“Cumulative CPU usage”，是一个累计使用量，所以要用到InfluxDB的derivative()这个函数计算当前数据相对于前一个数据的变化量。“/ 8000000000”是为了转化为millicores并取百分比，8代表的是服务器的物理CPU是8核，因此这个值还要根据主机的情况确定。因为这里是配置主机的CPU使用率，所以后面的"container_name"="/"，同理对不同容器监控的话在这里选择容器的名字就行。下同。

2. 内存监控

SELECT mean("value")  / 16805847040 FROM "memory_usage" WHERE ("container_name" = '/') AND $timeFilter GROUP BY time($__interval) fill(null)

说明："16805847040"表示的就是主机的实际内存大小的准确值，约为16.8G，可以用这个数值代替，要获得准确值可以通过登录主机查看或者到访问cAdvisor的页面Debug"container.js"获取。

3. 磁盘监控

SELECT mean("value") FROM "fs_usage" WHERE ("device" = '/dev/mapper/usr') AND $timeFilter GROUP BY time($__interval) fill(null)

说明：磁盘我是用Singlestat做的表盘图，先在cAdvisor上debug获取到每个文件系统的磁盘总量，将这个值作为Gauge的Max值，再将这个值的70%到90%作为Thresholds的两个区间值。

4. 容器网络监控

SELECT derivative(mean("value"), 1s) FROM "rx_bytes" WHERE ("container_name" = 'jenkins') AND $timeFilter GROUP BY time(1m) fill(null)
SELECT derivative(mean("value"), 1s) FROM "tx_bytes" WHERE ("container_name" = 'jenkins') AND $timeFilter GROUP BY time(1m) fill(null)

说明："rx_bytes"表示网络流入流量，即下行流量，"tx_bytes"表示网络流出流量，即上行流量，可根据情况选择time()的值1m,3m最佳。

报警

1. 配置报警方式

• 钉钉报警

钉钉报警挺简单，只要在DingDing settings里写上钉钉的access_token值就行

• 邮件报警

如果需要Grafana通过邮件报警，就需要配置邮箱，相关的配置文件是grafana.ini，分别需要修改如下信息：

#################################### SMTP / Emailing ##########################
[smtp]
enabled = true
host = smtp.qq.com:465
user = 邮箱前缀@qq.com
# If the password contains # or ; you have to wrap it with trippel quotes. Ex """#password;"""
password = 客户端授权密码
;cert_file =
;key_file =
skip_verify = true
from_address = 邮箱前缀@qq.com
from_name = Grafana	
# EHLO identity in SMTP dialog (defaults to instance_name)
;ehlo_identity = dashboard.example.com
#################################### Alerting ############################
[alerting]
# Disable alerting engine & UI features
;enabled = true
# Makes it possible to turn off alert rule execution but alerting UI is visible
execute_alerts = true

修改完保存退出重启。

这里有一个问题就是QQ邮件报警时有时会将邮件视为“垃圾邮件”，如各位大佬有好的解决方法还请告知作者，不胜感激~

2. 设置报警规则

在Alert里的Alert Config里配置Conditions，在Notification，Send to写上前面配置好的通知对象。