zabbix在运维方面的监控方法小结最后一次更新20211203

一些经典的运维问题： 1.配置文件中有空格，导致服务端下发的域名出现问题 2.修改数据库没有备份 3.修改dnspod问题，指向了错误的IP地址 4.时间不一致，需要重新设定时区 5.启动程序必须是最新版本，如：ps -ef|grep sdk-speech-1.1.1.jar 有可能没有杀死老版本的程序 6.ssl证书更换(cdn,slb,nginx,tomcat,haproxy,upyun,qiniu) 7.域名解析,经过通用高防以后无法获取客户端的真实IP地址，获取的全部是高防的IP地址 8.每个业务应用都需要至少双实例(避免单点问题) slb,nginx,jar,redis,mysql 9.域名证书到期时间监控 10.网络问题 4G网络连接系统没有问题，发现wifi出现连接失败的问题 原因是wifi上有vpn，连接到了国外的服务器，同样的域名只是dnspod解析的地区不同分国内国外(国外服务器又没有添加cp的信息，导致认证失败) 11.mysql数据库utf8mb4编码，innodb数据库引擎，还有连接数，文件句柄 12.slb的安全ip添加 13.关键的域名需要判断是否解析到了正常的城市和国家(分国内、国外、港澳台线路，或者移动，联通线路等) elk,hadoop集群的安全性，root密码，服务器权限 es的9200端口，9300端口 qps需要注意是否达到瓶颈 磁盘的吞吐量 # sar -n DEV 2 5 Linux 2.6.32-431.11.29.el6.ucloud.x86_64 (rdp02_confluent) 12/26/2017 _x86_64_ (16 CPU) 11:17:44 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s 11:17:46 PM lo 41508.12 41508.12 7543.42 7543.42 0.00 0.00 0.00 11:17:46 PM eth0 3872.08 1309.64 5181.46 183.86 0.00 0.00 0.00 IO监控分以下几个级别： 1、系统级别 ，iostat vmstat dstat 2、进程级别 iotop pidstat 3、业务级别 ioprofile 4、文件级别 lsof 基本上可以完全定位到IO问题了 运维的原则： 列出计划方案并发出评审(具体实施方案，失败的回滚方案) 中间实施时的通知，并且在业务低峰进行 事后的观察(流量、资源使用)，日志是否报错等 监控系统： zabbix监控 阿里云监控 ucloud监控 资源监控 阿里云 ucloud 机房 报警通知人管理(不同级别报警人不一样，报警的方式短信，邮件，微信等) 每个服务都需要使用双份 使用阿里云和ucloud云监控报警 1.服务器硬件(cpu,磁盘，memory使用率)

监控mysql的cpu占用率
UserParameter=mysqlcpu,ps aux|grep "mysqld"|grep -v "grep"|awk '{sum+=$3}; END{print sum}'

2.带宽使用率 3.数据库rds使用率iops,connection,cpu,内存，空间 1.默认都安装zabbix系统硬件监控包括： cpu 平均负载，idel小于10%报警 磁盘占用率 主机密码是否修改 是否重启、关机 内存小于10%，触发重启java的voice服务 haiwai 1.tcp端口监控 nmap aya3.chinasoft.com -p 6666 | grep -c open 2.响应时间 3.端口监控(nmap监控tcp或者udp端口) 流量告警，通过aliyun监控平台 ecs_InternetOutRateNew 4.对tcp连接数的监控 established个数大于8W established个数小于100 5.对关键进程的个数监控如voice 6.对http服务的监控(阿里云和ucloud) 7.对集群状态的监控 8.对关键进程监控，进程挂掉重新启动 java出现内存溢出的监控 UserParameter=java_error,sudo /bin/find /home/chinasoft -name hs_err_pid*.log -o -name java_pid*.hprof -o -name jvm.log -o -name core.*|wc -l 9.redis的qps和cpu使用率内存使用率 mysql的磁盘空间，cpu，内存使用率，连接数使用率 10.监控log日志 # cat /usr/local/zabbix-agent/scripts/esb_status.sh #!/bin/bash # 日志文件目录 path=/home/chinasoft/log/esbE001 # 找到最新的日志文件名 ls -t 按照时间排序，最新的在上面 esb_file=`ls -t "${path}" | head -1` fail_count=`tail -n 500 $path/${esb_file} |grep 'failure'|wc -l` echo $fail_count 11.关键的接口监控，如 12.dnspod解析监控(是否解析到了国内或者国外，需要判断) 13.数据库，redis还有应用是否在同一机房同一个局域网(如果跨机房影响性能，高并发可能会引发问题) 14.写脚本自动删除、清理日志、是否需要切割日志，统计日志等 关于终端自动触发执行action的配置： Defaults:jenkins !requiretty Defaults:zabbix !requiretty zabbix ALL=(ALL) NOPASSWD: ALL EnableRemoteCommands = 1 UserParameter=java_error,sudo /bin/find /data/chinasoft -name hs_err_pid*.log -o -name java_pid*.hprof -o -name jvm.log|wc -l UserParameter=check_web1,curl -I -m 10 -o /dev/null -s -w %{http_code}"\n" http://yuyin.chinasoft.com:9999/check UserParameter=check_port,nmap aya3.chinasoft.com -p 6666 | grep -c open # 每分钟超时的次数 UserParameter=check_baidu,grep -a `date +%H:%M` /home/chinasoft/chinasoft-speech2/logs/all.log | grep '30000' | wc -l UserParameter=check_port0,/usr/bin/python /usr/local/zabbix-agent/scripts/check_port.py [root@u04mix03 ~]# cat /usr/local/zabbix-agent/scripts/check_port.py #!/usr/bin/python #coding=utf-8 import types import urllib2 import json import socket html=urllib2.urlopen(r"http://u01.f.chinasoft.com/config_route?name=CT_ROOM&no=123") hjson = json.loads(html.read()) #print hjson ip = hjson["outside"] port = hjson["port"] #print ip #print port sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sk.settimeout(10) try: sk.connect((ip,port)) print 1 except Exception: print 2 sk.close() # python脚本，agentd.conf要配置Timeout = 30 #encodig:utf-8 import requests import json try: r = requests.get('http://api.chinasoft.com:8199/api3?appId=100000&method=queryOnlineUser&roomId=100000&version=2&appKey=10d5aea05bef4f4ed988e1278b53ab5c', timeout = 10) r_json = json.loads(r.content) res = r_json.get('result',0) print res except Exception as e: print 500 ********** 监控语音超时，超过30000ms UserParameter=check_log,grep "30000ms" /home/chinasoft/chinasoft-speech2/logs/all.log | wc -l # 删除日志脚本 find /home/chinasoft/chinasoft_script_sdk/logs/bi -name "*.log.gz" -mtime +3 -exec rm -f {} \; #!/bin/bash path1=/home/proxy/rtmpclient/Bin64/log if [ -d $path1 ];then for file1 in `ls ${path}`; do if [ "${file1##*.}" == "log" ];then echo /dev/null >$path1/$file1 fi done fi path2=/home/proxy/rtmpclient/Bin64/log if [ -d $path2 ];then for file2 in `ls ${path2}`; do if [ "${file2##*.}" == "log" ];then echo /dev/null >$path2/$file2 fi done fi path3=/home/proxy/chatroom/Bin64/log if [ -d $path3 ];then for file3 in `ls ${path3}`; do if [ "${file3##*.}" == "log" ];then echo /dev/null >$path3/$file3 fi done fi java的溢出文件jvm.log，触发脚本重启java服务 #!/bin/bash for i in {/data/chinasoft/sdk_translator_speech,/data/chinasoft/chinasoft-speech2,/data/chinasoft/chinasoft-text2audio};do if [ -f $i/jvm.log ];then rm -f $i/jvm.log ps -ef|grep $i|grep -v grep|awk '{print $2}'|xargs kill -9 sleep 2 cd $i && /bin/bash start.sh start fi done