监控体系:夜莺 n9e + Grafana + Prometheus(部署于 kaku2025)
集群监控告警的现役主力:夜莺监控 server(原生二进制)+ 原生 Grafana + Docker Prometheus/node-exporter,工作台与告警数据的重要来源。
访问方式
- 夜莺 Web:
http://<公网IP>:17000(0.0.0.0 暴露);数据端口 20090
- Grafana:
http://<公网IP>:3000(原生进程,grafana-bin)
- Prometheus:
http://<公网IP>:9090(docker);node-exporter 9100
- 目录:/www/infra/nightingale(n9e,configs etc)、/www/infra/prometheus(含 grafana-bin)
技术架构
- n9e:原生二进制
./n9e -configs etc(进程自 8 月运行至今,累计 CPU 3138 小时),Web 17000、通信 20090
- grafana:原生进程
grafana server --homepath=./grafana-bin --config=./grafana-bin/conf/custom.ini(3000)
- docker:infra-prometheus(prom/prometheus:latest, 9090)、node-exporter(9100)、infra-postgres(5432,配套库)
- 与 maizihehuo 的 Docker 版 grafana/prometheus 并存,两套体系
数据
- n9e 时序数据与配置:/www/infra/nightingale(内置存储)
- grafana-data:仪表盘与账号
- 告警规则:夜莺库内
使用方法
- 夜莺:17000 登录管理监控对象、告警规则、屏蔽规则
- Grafana:看板查看(数据源指向 prometheus/n9e)
维护方式
- 启停:n9e 无 systemd 证据(进程直跑,重启方式待确认:可能 /www/infra/nightingale 下有脚本);grafana 同为直跑
- 日志:/www/infra/nightingale/logs(如存在)
现状与风险
- 下线将带走整个告警体系:maizihehuo 只有可视化(prom/grafana),无 n9e 告警引擎 —— 迁移时必须导出告警规则
- 17000/20090/3000/9090/9100 全公网
- n9e/grafana 直跑进程,开机自启方式待确认(uptime 369 天未经历重启验证)
优化建议
- 【迁移】导出夜莺告警/采集规则(n9e Web 导出 JSON 或备份 /www/infra/nightingale 数据目录),在 maizihehuo 部署 n9e 或改用 Grafana Alerting 承接
- 【安全】公网端口全收敛:17000/20090/3000/9090/9100 限内网/VPN
- 【可维护性】为 n9e/grafana 建 systemd unit(若确认缺失),避免机器重启后监控消失
- 【备份】
tar czf /opt/backups/n9e-config.tgz /www/infra/nightingale/etc + grafana-bin/conf 存档