监控目标与总体思路
- 覆盖三层可观测性：
- 主机与数据面：网卡、隧道、转发、丢包、错误包、队列等基础指标与抓包。
- 容器与网络面：容器网络 I/O、网络错误、Overlay 网络拓扑与端点连通性。
- 控制面与编排：Swarm/Kubernetes 的网络组件健康、服务发现与配置分发状态。
- 建议以“命令行快速排障 + 指标时序长期存储与可视化”的组合方式落地，既快又可持续。
快速排障命令清单
- 查看 Overlay 接口与状态
- ip：ip addr/link/route，确认 vxlan/隧道接口是否存在、UP、MTU、IP 配置。
- 系统资源：nmon、systemd-cgtop，观察 CPU、内存、网络占用是否异常。
- 容器与 Docker 网络
- docker network ls/inspect ：查看 Overlay 网络 与已连接容器、子网、网关。
- docker stats：实时查看容器 网络 I/O 与资源使用。
- Open vSwitch（如使用 OVS 实现 Overlay）
- ovs-vsctl show：桥、端口、接口、隧道（vxlan）配置与状态一览。
- 实时流量与抓包
- iftop -i ：按连接/端口查看带宽占用。
- tcpdump -i -nn：抓包分析异常流量、重传、TTL 异常等。
- 安全与策略面
- iptables/nftables：查看与 Overlay 相关的规则命中与丢包计数（如 -v 查看包/字节计数）。
基于 Prometheus 与 Grafana 的持续监控
- 采集层
- cAdvisor：暴露容器 CPU/内存/网络 等基础指标，常用端口 8080。
- 节点/系统：Node Exporter 采集主机网络、网卡错误、丢包、软中断等。
- Docker 守护进程指标：启用 Docker 的 metrics 接口（/metrics），供 Prometheus 抓取容器与网络相关指标。
- 可选：若使用 OVS，部署 ovs_exporter 采集网桥、端口、隧道流量与错误计数。
- 配置与可视化
- Prometheus：在 scrape_configs 中新增 job（如 cadvisor、node_exporter、docker、ovs_exporter）。
- Grafana：添加 Prometheus 数据源，导入容器/主机网络相关 Dashboard（如“Docker Host & Container Overview”“Node Exporter Full”等），并针对 Overlay 接口 建立图表（带宽、丢包、错误、重传、P95/P99 延迟等）。
- 告警建议
- 主机/接口：网卡 errors/drops 持续增长、接口 down、带宽利用率持续 > 80%。
- 容器：单个容器 网络发送/接收速率 异常飙升或持续为 0。
- 控制面：编排组件（Swarm/Kubernetes 网络插件） Unhealthy、Endpoint 异常、服务不可达。
按网络实现的监控要点
- Docker Swarm Overlay
- 使用 docker network inspect <overlay_net> 查看 子网、网关、已连接容器；结合 docker stats 观察容器网络 I/O。
- 排查控制面：检查 Swarm 节点状态、服务/任务分布与网络策略；必要时抓取 vxlan 接口流量定位跨主机通信问题。
- Kubernetes Overlay（如 Flannel VXLAN/Calico IPIP 等）
- 关注节点 cni0/flannel.1 等网桥/隧道接口状态与 MTU；使用 ip/ifconfig/tcpdump 排查跨节点连通性与封装问题。
- 结合 kube-state-metrics、cAdvisor、Node Exporter 与网络插件 Exporter 构建统一视图。
- 基于 Open vSwitch 的 Overlay
- 使用 ovs-vsctl/ovs-ofctl 检查 bridge、port、vxlan 配置与对端隧道信息；关注 packet drops/errors。
- 通过 ovs_exporter/Prometheus 持续采集 网桥/端口/隧道 指标，并在 Grafana 建立隧道健康与带宽面板。
安全与优化提示
- 避免将 Docker 的远程 API 暴露在 0.0.0.0:2375 明文端口；如必须远程采集，请使用 TLS 证书 或 Unix Socket + 代理，并配合 firewalld 精细放行。
- 合理设置 MTU（Overlay 封装会占用约 50–60 字节），避免分片与性能劣化。
- 为抓包与排障预留 临时权限 与 日志留存；生产环境建议以 只读指标 为主，抓包操作限时、限量。