在 CentOS 上使用 MongoDB 进行数据分析的实用方案
一 环境准备与数据接入
- 安装与启动
- 在 CentOS 上安装 MongoDB 4.0+，使用配置文件管理日志与数据目录，建议开启 journal 与 WiredTiger 存储引擎，便于分析与恢复。
- 示例最小配置（/etc/mongod.conf 或自定义路径）：
- systemLog: destination: file, path: /var/log/mongodb/mongod.log, logAppend: true
- storage: dbPath: /var/lib/mongo, journal: enabled: true, engine: wiredTiger
- net: port: 27017, bindIp: 0.0.0.0（按需收紧）
- 启动：mongod -f /etc/mongod.conf；如需远程访问，开放 27017 端口并配置防火墙。
- 数据接入
- 批量导入：mongoimport --uri “mongodb://localhost:27017/db” --collection coll --file data.json --type json
- 实时或离线分析：将业务数据通过应用写入 MongoDB，或使用 ETL/CDC 工具（如 Spark）从外部系统加载到 MongoDB 集合，便于后续聚合与报表。
二 即时分析与可视化
- 命令行与驱动
- 使用 mongosh 连接数据库，直接执行 find / aggregate / count / distinct 等命令完成探索式分析；也可通过 Python（pymongo） 批量拉取数据做统计与建模。
- 可视化工具
- MongoDB Compass：官方 GUI，支持可视化构建 聚合管道、查看 执行计划 与索引建议，适合快速洞察与调优。
- Studio 3T / NoSQLBooster：高级查询构建、SQL 转 Mongo、脚本与任务调度，适合专业开发与复杂分析。
- FineReport / FineVis：企业级报表与可视化，直接连接 MongoDB，适合做管理驾驶舱与业务报表。
三 性能与日志分析
- 实时监控
- mongostat：观察 insert/query/update/delete、连接数、脏页、QPS 等，快速判断负载与瓶颈。
- mongotop：按集合维度查看读写耗时，定位热点集合与慢集合。
- db.serverStatus()：获取实例级指标（内存、连接、锁、网络、WiredTiger 缓存命中率等），用于容量与性能评估。
- 慢查询与 Profiling
- 配置 Profiling（示例阈值 100ms）：
- 方式一（配置）：operationProfiling.slowOpThresholdMs: 100, mode: all
- 方式二（命令）：db.setProfilingLevel(1, 100)
- 查询慢操作：db.system.profile.find({ millis: { $gt: 100 } }).sort({ ts: -1 }).limit(20)
- 日志与可视化
- 使用 Filebeat/Fluentd → Logstash → Elasticsearch → Kibana 收集与展示 MongoDB 日志，结合 Prometheus + Grafana 做指标可视化与告警。
四 离线大数据分析与报表
- Spark + MongoDB 离线分析
- 在 CentOS 部署 Hadoop + Spark，通过 MongoDB Spark Connector 读取集合，用 Java/Scala/Python 实现分组、排序、TopN、窗口函数等统计，示例主题包括 历史热门商品、最近热门商品、商品平均得分 等，结果回写 MongoDB 或导出报表。
- 报表与可视化
- 使用 FineReport / FineVis 直连 MongoDB，设计多维报表、图表与仪表盘，用于经营分析与数据服务。
五 分析优化与运维要点
- 索引与执行计划
- 为高频 filter / sort / group 字段建立合适索引；使用 explain(“executionStats”) 检查是否命中索引、扫描量与执行时间。
- 查询与聚合优化
- 减少 $lookup 与跨分片聚合成本；在聚合中尽早 $match / $project 缩小数据；利用 $bucket / $facet 做多维统计。
- 资源与存储
- 关注 WiredTiger 缓存与 磁盘 I/O，合理设置 journal 与 oplog 大小；必要时进行 分片 扩展吞吐。
- 日志与合规
- 启用 logrotate 做日志轮转与压缩，避免磁盘被撑满；生产环境避免过高的日志级别以减少开销。