Linux Hadoop实时分析架构与实现
总体思路
在Linux上的Hadoop并非天生面向低延迟，但通过“实时采集 + 流式计算 + 实时存储 + 交互查询”的组合，可构建端到端的实时分析链路。典型做法是：用Apache Kafka承接在线数据，交由Apache Flink或Spark Streaming进行流式处理，结果写入Apache Druid或HBase等低延迟查询层，再由实时看板/服务消费。对于既要低延迟又要高准确性的场景，可采用Lambda或Kappa架构，将实时与离线结果融合。
推荐架构与组件
- 数据采集与管道：Kafka作为高吞吐、低延迟的消息中枢，承接日志、埋点、IoT等实时数据，并作为流式作业的统一入口。
- 流式计算：Flink（事件时间、状态计算、Exactly-Once）适合毫秒到秒级延迟；Spark Streaming（微批）适合秒级延迟与复杂批流一体逻辑。
- 实时存储与查询：面向实时聚合与点查用Druid（毫秒级）；面向高并发KV/宽表用HBase；面向交互式SQL可用Presto/Impala；面向固定维度超高速OLAP用Kylin（预计算Cube）。
- 资源与调度：YARN统一管理CPU/内存，承载Flink/Spark等引擎，与HDFS分层存储配合，形成批流一体的弹性资源池。
端到端实现步骤
- 步骤1 数据接入：在业务侧埋点或日志代理落盘至Kafka Topic，按业务划分分区，保证有序性与并行度。
- 步骤2 流式处理：部署Flink/Spark Streaming作业订阅Kafka，使用事件时间与水印处理乱序，完成过滤、聚合、维表关联、窗口计算等，并将结果以幂等方式写入Druid/HBase或HDFS（用于回放与离线校准）。
- 步骤3 实时查询：将Druid对接Superset/自研看板，或将HBase对接API服务；交互式探索可用Presto/Impala直查Hive/HDFS数据湖。
- 步骤4 结果回流与校准：将实时结果回流HDFS，用Hive/Spark做日/小时级重算与对比，修正偏差，实现Lambda双路融合。
关键配置与优化要点
- 存储层：HDFS并非实时系统，建议将“热数据”放入Druid/HBase，将“冷/历史数据”沉到HDFS；合理设置副本数与块大小，结合压缩降低I/O。
- 计算层：为Flink/Spark配置合适的并行度、状态后端（RocksDB）、检查点/回放与Watermark策略；选择Exactly-Once语义保障端到端一致性。
- 资源层：通过YARN为实时作业设置队列/配额/抢占，避免与离线大作业争抢资源；结合容器化/节点标签隔离关键实时任务。
- 监控与告警：启用Prometheus + Grafana采集Hadoop/YARN/Flink/作业指标，配合JMX与日志定位瓶颈；使用Ambari/Ganglia/Zabbix做容量与可用性监控。
场景化选型建议
- 实时监控与告警（日志/指标/链路追踪）：Kafka → Flink → Druid → 看板/告警，追求毫秒级聚合与点查。
- 交互式BI与即席查询（多表关联、跨源）：Hive/Parquet on HDFS → Presto/Impala，典型亚秒到数秒延迟。
- 固定维度高速OLAP（星型模型、预计算）：Hive → Kylin → BI，典型10ms~100ms查询。
- 高并发KV/宽表服务（用户画像、特征服务）：Kafka/Flink → HBase → 在线服务，强一致与低延迟点查。