Uber如何使用Apache Hudi近实时分析全球网络

这篇文章将为大家详细讲解有关Uber如何使用Apache Hudi近实时分析全球网络，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。

Uber业务规模快速增长，覆盖了60个国家的600个城市，累计10B的订单。

并且几乎都是通过手机App来使用Uber，而100%都依赖于手机网络，需要近实时的监控网络的可靠性。

而无线网络在各个地方的信号强弱均不一样。

并且随着时间的变化，信号强弱也发生变化；蜂窝网络质量、网络格式的变化等等。

对于网络性能的挑战很多，如维度太多，数据量太大等。

一种不太高效的解决方案是使用批处理重新计算所有数据，但开销太高（重复读取数据）、对相同数据的重复计算、计算结果更新太慢。

使用增量处理，即只处理数据源的更新，增量更新结果，便可更快地计算出结果。

可使用Apache Hudi进行增量拉取

对大数据引入了流式处理，只对变化的数据进行增量处理，减少延迟，扩展性更好。

基于Hudi的实现架构，Hudi会基于统计信息来管理文件，提供不同的视图供不同的上层应用使用，并且更通用。DB的变化会导入kafka，然后每隔数分钟使用Hudi（DeltaStreamer）进行消费，然后写入Hudi数据集，在数据集上提供三种视图（读优化视图、实时视图、增量视图）供上层应用使用。

Hudi在Uber中已经构建了超10PB的数据湖、1000个pipeline/表、每天处理100TB数据。

Hudi的增量模型使用微批任务（数分钟），支持upsert（插入更新）结果集，支持增量拉取数据源变化的数据。

基于Hudi构建的增量pipeline和展示面板

可使用Spark DataSource API 或者DeltaStreamer来读取数据源/写入Hudi数据集。

构建增量pipeline，用来增量更新网络指标

Hudi增量拉取处理后，会合并之前处理的结果

增量更新指标

总体的pipeline使用两阶段增量更新，第一阶段结果在Sketch表（临时表），第二阶段合并为Summary表（最终结果总表），两阶段都涉及结果的合并。

Delta sketch和Delta summary均使用Hudi提供的DeltaStreamer实现。

Hudi在Uber的实践经验总结，包括测试、运维、监控

生产环境的增量pipeline设置

pipeline的运行时介绍，每天100GB，批量更新pipeline使用1200core、增量pipeline使用150core。

关于Uber如何使用Apache Hudi近实时分析全球网络就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。