一、背景 事情是从公司前段时间的需求说起，大家知道宜信是一家金融科技公司，我们的很多数据与标准互联网企业不同，大致来说就是： 玩数据的人都知道数据是非常有价值的，然后这些数据是保存在各个系统的数据库
Spark 是一个基于内存式的分布式计算框架。具有高性能，高效可扩展，容错等优点。今天讲解一下spark的流计算，其实它也不完全是实时的流计算，算是一种准实时的流计算。上图讲解运行环境:需要linux
我们知道，大数据的计算模式主要分为批量计算(batch computing)、流式计算(stream computing)、交互计算(interactive computing)、图计算(graph
应用生态图 特点 所有流式计算场景 事件驱动的应用程序 流和批量分析 数据管道和ETL 保证正确性 完全一次的语义 事件处理 复杂的后期数据处理 分层PAI 流和批量数据上的SQL Data
1. 概述为了使用Beam，首先必须使用Beam SDKs其中一个SDK里面的类创建一个驱动程序。驱动程序定义了管道，包括所有的输入，转换以及输出。它还为您的管道设置了执行选项