DataSet Api编程指南是什么

DataSet Api编程指南是什么，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

　　ApacheFlink是一个兼顾高吞吐、低延迟、高性能的分布式处理框架。在实时计算崛起的今天，Flink正在飞速发展。由于性能的优势和兼顾批处理，流处理的特性，Flink可能正在颠覆整个大数据的生态。

DataSetAPI

　　首先要想运行Flink，我们需要下载并解压Flink的二进制包。

　　我们可以选择Flink与Scala结合版本，这里我们选择最新的1.9版本ApacheFlink1.9.0forScala2.12进行下载。

　　下载成功后，在windows系统中可以通过Windows的bat文件或者Cygwin来运行Flink。

　　在linux系统中分为单机，集群和Hadoop等多种情况。

　　Flink的编程模型，Flink提供了不同的抽象级别以开发流式或者批处理应用，本文我们来介绍DataSetAPI，Flink最常用的批处理编程模型。

　　Flink中的DataSet程序是实现数据集转换的常规程序（例如，Filter，映射，连接，分组）。数据集最初是从某些来源创建的（例如，通过读取文件或从本地集合创建）。结果通过接收器返回，接收器可以例如将数据写入（分布式）文件或标准输出（例如命令行终端）。Flink程序可以在各种环境中运行，独立运行或嵌入其他程序中。执行可以在本地JVM中执行，也可以在许多计算机的集群上执行。

数据集转换

　　数据转换将一个或多个DataSet转换为新的DataSet。程序可以将多个转换组合到复杂的程序集中。

　　DataSetAPI中最重要的就是这些算子，我们将数据接入后，通过这些算子对数据进行处理，得到我们想要的结果。

收集数据源和接收器

　　通过创建输入文件和读取输出文件来完成分析程序的输入并检查其输出是很麻烦的。Flink具有特殊的数据源和接收器，由Java集合支持以简化测试。一旦程序经过测试，源和接收器可以很容易地被读取/写入外部数据存储（如HDFS）的源和接收器替换。

　　在开发中，我们经常直接使用接收器对数据源进行接收。

看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注亿速云行业资讯频道，感谢您对亿速云的支持。