SQL Server Hadoop怎么实现连接

本篇内容介绍了“SQL Server Hadoop怎么实现连接”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

Apache Hadoop集群

Hadoop是一个主-从架构，部署在Linux主机的集群中。想要处理海量数据，Hadoop环境中必须包含一下组件：

• 主节点管理从节点，主要涉及处理、管理和访问数据文件。当外部应用对Hadoop环境发送作业请求时，主节点还要作为主接入点。

• 命名节点运行NameNode后台程序，管理Hadoop分布式文件系统(HDFS)的命名空间并控制数据文件的访问。该节点支持以下操作，如打开、关闭、重命名以及界定如何映射数据块。在小型环境中，命名节点可以同主节点部署在同一台服务器上。

• 每一个从节点都运行DataNode后台程序，管理数据文件的存储并处理文件的读写请求。从节点由标准硬件组成，该硬件相对便宜，随时可用。可以在上千台计算机上运行并行操作。

下图给出了Hadoop环境中各个组件的相互关系。注意主节点运行JobTracker程序，每个从节点运行TaskTracker程序。JobTracker用来处理客户端应用的请求，并将其分配到不同的TaskTracker实例上。当它从JobTracker那里接收到指令之后，TaskTracker将同DataNode程序一同运行分配到的任务，并处理每个操作阶段中的数据移动。

你必须将SQL Server Hadoop连接器部署在Hadoop集群之内

MapReduce框架

再如上图所示，主节点支持MapReduce框架，这一技术是依赖于Hadoop环境之上的。事实上，你可以把Hadoop想象成一个MapReduce框架，而这个框架中会有JobTracker和TaskTracker来扮演关键的角色。

MapReduce将大型的数据集打散成小型的、可管理的数据块，并分布到上千台主机当中。它还包含一系列的机制，可以用来运行大量的并行操作，搜索PB级别的数据，管理复杂的客户端请求并对数据进行深度的分析。此外，MapReduce还提供负载平衡以及容错功能，保证操作能够迅速并准确地完成。

MapReduce和HDFS架构是紧密结合在一起的，后者将每个文件存储为数据块的序列。数据块是跨集群复制的，除了***的数据块，文件中的其他数据块大小都相同。每一个从节点的DataNode程序会同HDFS一起创建、删除并复制数据块。然而，一个HDFS文件只可以被写一次。

SQL Server Hadoop连接器

用户需要将SQL Server Hadoop连接器部署到Hadoop集群的主节点上。主节点还需要安装Sqoop和微软的Java数据库连接驱动。Sqoop是一个开源命令行工具，用来从关系型数据库导入数据，并使用Hadoop MapReduce框架进行数据转换，然后将数据重新导回数据库当中。

当SQL Server Hadoop连接器部署完毕之后，你可以使用Sqoop来导入导出SQL Server数据。注意，Sqoop和连接器是在一个Hadoop的集中视图下进行操作的，这意味着当你使用Sqoop导入数据的时候是从SQL Server数据库检索数据并添加到Hadoop环境中，而相反地，导出数据是指从Hadoop中检索数据并发送到SQL Server数据库当中。

Sqoop导入导出的数据支持一些存储类型：

• 文本文件：基础的文本文件，用逗号等相隔;

• 序列文件：二进制文件，包含序列化记录数据;

• Hive表：Hive数据仓库中的表，这是针对Hadoop构建的一种特殊的数据仓库架构。

总体来说，SQL Server和Hadoop环境(MapReduce和HDFS)能够让用户处理海量的非结构化数据，并将这部分数据整合到一个结构化的环境中，进行报表制作以及BI分析。

微软大数据策略才刚刚开始

SQL Server Hadoop连接器在微软大数据之路上算是迈出了重要的一步。但与此同时，由于Hadoop、Linux和Sqoop都是开源技术，这意味着微软要对开源世界大规模地敞开胸怀。其实微软的计划并不只如此，在今年年底，他们还将推出一个类似于Hadoop的解决方案，并以服务的形式运行在Windows Azure云平台上。

在明年，微软还计划推出针对Windows Server平台的类似服务。不能否认，SQL Server Hadoop连接器对于微软来说意义重大，用户可以在SQL Server环境中处理大数据挑战，相信在未来他们还会带给我们更多的惊喜。

“SQL Server Hadoop怎么实现连接”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站，小编将为大家输出更多高质量的实用文章！