如何通过矩阵乘法来搞懂MapReduce

今天给大家介绍一下如何通过矩阵乘法来搞懂MapReduce。文章的内容小编觉得不错，现在给大家分享一下，觉得有需要的朋友可以了解一下，希望对大家有所帮助，下面跟着小编的思路一起来阅读吧。

（一）

 矩阵乘法来理解MapReduce

1. 要求使用计算机计算矩阵相乘（两个矩阵大小超过计算机内存大小）

    2. 因为矩阵相乘是指行*列，故可以把第一个矩阵第一行记作A1和另一个矩阵的第一列记作B1，以下类推.....分别推送到一台服务器上去执行行列乘积，(这就对应于MapReduce中Map)如果这个矩阵的大小为100行*100列，那么我们就需要100台机器去并行执行每行每列的计算乘积。如下图：

    3 . 各个计算机全部处理完毕后会对各个机器计算的结果进行汇总，最后输出结果。(这就对应于MapReduce中Reduce)。

  （二）

  使用场景及分析

        从上面的计算过程来看MapReduce是采用了各个击破的套路，先把一个大的计算过程，分解成小的计算过程并计算出每个过程的计算结果，最后把各个计算结果合并起来就得到完整的计算结果。不仅可以解决单台机器配置问题，而且可以并行计算，加快计算速度。

        MapReduce在数据分析中起着非常重要作用，比如我们需要对用户访问某个URL进行分析，如果没有MapReduce的话我们需要不断串行读取，不断循环分析或者优化后采用多线程也会很复杂，但是有了MapReduce模型之后我们就可以把数据拆分开并行分析处理，最后汇总。特别适合数据量大，存在重复性高，汇总后结果比较小的使用场景。

 （三）

      由此可以看出MapReduce的道理是非常简单的，主要采用了分治的思想。他也非常符合日常生活常理，当我们做一件比较大的工作时，通常习惯性把一个大任务拆分成多个小任务，然后各个击破处理。

以上就是如何通过矩阵乘法来搞懂MapReduce的全部内容了，更多与如何通过矩阵乘法来搞懂MapReduce相关的内容可以搜索亿速云之前的文章或者浏览下面的文章进行学习哈！相信小编会给大家增添更多知识,希望大家能够支持一下亿速云！