大数据和AI
未读
『大数据基础』07-大数据计算：MapReduce数据合并与连接机制shuffle
一、什么是shuffle 在map过程输出与reduce过程输入的中间，有一个过程叫做shuffle，是MapReduce计算框架处理数据合并与连接的操作。分布式计算需要将不同服务器上的相关数据（根据相同的key）汇集到同一个节点的同一个进程进行下一步计算，这就是shuffle。 二、shuffle
大数据和AI
未读
『大数据基础』06-大数据计算：MapReduce作业执行机制（Hadoop 1）
前文提到“MapReduce既是编程模型，也是计算框架”。在Hadoop 1中其作为计算框架时负责在分布式系统中调度程序和资源进行计算。但是在Hadoop 2中MapReduce资源调度的功能就被拆分出来形成了Yarn框架。因此本文的MapReduce作业执行机制仅限于Hadoop 1。 一、Map
