大数据和AI
未读
『大数据基础』11-大数据计算：Spark为什么更快（计算原理）
一、MapReduce执行复杂计算场景 从MapReduce编程模型中可以看到，一个MapReduce程序最多只包含一个map方法和一个reduce方法。但是在复杂计算场景中，往往不止一次的MapReduce就能得到最终结果，有可能需要循环执行多次甚至数万次MapReduce（比如回归任务），也有可
大数据和AI
未读
『大数据基础』10-大数据计算：另一种更快的计算框架Spark
一、Spark实现词频统计 Spark拥有更快的执行速度和更简单易用的编程模型。同样是词频统计任务，Spark只需要以下几行代码，而不用像MapReduce一样写很长的map函数和reduce函数： val textFile = sc.textFile(“hdfs://...”)
val count
