大数据和AI
未读
『大数据基础』11-大数据计算：Spark为什么更快（计算原理）
一、MapReduce执行复杂计算场景 从MapReduce编程模型中可以看到，一个MapReduce程序最多只包含一个map方法和一个reduce方法。但是在复杂计算场景中，往往不止一次的MapReduce就能得到最终结果，有可能需要循环执行多次甚至数万次MapReduce（比如回归任务），也有可
每日推荐
未读
情绪不对时，请写写日记
当一个人有强烈情绪感受时，他的大脑杏仁核会发生剧烈反应。这时我们不能忽视这个情绪感受，而是应该将感受到的情绪指明并说出。加州大学洛杉矶分校的学者曾发现，将情绪用文字表达出来(例如写日记)就可以对大脑产生一种疗愈效果。其原因在于当你把自己的负面情绪指明时，你的右外腹前额叶皮层会同时被激活，向杏仁核发出
大数据和AI
未读
『大数据基础』10-大数据计算：另一种更快的计算框架Spark
一、Spark实现词频统计 Spark拥有更快的执行速度和更简单易用的编程模型。同样是词频统计任务，Spark只需要以下几行代码，而不用像MapReduce一样写很长的map函数和reduce函数： val textFile = sc.textFile(“hdfs://...”)
val count
大数据和AI
未读
『大数据基础』09-数据仓库：Hive让MapReduce优雅地实现SQL操作
一、Hive诞生的原因 MapReduce编程模型已经极大简化了数据编程的难度，但还是不够简单，每次要针对性地写MapReduce程序。对于数据分析师来说，能直接使用已经烂熟的SQL最好不过。由此诞生了工具：Hadoop大数据仓库Hive（Facebook于2008年发布）。 二、Hive架构原理
每日推荐
未读
用筷子有什么要忌讳的？
用筷的忌讳包括： 品箸留声： 把筷子的一端含在嘴里, 用嘴来回去嘬并发出声响； 击盏敲盅：在用餐时用筷子敲击盘碗； 迷箸刨坟：手里拿著筷子在菜盘里不住的扒拉，似盗墓刨坟般； 泪箸遗珠：用筷子夹菜时，手里不利落，将菜汤流落到其它菜里或桌子上； 颠倒乾坤：用餐时将筷子颠倒使用； 定海神针：用餐时用一只筷
每日推荐
未读
习惯能给人带来目标感
你是否有这种感觉，回望高中时期按部就班的学校生活，觉得很充实；而上大学之后进入到一个相对轻松的环境时，却感觉很迷茫。其实这和习惯有关。对于孩子来说，日常习惯会提供安全感；对于成年人，它带来的是目标感。进入大学之后，之前的习惯被打破，我们无所适从，目标和集体行动的缺失加强了我们对未知的恐惧，于是我们深
每日推荐
未读
点菜“盖帽”是什么意思？
在饭局上，如果不是跟你关系特别好的朋友吃饭，我们一般都要遵守“盖帽”的规则。那么，“盖帽”是什么意思呢？通常，应酬的主人请客，主人会点第一道菜，暗示客人点菜封顶，这叫“盖帽”。因此，这时候你可千万别觉得是饭局主人大方，然后随便什么贵的菜都点，要懂得照顾主人的感受，尊重别人，之后点的菜千万不要超过这第
大数据和AI
未读
『大数据基础』07-大数据计算：MapReduce数据合并与连接机制shuffle
一、什么是shuffle 在map过程输出与reduce过程输入的中间，有一个过程叫做shuffle，是MapReduce计算框架处理数据合并与连接的操作。分布式计算需要将不同服务器上的相关数据（根据相同的key）汇集到同一个节点的同一个进程进行下一步计算，这就是shuffle。 二、shuffle
随便说说
未读
积淀是个漫长的过程，不必为眼前而焦虑
今天是乙巳蛇年（2005年）年初八开工第一天。我一直以为自己在蹉跎岁月，没有做什么事情。直到昨天晚上翻阅我自己记录的知识库，才发现其实我还是有所沉淀的，而且是有深度的东西。包括我重复几次写的那些前端Vue和后端Java程序，这些都是有意义的，起码我现在可以熟练使用这些知识进行Web层面的开发。如果有
大数据和AI
未读
『大数据基础』06-大数据计算：MapReduce作业执行机制（Hadoop 1）
前文提到“MapReduce既是编程模型，也是计算框架”。在Hadoop 1中其作为计算框架时负责在分布式系统中调度程序和资源进行计算。但是在Hadoop 2中MapReduce资源调度的功能就被拆分出来形成了Yarn框架。因此本文的MapReduce作业执行机制仅限于Hadoop 1。 一、Map
随便说说
未读
好多人已经提前回家过年
大数据和AI
未读
『大数据基础』03-单机存储：RAID单机存储技术
大数据和AI
未读
『大数据基础』02-大数据计算的思路：移动计算而不是数据
大数据和AI
未读
『大数据基础』01-大数据技术发展历史和应用场景简析