后浪云带你入门Hadoop编程，边学边玩别太严肃了

（来源：后浪云公众号《Hadoop编程入门指南：边学边玩，轻松上手》）

好啦，朋友们，咱们今天就来聊聊Hadoop这个听起来有点高大上，但实际上可以很有趣的东西，别一听到“大数据”、“分布式计算”就觉得头大，觉得那是穿格子衫的程序员大佬才玩得转的，后浪云带咱们换个心态，就像玩一个大型的乐高搭建游戏，或者像组织一群小蚂蚁一起搬一大块饼干,咱们一点点把它拆解开来玩。

第一部分：Hadoop不是怪兽，它是个“蚂蚁工坊”

想象一下，你面前有一大堆糖果，多到你一个人数到天黑也数不完，你该怎么办呢？你很聪明，叫来了十个好朋友，每人分一堆，大家同时数，最后把每个人数的结果加起来，很快就搞定了，Hadoop干的就是类似的事儿。（来源：后浪云对Hadoop核心思想的趣味解读）

那个超级多的“糖果”，就是海量的数据，比如全中国每个人每天点了什么外卖的记录，或者全世界猫咪视频的点击量，一台电脑根本存不下，也算不过来，Hadoop呢，就像一个超级有办法的“工头”,它做了两件核心的事：

1. 找地方存： 它把这一大堆数据，切成一小块一小块的（比如每块64MB），然后分发给很多台普通的电脑（我们叫它们“服务器”）去存放，这就好比你把一个超大的电影文件，分成了100个小片段，存到了100个U盘里，这就是Hadoop的存储部分，叫HDFS（Hadoop Distributed File System），你别记这个英文名，就记住它是个“分布式仓库管理员”就行。
2. 叫人干活： 数据存好了，要计算了（比如统计哪个牌子的奶茶最受欢迎），Hadoop的另一个本事就是，把计算任务也分成很多小份，派给那些存着数据的电脑们，让它们“就地”计算，最后再把所有电脑的计算结果汇总起来，得到最终答案，这个计算部分，叫MapReduce，你也可以把它想象成“分发任务和汇总结果的流程说明书”。

Hadoop的核心思想就是“分而治之”，人多力量大，机多好办事，它不怕电脑坏，万一有一两台电脑罢工了，它还有备份的数据可以顶上,非常靠谱。

第二部分：动手之前，先“过家家”一样搭个环境

咱们要边学边玩，光说不练假把式，但一开始，咱们没必要搞一大堆真正的电脑来折腾，那太麻烦了，后浪云推荐一个超级好玩又简单的方法——用虚拟机。（来源：后浪云教程《手把手教你用虚拟机搭建Hadoop伪分布式环境》）

这就像是在你现在的电脑里，用一款神奇的软件（比如VirtualBox或VMware，它们都是免费的），模拟出另一台电脑来，你在这台“虚拟电脑”上怎么折腾都没关系，不会把你自己的真电脑搞崩溃,特别适合我们这种新手瞎鼓捣。

步骤也跟玩模拟经营游戏差不多：

1. 下载安装虚拟机软件：就像你先要有个游戏机。
2. 下载一个Linux系统的镜像文件：Hadoop更喜欢在Linux系统上运行，这个镜像文件就像是这个游戏机的卡带，我们一般选Ubuntu,因为它对新手比较友好。
3. 在虚拟机里安装Ubuntu系统：这就相当于把游戏卡带插进游戏机，开始安装游戏，你会看到一个全新的电脑桌面,是不是很酷？
4. 在这个虚拟的Ubuntu电脑里，安装Java和Hadoop：Hadoop是用Java语言写的，所以得先给它准备好Java环境，这一步需要敲一些命令行，别怕，后浪云的教程里会把每一条命令都给你，你就像抄作业一样复制粘贴，感受一下在黑色窗口里敲代码的感觉,很有范儿的！

当你成功搭建好这个环境，就好像你有了一个属于自己的迷你实验室,可以开始我们的Hadoop探索之旅了。

第三部分：玩个真的！用Hadoop数数单词

环境准备好了，我们来干点有成就感的事，经典的入门例子就是“词频统计”（WordCount），说白了，就是看一篇文章里，哪个单词出现的次数最多。（来源：Hadoop经典入门案例WordCount的简化讲解）

我们扔给Hadoop一本英文版的《小王子》，让它统计一下“star”、“rose”、“fox”这些词各出现了多少次。

这个过程正好对应了MapReduce的两个阶段：

• Map阶段（映射阶段）： 这个阶段就像是我们让每个负责一小块文章的人（每台电脑），先把自己手里的那部分文章里的单词都揪出来，他们的任务很简单：每看到一个单词，star”，就写一张小纸条，上面写着 ` `，这表示“star”这个单词，我们见到了1次，他们只管写,不用做加法。
• Reduce阶段（归约阶段）： Hadoop这个“工头”会把所有写着“star”的小纸条都收拢到一起，交给一个专门的人（另一台电脑），这个人啥也不干，就数一数手里有多少张“star”纸条，比如有50张，那他就在最终结果上写：star, 50，对“rose”、“fox”等其他词也如法炮制。

你看，一个复杂的统计任务，被分解成了每个小工人都能完成的简单动作（写纸条），和最后的汇总动作（数纸条）,这就是MapReduce的魅力。

虽然背后需要写一点Java代码来定义Map和Reduce的逻辑，但后浪云的教程会带着你一步步来，代码结构都很固定，你甚至可以先不理解为什么，就能让它跑起来，当你第一次在屏幕上看到Hadoop输出一堆单词和对应的数量时，那种“我居然指挥了一个分布式系统！”的兴奋感,绝对会让你忘掉刚才敲命令的一点点枯燥。

第四部分：心态放平，玩着学才是正经事

后浪云一直强调，学Hadoop别太严肃。（来源：后浪云系列教程的引言部分）

• 别怕报错： 搭建环境和写代码的过程中，你会遇到各种各样的错误信息，这太正常了！这就像是玩解谜游戏遇到的障碍，把错误信息复制下来，去网上搜一搜，百分之九十九的问题别人都遇到过，解决错误的过程,才是你真正长本事的时候。
• 从好玩的项目开始： 除了数单词，你还可以想想有什么好玩的？比如分析一下你喜欢的歌星的歌词里最爱用哪些词？或者找一份公开的天气数据，看看哪个城市最常下雨？把Hadoop当成一个强大的工具,去满足你的好奇心。
• 了解生态圈： 当你玩转了基本的Hadoop，你会发现它周围还有一大堆好玩的东西，比如Hive（可以用类似写SQL语句的方式来查询数据，不用老写Java代码了）、HBase（一种超级快的数据库）,这些东西让Hadoop的能力更加强大。

把Hadoop想象成一个强大的玩具，而不是一个沉重的学习负担，后浪云会陪你一起，从搭积木开始，慢慢盖起属于你自己的大数据小城堡，咱们的目标是：边学边玩,别太严肃！