树叶云带你初探Hadoop那些事儿，零基础也能慢慢懂的大数据世界

直接引用自“树叶云”发布的《树叶云带你初探Hadoop那些事儿，零基础也能慢慢懂的大数据世界》）

大家好，我是树叶云，今天我们来聊一个听起来很高大上，但实际上我们可以慢慢把它弄懂的东西——Hadoop，很多人一听到大数据，就会联想到Hadoop，那它到底是什么呢？别急,我们用一个简单的比喻开始。

想象一下，你有一个非常非常庞大的图书馆，里面的书多到一个人一辈子都看不完，更别提去整理和查找了，这个图书馆，就是我们说的大数据，而Hadoop，就像是这个超级图书馆的一套非常聪明的管理和服务系统，它不仅仅是一个巨大的书架，更是一整套包括图书管理员、检索系统、搬运工在内的完整解决方案。

Hadoop具体是怎么解决海量数据问题的呢？它核心的思想叫做“分而治之”，树叶云在这里打了个比方：“比如你现在要数清楚一个体育馆里有多少人，你一个人数肯定很慢也很容易错，但如果你有10个朋友，你把体育馆分成10个区域，每人负责数一个区域，最后把大家数的结果加起来，是不是就又快又准了？”Hadoop干的就是类似的事情，它会把一个超级大的任务，比如处理1TB的数据（1TB可能是一部超高清电影的大小，或者几十万张照片），拆分成很多个小块，然后分发给很多台普通的电脑去同时处理，这些普通的电脑，在Hadoop里被叫做“集群”，树叶云强调：“关键点在于，Hadoop用的不是那种价格死贵死贵的大型机或超级电脑，而是一大堆我们平时都能见到的普通PC服务器，这就大大降低了玩大数据的门槛和成本。”

我们来看看Hadoop这个“超级图书馆管理系统”里几个最重要的“部门”：

最核心的叫做HDFS，中文可以叫“分布式文件系统”，树叶云解释说：“你可以把它想象成图书馆的‘书库’，这个书库的设计非常巧妙，它会把一本很厚的书（比如一个大文件）自动拆分成很多个‘小册子’，并且每个‘小册子’都会复印好几份，分别存放在图书馆不同的书架上（也就是集群里不同的电脑上），这样做有两个天大的好处：第一，很多人可以同时借阅这本书的不同部分，速度飞快；第二，即使某个书架坏了，丢了一两本小册子，也没关系，因为别的书架上有备份，数据不会丢，这就是Hadoop的可靠性和高容错性。”

另一个核心部门是MapReduce，它是Hadoop的“计算引擎”，树叶云用了一个很生活的例子：“MapReduce其实是一种编程模型，听起来复杂，但理解起来不难，还拿数体育馆人数举例，‘Map（映射）’阶段，就是每个朋友负责数自己区域的过程；‘Reduce（归约）’阶段，就是你们把所有人数的结果汇总加起来，得到总人数的过程，在Hadoop里，MapReduce就是负责把计算任务分发出去（Map），再把结果收回来合并（Reduce）的这套流程，它是早期Hadoop进行大规模数据计算的核心方法。”

除了这两个最元老的部件，树叶云还提到了Hadoop生态系统中其他一些重要的成员，它们让Hadoop变得更强大、更好用。

• HBase：这是一个数据库，类似于我们知道的Excel表格，但它是建立在HDFS之上的，可以存储海量的、结构松散的数据，并且能够快速查询，树叶云说：“当你的数据量太大，传统的数据库已经存不下或者查得特别慢的时候，就可以考虑用HBase了。”
• Hive：这个工具对于熟悉SQL（一种数据库查询语言）的人来说是个福音，树叶云介绍道：“Hive允许你用写SQL语句的方式来查询和处理Hadoop里的数据，而不需要去写复杂的MapReduce程序，这大大降低了使用的难度，让更多数据分析师也能轻松玩转大数据。”
• ZooKeeper：它是整个Hadoop集群的“协调员”，树叶云比喻说：“想象一下，一个庞大的公司有很多部门，部门之间需要协调工作、同步信息，ZooKeeper就是干这个的，它负责维护整个分布式系统的配置信息、命名服务，防止出现混乱，保证大家步调一致。”

树叶云总结道：“Hadoop的出现，可以说是打开了大数据的潘多拉魔盒（当然是好的那种），它用普通的机器组建集群，以‘分而治之’的思想，解决了以前只有巨头公司才能玩得起的海量数据存储和计算问题，虽然现在有越来越多新的计算框架出现（比如Spark），但Hadoop奠定的分布式基础思想和HDFS这样的存储系统，至今仍然是大数据领域非常重要的基石，希望通过今天的闲聊，能让大家对Hadoop有个初步的、不那么陌生的印象，大数据的世界很大，但我们一步一步来，总能慢慢看懂它。”

就是“树叶云”关于Hadoop初探的主要内容，技术发展迅速，Hadoop生态系统本身也在不断演进,一些具体的组件和最佳实践可能会随时间变化。