大数据里Hadoop、Spark和Kafka到底差哪儿，咋选更合适呢？

这个问题其实很多刚开始接触大数据的朋友都会遇到，感觉Hadoop、Spark、Kafka这几个名字总是绑在一起出现，但又不知道它们具体干啥的，更不知道怎么选，说白了，它们仨根本不是一回事，更像是一个团队里不同岗位的同事，各司其职，但又需要紧密配合，下面我就用人话给你讲清楚它们到底差在哪儿,以及你怎么选。

核心区别：干的活儿不一样。

你可以想象一个数据处理的大工厂。

1. Hadoop：它是这个工厂的“仓库”和“老式生产线”。

   • 仓库（HDFS）：Hadoop的核心部件叫HDFS，就是一个特别能装的分布式文件系统，你的海量数据，比如几年的用户日志、大量的视频图片，首先都得存到这里面来，它设计的思想就是“移动计算比移动数据更划算”，意思是把计算程序送到数据存放的地方去执行，而不是把庞大的数据搬来搬去，这样效率更高。（来源：Apache Hadoop官方文档对HDFS设计理念的描述）
   • 老式生产线（MapReduce）：Hadoop早期自带一个计算引擎叫MapReduce，它的工作方式很像一条流水线：先把一大包原料（数据）拆分成小份（Map阶段），然后分给很多工人并行处理，处理完再把中间结果收集起来进行汇总（Reduce阶段），这个过程比较死板，而且每一步都要把中间结果写入硬盘，所以速度比较慢，适合处理那种对时间不敏感、批量一次性的超大数据任务,比如凌晨的时候统计前一天全网的点击量。

2. Spark：它是这个工厂的“现代化高速流水线”。

   

   • Spark主要干的是“计算”的活儿，它本身不负责长期存储数据（虽然它能连接Hadoop的HDFS来读写数据），它的最大特点就是快，比Hadoop的MapReduce快很多倍。（来源：AMP实验室发布的Spark论文中多次提到其内存计算带来的性能提升）
   • 快在哪儿呢？Spark处理数据时，会尽量把中间结果放在内存里，而不是像MapReduce那样每一步都写硬盘，内存的读写速度比硬盘快太多了，这就好比MapReduce是让你跑一段路就去盖个章（写硬盘），再跑一段再盖章；而Spark是给你一张地图，让你尽量一口气跑完全程，只在起点和终点盖章，所以Spark特别适合需要反复迭代计算的任务（比如机器学习算法）和需要快速响应的交互式查询。
   • 简单说，如果你对数据处理速度有要求，比如要做实时推荐、实时报表，或者复杂的机器学习，那Spark通常是比Hadoop MapReduce更好的选择。

3. Kafka：它是这个工厂的“高速传送带”或“消息队列”。

   • Kafka根本不参与数据的存储和计算！它的核心工作是实时地接收数据流，并把它们传递下去，想象一下，工厂各个车间都在不停生产半成品，需要一条传送带把它们快速、有序地运送到下一个加工环节,Kafka就是这条传送带。
   • 它专门处理像洪水一样源源不断产生的实时数据，比如网站上的用户点击流、App内的操作记录、物联网设备发来的传感器数据等，它能保证数据不丢失、顺序不乱，并且能同时分发给多个“消费者”（比如Spark Streaming程序、数据库等）进行处理。（来源：Apache Kafka官方介绍中对其作为分布式流平台的定位）
   • Kafka解决的是数据怎么来的以及怎么实时分发的问题，是数据流动的“大动脉”。

怎么选更合适呢？这得看你的业务场景。

现在你基本不会只选其中一个，而是根据需求把它们组合起来用,我给你几个典型的场景：

• 你要做海量历史数据的离线批处理分析。

  • 公司想分析过去五年的销售数据，找出规律，这个任务数据量巨大，但对完成时间要求不苛刻,可能跑几个小时甚至一晚上都行。
  • 怎么选：可以选用Hadoop（MapReduce） 直接处理存在HDFS上的数据，虽然Spark也能做而且更快，但如果数据量实在太大，Hadoop在纯批处理上的稳定性和成本可能仍有优势,不过目前趋势是Spark越来越成为主流。

• 你要做实时数据分析和机器学习。

  • 做一个双十一的实时成交额大屏,或者根据用户当前浏览行为实时推荐商品。
  • 怎么选：这绝对是Spark的主场，数据可以从Kafka这条“传送带”上实时获取，然后由Spark Streaming进行快速计算,结果立马展示到大屏上或用于推荐模型。

• 你要构建一个实时数据平台。

  • 一个电商App，需要把用户下单、支付、物流等各个环节产生的实时数据收集起来，分别给风控系统、推荐系统、报表系统使用。
  • 怎么选：这是最经典的组合拳。Kafka作为核心枢纽，首先接收所有实时数据流；Spark订阅Kafka的数据进行实时计算；计算后的结果可能存入数据库供查询，或者原始数据也会被Spark或Hadoop批量导入到HDFS数据仓库里，供后续更深入的离线分析，这里Hadoop主要扮演了廉价、可靠的数据仓库角色。

• Hadoop：Think Big. 核心是分布式存储和简单的批量计算，适合海量数据离线处理，现在其存储部分（HDFS）比计算部分（MapReduce）更常用。
• Spark：Think Fast. 核心是快速、通用的大数据计算引擎，适合迭代、交互式和流式处理,是当前大数据计算的主流选择。
• Kafka：Think Flow. 核心是实时数据流传输,是连接数据源和数据处理引擎的桥梁。

不存在“三选一”的问题，而是理解它们各自扮演的角色，像搭积木一样，根据你想要构建的数据处理流水线，把它们正确地组合在一起，如果你的数据是“一潭深水”，主要做沉淀后的分析，多关注Hadoop和Spark；如果你的数据是“一条奔涌的河流”，需要实时处理,那Kafka和Spark就是你的重点。