面试题：
Hadoop
的基于进程的计算和
Spark
基于线程方式优缺点？
答案：
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没
有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加
载到每个map task中，造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行
单位，但缺点是线程之间会有资源竞争。
【扩展阅读】：线程基本概念
线程是
CPU
的基本调度单位
一个进程一般包含多个线程
,
一个进程下的多个线程共享进程的资源
不同进程之间的线程相互不可见
线程不能独立执行
一个线程可以创建和撤销另外一个线程
速度快
由于Apache Spark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数据流，所以官方宣称其在内存中的运算速度要比
Hadoop的MapReduce快100倍，在硬盘中要快10倍
Spark
处理数据与
MapReduce
处理数据相比，有如下两个不同点：
其一、
Spark
处理数据时，可以将中间处理结果数据存储到内存中；
其二、
Spark
提供了非常丰富的算子
(API),
可以做到复杂任务在一个
Spark
程序中完成
易于使用
Spark 的版本已经更新到 Spark 3.2.0（截止日期2021.10.13），支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语言。为了
兼容Spark2.x企业级应用场景，Spark仍然持续更新Spark2版本。
通用性强
在 Spark 的基础上，Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库，我们可以在一个应用中无缝
地使用这些工具库
Spark Core
：
Spark
的核心，
Spark
核心功能均由
Spark Core
模块提供，是
Spark
运行的基础。
Spark Core
以
RDD
为数据抽象，提供
Python
、
Java
、
Scala
、
R
语言的
API
，可以编程进行海量离线数据批处理计算。
SparkSQL
：基于
SparkCore
之上，提供结构化数据的处理模块。
SparkSQL
支持以
SQL
语言对数据进行处理，
SparkSQL
本身针对离线计算场景。同
时基于
SparkSQL
，
Spark
提供了
StructuredStreaming
模块，可以以
SparkSQL
为基础，进行数据的流式计算。
SparkStreaming
：以
SparkCore
为基础，提供数据的流式计算功能。
MLlib
：以
SparkCore
为基础，进行机器学习计算，内置了大量的机器学习库和
API
算法等。方便用户以分布式计算的模式进行机器学习计算。
GraphX
：以
SparkCore
为基础，进行图计算，提供了大量的图计算
API
，方便用于以分布式计算模式进行图计算。
Spark提供多种运行模式，包括：
本地模式（单机）
本地模式就是以一个
独立的进程
，通过其内部的
多个线程来模拟
整个Spark运行时环境
Standalone模式（集群）
Spark中的各个角色以
独立进程
的形式存在，并组成Spark集群环境
Hadoop YARN模式（集群）
Spark中的各个角色
运行在
YARN
的容器内部
，并组成Spark集群环境
- Kubernetes模式（容器集群）
Spark中的各个角色
运行在
Kubernetes
的容器内部
，并组成Spark集群环境
- 云服务模式（运行在云平台上）
