如何用mapreduce解决实际问题 如何用MapReduce程序对采集到的数据进行预处理？
mapreduce\u80fd\u89e3\u51b3\u4ec0\u4e48\u95ee\u9898Mapper\u7684\u8f93\u5165key\u4e0d\u662fObject\uff0c\u800c\u662fLongWritable\u7c7b\u578b\u7684\uff0c\u56e0\u4e3a\u4f60\u7684InputFormat\u9ed8\u8ba4\u662fTextInputFormat
MapReduce\u6570\u636e\u9884\u5904\u7406\uff0c\u4ece\u6570\u636e\u8fdb\u5165\u5230\u5904\u7406\u7a0b\u5e8f\u5230\u5904\u7406\u5b8c\u6210\u540e\u8f93\u51fa\u5230\u5b58\u50a8\u4e2d\uff0c\u6574\u4e2a\u8fc7\u7a0b\u5206\u4e3a\u5982\u4e0b 5 \u4e2a\u9636\u6bb5\uff1a
Input Split \u6216 Read \u6570\u636e\u9636\u6bb5
Input Split\uff0c\u662f\u4ece\u6570\u636e\u5206\u7247\u51fa\u53d1\uff0c\u628a\u6570\u636e\u8f93\u5165\u5230\u5904\u7406\u7a0b\u5e8f\u4e2d\u3002Read \u5219\u662f\u4ece\u5904\u7406\u7a0b\u5e8f\u51fa\u53d1\u53cd\u5411\u6765\u770b\uff0c\u628a\u6570\u636e\u4ece\u6587\u4ef6\u4e2d\u8bfb\u53d6\u5230\u5904\u7406\u7a0b\u5e8f\u4e2d\u6765\u3002\u8fd9\u4e2a\u9636\u6bb5\u8868\u8fbe\u7684\u662f\u6211\u4eec\u6570\u636e\u4ece\u54ea\u91cc\u6765\u3002\u8fd9\u662f\u6574\u4e2a\u8fc7\u7a0b\u7684\u5f00\u59cb\u3002
Map\u9636\u6bb5
\u5f53\u6570\u636e\u8f93\u5165\u8fdb\u6765\u4ee5\u540e\uff0c\u6211\u4eec\u8fdb\u884c\u7684\u662f map \u9636\u6bb5\u7684\u5904\u7406\u3002\u4f8b\u5982\u5bf9\u4e00\u884c\u7684\u5355\u8bcd\u8fdb\u884c\u5206\u5272\uff0c\u7136\u540e\u6bcf\u4e2a\u5355\u8bcd\u8fdb\u884c\u8ba1\u6570\u4e3a 1 \u8fdb\u884c\u8f93\u51fa\u3002
Shuffle \u9636\u6bb5
Shuffle \u9636\u6bb5\u662f\u6574\u4e2a MapReduce \u7684\u6838\u5fc3\uff0c\u4ecb\u4e8e Map \u9636\u6bb5\u8ddf Reduce \u9636\u6bb5\u4e4b\u95f4\u3002
Reduce \u9636\u6bb5
\u6570\u636e\u7ecf\u8fc7 Map \u9636\u6bb5\u5904\u7406\uff0c\u6570\u636e\u518d\u7ecf\u8fc7 Shuffle \u9636\u6bb5\uff0c\u6700\u540e\u5230 Reduce \uff0c\u76f8\u540c\u7684 key \u503c\u7684\u6570\u636e\u4f1a\u5230\u540c\u4e00\u4e2a Reduce \u4efb\u52a1\u4e2d\u8fdb\u884c\u6700\u540e\u7684\u6c47\u603b\u3002
Output \u9636\u6bb5
\u8fd9\u4e2a\u9636\u6bb5\u7684\u4e8b\u60c5\u5c31\u662f\u5c06 Reduce \u9636\u6bb5\u8ba1\u7b97\u597d\u7684\u7ed3\u679c\uff0c\u5b58\u50a8\u5230\u67d0\u4e2a\u5730\u65b9\u53bb\uff0c\u8fd9\u662f\u6574\u4e2a\u8fc7\u7a0b\u7684\u7ed3\u675f\u3002
随着Hadoop使用范围的不断扩大，人们已经清楚知道MapReduce不是所有计算的最佳框架。Hadoop 2将资源管理器YARN作为自己的顶级组件，为其他计算引擎的接入提供了可能性。如Impala等非MapReduce架构的引入，使平台具备了支持交互式SQL的能力。
今天，Apache Spark是另一种这样的替代，并且被称为是超越MapReduce的通用计算范例。也许您会好奇：MapReduce一直以来已经这么有用了，怎么能突然被取代看毕竟，还有很多ETL这样的工作需要在Hadoop上进行，即使该平台目前也已经拥有其他实时功能。
值得庆幸的是，在Spark上重新实现MapReduce一样的计算是完全可能的。它们可以被更简单的维护，而且在某些情况下更快速，这要归功于Spark优化了刷写数据到磁盘的过程。Spark重新实现MapReduce编程范式不过是回归本源。Spark模仿了Scala的函数式编程风格和API。而MapReduce的想法来自于函数式编程语言LISP。
尽管Spark的主要抽象是RDD（弹性分布式数据集），实现了Map，reduce等操作，但这些都不是Hadoop的Mapper或Reducer API的直接模拟。这些转变也往往成为开发者从Mapper和Reducer类平行迁移到Spark的绊脚石。
与Scala或Spark中经典函数语言实现的map和reduce函数相比，原有Hadoop提供的Mapper和Reducer API 更灵活也更复杂。这些区别对于习惯了MapReduce的开发者而言也许并不明显，下列行为是针对Hadoop的实现而不是MapReduce的抽象概念：
· Mapper和Reducer总是使用键值对作为输入输出。
· 每个Reducer按照Key对Value进行reduce。
· 每个Mapper和Reducer对于每组输入可能产生0个，1个或多个键值对。
· Mapper和Reducer可能产生任意的keys和values，而不局限于输入的子集和变换。
Mapper和Reducer对象的生命周期可能横跨多个map和reduce操作。它们支持setup和cleanup方法，在批量记录处理开始之前和结束之后被调用。
本文将简要展示怎样在Spark中重现以上过程，您将发现不需要逐字翻译Mapper和Reducer！
作为元组的键值对
假定我们需要计算大文本中每一行的长度，并且报告每个长度的行数。在HadoopMapReduce中，我们首先使用一个Mapper，生成为以行的长度作为key，1作为value的键值对。
public class LineLengthMapper extends
Mapper<LongWritable, Text, IntWritable, IntWritable> {
@Override
protected void map(LongWritable lineNumber, Text line, Context context)
throws IOException, InterruptedException {
context.write(new IntWritable(line.getLength()), new IntWritable(1));
}
}
值得注意的是Mappers和Reducers只对键值对进行操作。所以由TextInputFormat提供输入给LineLengthMapper，实际上也是以文本中位置为key（很少这么用，但是总是需要有东西作为Key），文本行为值的键值对。
与之对应的Spark实现：
lines.map(line => (line.length, 1))
Spark中，输入只是String构成的RDD，而不是key-value键值对。Spark中对key-value键值对的表示是一个Scala的元组，用(A，B)这样的语法来创建。上面的map操作的结果是(Int，Int)元组的RDD。当一个RDD包含很多元组，它获得了多个方法，如reduceByKey，这对再现MapReduce行为将是至关重要的。
Reduce
reduce()与reduceBykey()
统计行的长度的键值对，需要在Reducer中对每种长度作为key，计算其行数的总和作为value。
public class LineLengthReducer extends
Reducer<IntWritable, IntWritable, IntWritable, IntWritable> {
@Override
protected void reduce(IntWritable length, Iterable<IntWritable> counts,
Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable count : counts) {
sum += count.get();
}
context.write(length, new IntWritable(sum));
}
}
Spark中与上述Mapper，Reducer对应的实现只要一行代码：
val lengthCounts = lines.map(line => (line.length, 1)).reduceByKey(_ + _)
Spark的RDD API有个reduce方法，但是它会将所有key-value键值对reduce为单个value。这并不是Hadoop MapReduce的行为，Spark中与之对应的是ReduceByKey。
另外，Reducer的Reduce方法接收多值流，并产生0，1或多个结果。而reduceByKey，它接受的是一个将两个值转化为一个值的函数，在这里，就是把两个数字映射到它们的和的简单加法函数。此关联函数可以被调用者用来reduce多个值到一个值。与Reducer方法相比，他是一个根据Key来Reduce Value的更简单而更精确的API。
Mapper
map() 与 flatMap()
现在，考虑一个统计以大写字母开头的单词的个数的算法。对于每行输入文本，Mapper可能产生0个，1个或多个键值对。
public class CountUppercaseMapper extends
Mapper<LongWritable, Text, Text, IntWritable> {
@Override
protected void map(LongWritable lineNumber, Text line, Context context)
throws IOException, InterruptedException {
for (String word : line.toString().split(" ")) {
if (Character.isUpperCase(word.charAt(0))) {
context.write(new Text(word), new IntWritable(1));
}
}
}
}
Spark对应的写法：
lines.flatMap(
_.split(" ").filter(word => Character.isUpperCase(word(0))).map(word => (word,1))
)
简单的Spark map函数不适用于这种场景，因为map对于每个输入只能产生单个输出，但这个例子中一行需要产生多个输出。所以，和MapperAPI支持的相比，Spark的map函数语义更简单，应用范围更窄。
Spark的解决方案是首先将每行映射为一组输出值，这组值可能为空值或多值。随后会通过flatMap函数被扁平化。数组中的词会被过滤并被转化为函数中的元组。这个例子中，真正模仿Mapper行为的是flatMap，而不是map。
groupByKey()
写一个统计次数的reducer是简单的，在Spark中，reduceByKey可以被用来统计每个单词的总数。比如出于某种原因要求输出文件中每个单词都要显示为大写字母和其数量，在MapReduce中，实现如下：
public class CountUppercaseReducer extends
Reducer<Text, IntWritable, Text, IntWritable> {
@Override
protected void reduce(Text word, Iterable<IntWritable> counts, Context context)
throws IOException, InterruptedException {
int sum = 0;
for (IntWritable count : counts) {
sum += count.get();
}
context
.write(new Text(word.toString().toUpperCase()), new IntWritable(sum));
}
}
但是redeceByKey不能单独在Spark中工作，因为他保留了原来的key。为了在Spark中模拟，我们需要一些更像Reducer API的操作。我们知道Reducer的reduce方法接受一个key和一组值，然后完成一组转换。groupByKey和一个连续的map操作能够达到这样的目标:
groupByKey().map { case (word,ones) => (word.toUpperCase, ones.sum) }
groupByKey只是将某一个key的所有值收集在一起，并且不提供reduce功能。以此为基础，任何转换都可以作用在key和一系列值上。此处，将key转变为大写字母，将values直接求和。
setup()和cleanup()
在MapReduce中，Mapper和Reducer可以声明一个setup方法，在处理输入之前执行，来进行分配数据库连接等昂贵资源，同时可以用cleanup函数可以释放资源。
public class SetupCleanupMapper extends
Mapper<LongWritable, Text, Text, IntWritable> {
private Connection dbConnection;
@Override
protected void setup(Context context) {
dbConnection = ...;
}
...
@Override
protected void cleanup(Context context) {
dbConnection.close();
}
}
Spark中的map和flatMap方法每次只能在一个input上操作，而且没有提供在转换大批值前后执行代码的方法，看起来，似乎可以直接将setup和cleanup代码放在Sparkmap函数调用之前和之后：
val dbConnection = ...
lines.map(... dbConnection.createStatement(...) ...)
dbConnection.close() // Wrong!
然而这种方法却不可行，原因在于：
· 它将对象dbConnection放在map函数的闭包中，这需要他是可序列化的（比如，通过java.io.Serializable实现）。而数据库连接这种对象一般不能被序列化。
· map是一种转换，而不是操作，并且拖延执行。连接对象不能被及时关闭。
· 即便如此，它也只能关闭driver上的连接，而不是释放被序列化拷贝版本分配的资源连接。
事实上，map和flatMap都不是Spark中Mapper的最接近的对应函数，Spark中Mapper的最接近的对应函数是十分重要的mapPartitions()方法，这个方法能够不仅完成单值对单值的映射，也能完成一组值对另一组值的映射，很像一个批映射（bulkmap）方法。这意味着mapPartitions()方法能够在开始时从本地分配资源，并在批映射结束时释放资源。
添加setup方法是简单的，添加cleanup会更困难，这是由于检测转换完成仍然是困难的。例如，这样是能工作的：
lines.mapPartitions { valueIterator =>
val dbConnection = ... // OK
val transformedIterator = valueIterator.map(... dbConnection ...)
dbConnection.close() // Still wrong! May not have evaluated iterator
transformedIterator
}
一个完整的范式应该看起来类似于：
lines.mapPartitions { valueIterator =>
if (valueIterator.isEmpty) {
Iterator[...]()
} else {
val dbConnection = ...
valueIterator.map { item =>
val transformedItem = ...
if (!valueIterator.hasNext) {
dbConnection.close()
}
transformedItem
}
}
}
虽然后者代码翻译注定不如前者优雅，但它确实能够完成工作。
flatMapPartitions方法并不存在，然而，可以通过调用mapPartitions，后面跟一个flatMap(a= > a)的调用达到同样效果。
带有setup和cleanup的Reducer对应只需仿照上述代码使用groupByKey后面跟一个mapPartition函数。
别急，等一下，还有更多
MapReduce的开发者会指出，还有更多的还没有被提及的API：
· MapReduce支持一种特殊类型的Reducer，也称为Combiner，可以从Mapper中减少洗牌(shuffled)数据大小。
· 它还支持同通过Partitioner实现的自定义分区，和通过分组Comparator实现的自定义分组。
· Context对象授予Counter API的访问权限以及它的累积统计。
· Reducer在其生命周期内一直能看到已排序好的key 。
· MapReduce有自己的Writable序列化方案。
· Mapper和Reducer可以一次发射多组输出。
· MapReduce有几十个调优参数。
有很多方法可以在Spark中实现这些方案，使用类似Accumulator的API，类似groupBy和在不同的这些方法中加入partitioner参数的方法，Java或Kryo序列化，缓存和更多。由于篇幅限制，在这篇文章中就不再累赘介绍了。
需要指出的是，MapReduce的概念仍然有用。只不过现在有了一个更强大的实现，并利用函数式语言，更好地匹配其功能性。理解Spark RDD API和原来的Mapper和ReducerAPI之间的差异，可以帮助开发者更好地理解所有这些函数的工作原理，以及理解如何利用Spark发挥其优势。
可以只用一行代码来运行MapReduce作业：JobClient.runJon(conf)，Job作业运行时参与的四个实体：
1.JobClient 写代码，配置作业，提交作业。
2.JobTracker:初始化作业，分配作业，协调作业运行。这是一个java程序，主类是JobTracker。
3.TaskTracker：运行作业划分后的任务，即分配数据分配上执行Map或Reduce任务。
4.HDFS：保存作业数据、配置信息等，保存作业结果。
Map/Reduce 作业总体执行流程：
代码编写 ----> 作业配置 ----> 作业提交 ----> Map任务分配和执行 ----> 处理中间结果 ----> Reduce任务分配与执行 ----> 输出结果
而对于每个作业的执行，又包含：
输入准备 ----> 任务执行 ----> 输出结果
作业提交JobClient：
JobClient的runJob方法产生一个Jobclient实例并调用其submitJob方法，然后runJob开始循环吗，并在循环中调用getTaskCompetionEvents方法，获得TaskCompletionEvent实例，每秒轮询作业进度（后面有介绍进度和状态更新），把进度写到控制台，作业完成后显示作业计数器，若失败，则把错误记录到控制台。
submitJob方法作业提交的过程：
1.向JobTracker请求一个新的JobId。
2.检查作业相关路径，如果路径不正确就会返回错误。
3.计算作业输入分片及其划分信息。
4.将作业运行需要的资源（jar文件、配置文件等）复制到Shared HDFS，并
复制多个副本（参数控制，默认值为10）供tasktracker访问，也会将计算的分片复制到HDFS。
5.调用JobTracker对象的submitJob()方法来真正提交作业，告诉JobTracker作业准备执行。
作业的初始化JobTracker：
JobTracker收到submitJob方法调用后，会把调用放入到一个内部队列，由作业调度器（Job scheduler）进行调度并对其初始化。Job初始化即创建一个作业对象。
当作业被调度后，JobTracker会创建一个代表这个作业的JobInProgress对象，并将任务和记录信息封装在这个对象中，以便跟踪任务状态和进程。
初始化过程就是JobInProgress对象的initTasks方法进行初始化的。
初始化步骤：
1.从HDFS中读取作业对应的job.split信息，为后面的初始化做好准备。
2.创建并初始化map和reduce任务。根据数据分片信息中的个数确定map task的个数，然后为每个map task生成一个TaskInProgress对象来处理数据分片，先将其放入nonRunningMapCache,以便JobTracker分配任务的时候使用。接下来根据JobConf中的mapred.reduce.tasks属性利用setNumReduceTasks()方法设置reduce task的数量，然后同map task创建方式。
3.最后就是创建两个初始化task，进行map和reduce的初始化。
任务的分配JobTracker：
消息传递HeartBeat： tasktracker运行一个简单循环定期发送心跳（heartbeat）给JobTracker。由心跳告知JobTracker自己是否存活，同时作为消息通道传递其它信息（请求新task）。作为心跳的一部分，tasktracker会指明自己是否已准备好运行新的任务，如果是，jobtracker会分配它一个任务。
分配任务所属于的作业：在Jobtracker分配任务前需先确定任务所在的作业。后面会介绍到各种作业调度算法，默认是一个FIFO的作业调度。
分配Map和Reduce任务：tasktracker有固定数量的任务槽,一个tasktracker可以同时运行多个Map和Reduce任务，但其准确的数量由tasktracker的核的数量和内存大小决定。默认调度器会先填满Map任务槽，再填Reduce任务槽。jobtracker会选择距离离分片文件最近的tasktracker，最理想情况下，任务是数据本地化（data-local）的,当然也可以是机架本地化（rack-local），如果不是本地化的，那么他们就需要从其他机架上检索数据。Reduce任务分配很简单，jobtracker会简单的从待运行的reduce任务列表中选取下一个来执行，不用考虑数据本地化。
任务的执行TaskTracker：
TaskTracker收到新任务后，就要在本地运行任务了，运行任务的第一步就是通过localizedJob将任务本地化所需要的注入配置、数据、程序等信息进行本地化。
1.本地化数据：从共享文件系统将job.split 、job.jar (在分布式缓存中)复制本地，将job配置信息写入job.xml。
2.新建本地工作目录：tasktracker会加压job.jar文件到本工作目录。
3.调用launchTaskForJob方法发布任务（其中会新建TaskRunner实例运行任务），如果是Map任务就启用MapTaskRunner，对于Reduce就是ReduceTaskRunner。
在这之后，TaskRunner会启用一个新的JVM来运行每个Map/Reduce任务，防止程序原因而导致tasktracker崩溃，但不同任务间重用JVM还是可以的，后续会讲到任务JVM重用。
对于单个Map，任务执行的简单流程是：
1.分配任务执行参数
2.在Child临时文件中添加map任务信息（Child是运行Map和Reduce任务的主进程）
3.配置log文件夹，配置map任务的通信和输出参数
4.读取input split，生成RecordReader读取数据
5.为Map生成MapRunnable,依次从RecordReader中接收数据，并调用Map函数进行处理。
6.最后将map函数的输出调用collect收集到MapOutputBuffer（参数控制其大小）中。
Streaming和Pipes:
Streaming和Pipes都运行特殊的Map和Reduce任务，目的是运行用户提供的可执行程序并与之通信。
Streaming:使用标准输入输出Streaming与进程进行通信。
Pipes:用来监听套接字，会发送一个端口号给C++程序，两者便可建立链接。
进度和状态更新：
一个作业和它的任务都有状态（status），其中包括：运行成功失败状态、Map/Reduce进度、作业计数器值、状态消息。
状态消息与客户端的通信：
1.对于Map任务Progress的追踪：progress是已经处理完的输入所占的比例。
2.对于Reduce：稍复杂，reduce任务分三个阶段（每个阶段占1/3），复制、排序和Reduce处理，若reduce已执行一半的输入的话，那么任务进度便是1/3+1/3+1/6=5/6。
3.任务计数器：任务有一组计数器，负责对任务运行各个事件进行计数。
4.任务进度报告：如果任务报告了进度，便会设置一个标记以表明状态将被发送到tasktracker。有一个独立线程每隔三秒检查一次此标记，如果已设置，则告知tasktracker当前状态。
5.tasktracker进度报告：tasktracker会每隔5秒（这个心跳是由集群大小决定，集群越大时间会越长）发送heartbeat到jobtracker，并且tasktracker运行的所有状态都会在调用中被发送到jobtracker。
6.jobtracker合并各任务报告：产生一个表明所有运行作业机器所含任务状态的全局视图。
前面提到的JobClient就是通过每秒查询JobTracker来接收最新状态，而且客户端JobClient的getJob方法可以得到一个RunningJob的实例，其包含了作业的所以状态信息。
作业的完成：
当jobtracker收到作业最后一个任务已完成的通知后，便把作业状态设置成成功。JobClient查询状态时，便知道任务已成功完成，于是JobClient打印一条消息告知用户，然后从runJob方法返回。
如果jobtracker有相应设置，也会发送一个Http作业通知给客户端，希望收到回调指令的客户端可以通过job.end.notification.url属性来进行设置。
jobtracker情况作业的工作状态，指示tasktracker也清空作业的工作状态，如删除中间输出。
失败
实际情况下，用户的代码存在软件错误进程会崩溃，机器也会产生故障，但Hadoop能很好的应对这些故障并完成作业。
1.任务失败
子任务异常：如Map/Reduce任务中的用户代码抛出异常，子任务JVM进程会在退出前向父进程tasktracker发送错误报告，错误被记录用户日志。tasktracker会将此次task attempt标记为tailed，并释放这个任务槽运行另外一个任务。
子进程JVM突然退出：可能由于JVM bug导致用户代码造成的某些特殊原因导致JVM退出，这种情况下，tasktracker会注意到进程已经退出，并将此次尝试标记为failed。
任务挂起：一旦tasktracker注意一段时间没有收到进度更新，便会将任务标记为failed，JVM子进程将被自动杀死。任务失败间隔时间通常为10分钟，可以以作业或者集群为基础设置过期时间，参数为mapred.task.timeout。注意：如果参数值设置为0，则挂起的任务永远不会释放掉它的任务槽，随着时间的推移会降低整个集群的效率。
任务失败尝试次数：jobtracker得知一个tasktracker失败后，它会重新调度该任务执行，当然，jobtracker会尝试避免重新调度失败过的tasktracker任务。如果一个任务尝试次数超过4次，它将不再被重试。这个值是可以设置的，对于Map任务，参数是mapred.map.max.attempts,对于reduce任务，则由mapred.reduce.max.attempts属性控制。如果次数超过限制，整个作业都会失败。当然，有时我们不希望少数几个任务失败就终止运行的整个作业，因为即使有些任务失败，作业的一些结果可能还是有用的，这种情况下，可以为作业设置在不触发作业失败情况下的允许任务失败的最大百分比，Map任务和Reduce任务可以独立控制，参数为mapred.max.map.failures.percent 和mapred.max.reduce.failures.percent。
任务尝试中止（kill）：任务终止和任务失败不同，task attempt可以中止是因为他是一个推测副本或因为它所处的tasktracker失败，导致jobtracker将它上面的所有task attempt标记为killed。被终止的task attempt不会被计入任务运行尝试次数，因为尝试中止并不是任务的错。
2.tasktracker失败
tasktracker由于崩溃或者运行过慢而失败，他将停止向jobtracker发送心跳（或很少发送心跳）。jobtracker注意已停止发送心跳的tasktracker（过期时间由参数mapred.tasktracker.expiry.interval设置，单位毫秒），并将它从等待调度的tasktracker池中移除。如果是未完成的作业，jobtracker会安排次tasktracker上已经运行成功的Map任务重新运行，因为此时reduce任务已无法访问（中间输出存放在失败的tasktracker的本地文件系统上）。
即使tasktracker没有失败，也有可能被jobtracker列入黑名单。如果tasktracker上面的失败任务数量远远高于集群的平均失败任务次数，他就会被列入黑名单，被列入黑名单的tasktracker可以通过重启从jobtracker黑名单中移除。
3.jobtracker失败
老版本的JobTracker失败属于单点故障，这种情况下作业注定失败。
作业调度：
早期作业调度FIFO：按作业提交顺序先进先出。可以设置优先级，通过设置mapred.job.priority属性或者JobClient的setJobPriority()方法制定优先级（优先级别：VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW）。注意FIFO调度算法不支持抢占（preemption）,所以高优先级作业仍然会被那些已经开始的长时间运行的低优先级作业所阻塞。
Fair Scheduler：目标是让每个用户公平地共享集群能力。当集群存在很多作业时，空闲的任务槽会以”让每个用户共享集群“的方式进行分配。默认每个用户都有自己的作业池。FairScheduler支持抢占，所以，如果一个池在特定的一段时间未得到公平地资源共享，它会终止池中得到过多的资源任务，以便把任务槽让给资源不足的池。FairScheduler是一个后续模块，使用它需要将其jar文件放在Hadoop的类路径下。可以通过参数map.red.jobtracker.taskScheduler属性配置（值为org.apache.hadoop.mapred.FairScheduler）
Capacity Scheduler：
集群由很多队列组成，每个队列都有一个分配能力，这一点与FairScheduler类似，只不过在每个队列内部，作业根据FIFO方式进行调度。本质上说，Capacity Scheduler允许用户或组织为每个用户模拟一个独立使用FIFO的集群。
shuffle和排序：
MapReduce确保每个Reducer的输入都是按键排序的。系统执行排序的过程-将map输出作为输入传给reducer的过程称为shuffle。shuffle属于不断被优化和改进的代码库的一部分，从许多方面来看，shuffle是MapReduce的心脏。
整个shuffle的流程应该是这样：
map结果划分partition 排序sort 分割spill 合并同一划分 合并同一划分 合并结果排序 reduce处理 输出
Map端：
写入缓冲区：Map函数的输出，是由collector处理的，它并不是简单的将结果写到磁盘。它利用缓冲的方式写到内存，并处于效率的考虑进行预排序。每个map都有一个环形的内存缓冲区，用于任务输出，默认缓冲区大小为100MB（由参数io.sort.mb调整），一旦缓冲区内容达到阈值（默认0.8），后台进程边开始把内容写到磁盘（spill），在写磁盘过程中，map输出继续被写到缓冲区，但如果缓冲区被填满，map会阻塞知道写磁盘过程完成。写磁盘将按照轮询方式写到mapred.local.dir属性制定的作业特定子目录中。
写出缓冲区：collect将缓冲区的内容写出时，会调用sortAndSpill函数，这个函数作用主要是创建spill文件，按照key值对数据进行排序，按照划分将数据写入文件，如果配置了combiner类，会先调用combineAndSpill函数再写文件。sortAndSpill每被调用一次，就会写一个spill文件。
合并所有Map的spill文件：TaskTracker会在每个map任务结束后对所有map产生的spill文件进行merge，merge规则是根据分区将各个spill文件中数据同一分区中的数据合并在一起，并写入到一个已分区且排序的map输出文件中。待唯一的已分区且已排序的map输出文件写入最后一条记录后，map端的shuffle阶段就结束了。
在写磁盘前，线程首先根据数据最终要传递到的reducer把数据划分成响应的分区（partition），在每个分区中，后台线程按键进行内排序，如果有一个combiner,它会在排序后的输出上运行。
内存达到溢出写的阈值时，就会新建一个溢出写文件，因为map任务完成其最后一个输出记录之后，会有几个溢出写文件。在任务完成前，溢出写文件会被合并成一个已分区且已排序的输出文件。配置属性io.sort.facor控制一次最多能合并多少流，默认值是10。
如果已经指定combiner,并且写次数至少为3（通过min.mum.spills.for.combine设置）时，则combiner就会在输出文件写到磁盘之前运行。运行combiner的意义在于使map输出更紧凑，舍得写到本地磁盘和传给reducer的数据更少。
写磁盘时压缩：写磁盘时压缩会让写的速度更快，节约磁盘空间，并且减少传给reducer的数据量。默认情况下，输出是不压缩的，但可以通过设置mapred.compress.map.output值为true，就可以启用压缩。使用的压缩库是由mapred.map.output.compression.codec制定。
reducer获得文件分区的工作线程：reducer通过http方式得到输出文件的分区，用于文件分区的工作线程数量由tracker.http.threads属性指定，此设置针对的是每个tasktracker，而不是每个map任务槽。默认值为40，在大型集群上此值可以根据需要而增加。
Reduce端：
复制阶段：reduce会定期向JobTracker获取map的输出位置，一旦拿到输出位置，reduce就会从对应的TaskTracker上复制map输出到本地（如果map输出很小，则会被复制到TaskTracker节点的内存中，否则会被让如磁盘），而不会等到所有map任务结束（当然这个也有参数控制）。
合并阶段：从各个TaskTracker上复制的map输出文件（无论在磁盘还是内存）进行整合，并维持数据原来的顺序。
Reduce阶段：从合并的文件中顺序拿出一条数据进行reduce函数处理，然后将结果输出到本地HDFS。
Map的输出文件位于运行map任务的tasktracker的本地磁盘，现在，tasktracker要为分区文件运行reduce任务。每个任务完成时间可能不同，但是只要有一个任务完成，reduce任务就开始复制其输出，这就是reduce任务的复制阶段（copy phase）。reduce任务有少量复制线程，因此能够并行取得map输出。默认值是5个线程，可以通过mapred.reduce.parallel.copies属性设置。
Reducer如何得知从哪个tasktracker获得map输出：map任务完成后会通知其父tasktracker状态已更新，tasktracker进而通知（通过heart beat）jobtracker。因此，JobTracker就知道map输出和tasktracker之间的映射关系，reducer中的一个线程定期询问jobtracker以便获知map输出位置。由于reducer有可能失败，因此tasktracker并没有在第一个reducer检索到map输出时就立即从磁盘上删除它们，相反他会等待jobtracker告示它可以删除map输出时才删除，这是作业完成后最后执行的。
如果map输出很小，则会被直接复制到reduce tasktracker的内存缓冲区（大小由mapred.job.shuffle.input.buffer.percent控制，占堆空间的百分比），否则，map输出被复制到磁盘。一旦内存缓冲区达到阈值大小（由mapred.iob.shuffle.merge.percent）
或达到map输出阈值大小（mapred.inmem.threadhold），则合并后溢出写到磁盘中。
随着磁盘上副本增多，后台线程会将他们合并为更大的、排好序的文件。注意：为了合并，压缩的map输出必须在内存中被解压缩。
排序阶段：复制阶段完成后，reduce任务会进入排序阶段，更确切的说是合并阶段，这个阶段将合并map输出，维持其顺序排列。合并是循环进行的，由合并因子决定每次合并的输出文件数量。但让有可能会产生中间文件。
reduce阶段：在最后reduce阶段，会直接把排序好的文件输入reduce函数，不会对中间文件进行再合并，最后的合并即可来自内存，也可来自磁盘。此阶段的输出会直接写到文件系统，一般为hdfs。
细节：这里合并是并非平均合并，比如有40个文件，合并因子为10，我们并不是每趟合并10个，合并四趟。而是第一趟合并4个，后三趟合并10，在最后一趟中4个已合并的文件和余下6个未合并会直接并入reduce。
绛旓細鍦MapReduce妯″瀷缂栫▼涓紝杩愮畻姝ラ涓嶅寘鎷疄鏃朵氦浜掑鐞嗐侻apReduce鏄竴绉嶇紪绋嬫ā鍨嬶紝鐢ㄤ簬澶勭悊鍜岀敓鎴愬ぇ鏁版嵁闆嗭紝瀹冩槸鎵归噺澶勭悊鐨勪唬琛紝鑰岄潪瀹炴椂璁＄畻銆侻apReduce鐨勫悕绉版潵鑷簬涓や釜涓昏鐨勫嚱鏁帮細Map鍑芥暟鍜孯educe鍑芥暟銆傝繖涓や釜鍑芥暟鐢辩敤鎴峰畾涔夛紝骞剁敤浜庡鐞嗚緭鍏ョ殑鏁版嵁闆嗐侻ap鍑芥暟璐熻矗鎺ユ敹杈撳叆鏁版嵁锛屽苟灏嗗叾杞崲涓轰竴绯诲垪鐨勯敭鍊...
绛旓細锛(Partition)鍒嗗尯鍑虹幇鐨勫繀瑕佹э紝濡備綍浣跨敤Hadoop浜х敓涓涓叏灞鎺掑簭鐨勬枃浠讹紵鏈绠鍗曠殑鏂规硶灏辨槸浣跨敤涓涓垎鍖猴紝浣嗘槸璇ユ柟娉曞湪澶勭悊澶у瀷鏂囦欢鏃舵晥鐜囨瀬浣庯紝鍥犱负涓鍙版満鍣ㄥ繀椤诲鐞嗘墍鏈夎緭鍑烘枃浠讹紝浠庤屽畬鍏ㄤ抚澶变簡MapReduce鎵鎻愪緵鐨勫苟琛屾灦鏋勭殑浼樺娍銆
绛旓細鐢╬air銆傛柊寤轰竴涓疄鐜版帓搴忔帴鍙ritableComparable鐨刾air绫伙紝灏嗘瘡涓敭鍊肩粍鎴恜air锛岀劧鍚庢帓搴忓嵆鍙俷ew pair(a,4);new pair(b,5);...鍏蜂綋鍙互鍙傝冣渉ttp:// blog.csdn.net/ shallowgrave/ article/details/7784812"
绛旓細鎶夾浣滀负map杈撳嚭鐨刱ey锛寁alue涓鸿嚜宸卞疄鐜扮殑绫讳技vectorwritable鐨勭被瀛 a c reduce鏃跺欐湁sum1锛宻um2鈥︹umN鍒嗗埆涓簐ectorwritable鐩稿悓index鐨勫拰锛屾渶鍚庡悇闄alues.size reduce鐨勮緭鍑簐alue涔熶负v e c to r w ri ta b le ...
绛旓細Spark鐨瑙ｅ喅鏂规鏄鍏堝皢姣忚鏄犲皠涓轰竴缁勮緭鍑哄硷紝杩欑粍鍊煎彲鑳戒负绌哄兼垨澶氬笺傞殢鍚庝細閫氳繃flatMap鍑芥暟琚墎骞冲寲銆傛暟缁勪腑鐨勮瘝浼氳杩囨护骞惰杞寲涓哄嚱鏁颁腑鐨勫厓缁勩傝繖涓緥瀛愪腑锛岀湡姝ｆā浠縈apper琛屼负鐨勬槸flatMap锛岃屼笉鏄map銆俫roupByKey()鍐欎竴涓粺璁℃鏁扮殑reducer鏄畝鍗曠殑锛屽湪Spark涓紝reduceByKey鍙互琚敤鏉ョ粺璁℃瘡涓...
绛旓細鍦ㄦ湰鏂囦腑鐭╅樀鐢ㄦ枩浣撳ぇ鍐欏瓧姣嶈〃绀猴紙濡傦細R锛夛紝鏍囬噺鐢ㄥ皬鍐欏瓧姣嶈〃绀猴紙濡傦細i锛宩锛夈傜粰瀹氫竴涓煩闃礡锛 Rij琛ㄧず瀹冪殑涓涓厓绱狅紝Ri.琛ㄧず鐭╅樀R鐨勭i琛岋紝R.j琛ㄧず鐭╅樀R鐨勭j鍒楋紝RT 琛ㄧず鐭╅樀R鐨勮浆缃俁-1 琛ㄧず鐭╅樀R鐨勯嗐傚湪鏈枃涓粰瀹氱殑鐭╅樀R琛ㄧず鍏锋湁m涓敤鎴 ...
绛旓細鏄疢apReduce鏂瑰紡銆傚湪Spark妗嗘灦涓紝RDD鐨勮绠閲囩敤MapReduce妯″紡鏉ュ疄鐜般備竴鑸潵璇达紝Spark鐨凪ap鎿嶄綔浼氬皢璁＄畻浠诲姟鍒嗚В鎴愪笉鍚岀殑宸ヤ綔鍗曞厓锛岃孯educe鎿嶄綔鍒欐槸灏嗚繖浜涘伐浣滃崟鍏冪殑缁撴灉姹囨昏捣鏉ュ緱鍒版渶缁堢殑缁撴灉銆傚湪Spark妗嗘灦涓紝RDD鐨勮绠楁ā寮忛噰鐢ㄤ簡鍒嗗竷寮忚绠楁ā鍨婱apReduce鐨勬柟寮忔潵瀹炵幇銆傝繖绉嶆柟寮忓彲浠ュ湪澶氫釜璁＄畻鑺傜偣涔嬮棿瀹炵幇...
绛旓細瑕佺悊瑙ｆ湰绔狅紝瑕佸厛鐪嬫噦绾挎ф渶灏忎簩涔樿繖绡囨枃绔犮傛垜浠煡閬撳湪瑙ｇ嚎鎬ф渶灏忎簩涔橀棶棰樻椂锛屾垜浠凡鐭ョ殑鍑嗗宸ヤ綔鏄暟鎹泦锛堣缁冮泦锛夛紝鍖呭惈M涓偣锛屽嵆锛氬叾涓細銆傝屾垜浠渶鍚庤鐨勭粨鏋滄槸銆傛垜浠槸閫氳繃涓嬮潰鐨勫紡瀛愭眰鐨勶細
绛旓細MapReduce鍒嗗竷寮忚绠楁鏋跺師鍨嬶細MapReduce鍒嗗竷寮忚绠楁ā鍨嬫槸鐢盙oogle鎻愬嚭锛屼富瑕佺敤浜庢悳绱㈤鍩燂紝瑙ｅ喅娴烽噺鏁版嵁鐨勮绠楅棶棰楢pache瀵瑰叾鍋氫簡寮婧愬疄鐜帮紝鏁村悎鍦╤adoop涓疄鐜伴氱敤鍒嗗竷寮忔暟鎹绠椼侻R鐢变袱涓樁娈电粍鎴愶細Map鍜孯educe锛岀敤鎴峰彧闇瑕佸疄鐜癿ap锛堬級鍜宺educe锛堬級涓や釜鍑芥暟锛屽嵆鍙疄鐜板垎甯冨紡璁＄畻锛岄潪甯哥畝鍗曘傚ぇ澶х畝鍖栦簡鍒嗗竷寮忓苟鍙...
绛旓細濡傛灉绗笁鏂归厤缃枃浠朵笉鏄壒鍒ぇ锛堝嚑鐧綧浠ヤ笂锛夛紝鍒欏彲浠浣跨敤DistributeCache銆傚鏋滅涓夋柟閰嶇疆鏂囦欢姣旇緝澶э紝鍒欓渶瑕佸湪MapReduce涓疄鐜癹oin鏉ュ仛銆傚叧浜 DistributeCache鐨勭敤娉曪紝璇锋悳绱⑩mapreduce DistributeCache鈥濄傚叧浜庡湪MapReduce涓疄鐜颁袱涓枃浠剁殑join锛岃鎼滅储"mapreduce瀹炵幇join"銆傛垜鍙兘璇村埌杩欎簡銆
