MapReduce & YARN 的部署

2023-09-17 16:25:23

1、部署说明

Hadoop HDFS分布式文件系统，我们会启动：

  • NameNode进程作为管理节点
  • DataNode进程作为工作节点
  • SecondaryNamenode作为辅助
    在这里插入图片描述
    同理，Hadoop YARN分布式资源调度，会启动：
  • ResourceManager进程作为管理节点
  • NodeManager进程作为工作节点
  • ProxyServer、JobHistoryServer这两个辅助节点
    在这里插入图片描述

MapReduce运行在YARN容器内，无需启动独立进程。

所以关于MapReduce和YARN的部署，其实就是2件事情：

  • 关于MapReduce： 修改相关配置文件，但是没有进程可以启动。
  • 关于YARN： 修改相关配置文件， 并启动ResourceManager、NodeManager进程以及辅助进程（代理服务器、历史服务器）。

在这里插入图片描述

2、部署

2.1、MapReduce配置文件

2.1.1、配置mapred-env.sh文件

在 $HADOOP_HOME/etc/hadoop 文件夹内，修改mapred-env.sh文件

vim mapred-env.sh

在这里插入图片描述

添加如下环境变量

## 设置jdk路径
export JAVA_HOME=/export/server/jdk
## 设置JobHistoryServer进程内存为1G
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
## 设置日志级别为INF
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

2.1.2、配置mapred-site.xml文件

mapred-site.xml文件，添加如下配置信息

vim mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>bigdatanode1:10020</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>bigdatanode1:19888</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description></description>
  </property>
	<property>
	  <name>yarn.app.mapreduce.am.env</name>
	  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>
	<property>
	  <name>mapreduce.map.env</name>
	  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>
	<property>
	  <name>mapreduce.reduce.env</name>
	  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>
</configuration>

2.2、YARN配置文件

2.2.1、配置yarn-env.sh文件

在 $HADOOP_HOME/etc/hadoop 文件夹内，修改：
yarn-env.sh文件

vim yarn-env.sh

yarn-env.sh文件，添加如下4行环境变量内容：

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

2.2.2、配置yarn-site.xml文件

yarn-site.xml文件，配置如下

<property>
    <name>yarn.log.server.url</name>
    <value>http://bigdatanode1:19888/jobhistory/logs</value>
    <description></description>
</property>

  <property>
    <name>yarn.web-proxy.address</name>
    <value>bigdatanode1:8089</value>
    <description>proxy server hostname and port</description>
  </property>


  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>

  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>
  
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdatanode1</value>
    <description></description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description></description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>



  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Shuffle service that needs to be set for Map Reduce applications.</description>
  </property>

2.3、分发到node2，node3节点

MapReduce和YARN的配置文件修改好后，需要分发到其它的服务器节点中。

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml bigdatanode2:`pwd`/

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml bigdatanode3:`pwd`/

在这里插入图片描述

查看其他节点是否分发成功
在这里插入图片描述

2.4、集群启动命令介绍

2.4.1、介绍

常用的进程启动命令如下：

  • 一键启动YARN集群： $HADOOP_HOME/sbin/start-yarn.sh

    • 会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager
    • 会基于workers文件配置的主机启动NodeManager

  • 一键停止YARN集群： $HADOOP_HOME/sbin/stop-yarn.sh

  • 在当前机器，单独启动或停止进程

    • $HADOOP_HOME/bin/yarn --daemon start|stop resourcemanager|nodemanager|proxyserver
    • start和stop决定启动和停止
    • 可控制resourcemanager、nodemanager、proxyserver三种进程

  • 历史服务器启动和停止

    • $HADOOP_HOME/bin/mapred --daemon start|stop historyserver

2.4.2、启动

在node1服务器，以hadoop用户执行

  • 首先执行
start-yarn.sh

在这里插入图片描述

  • 其次执行
mapred --daemon start historyserver

在这里插入图片描述

  • 一键停止
stop-yarn.sh

2.4.3、查看YARN的WEB UI页面

打开 http://bigdatanode1:8088 即可看到YARN集群的监控页面（ResourceManager的WEB UI）
在这里插入图片描述

3、提交MapReduce任务到YARN执行

3.1、提交MapReduce程序至YARN运行

在部署并成功启动YARN集群后，我们就可以在YARN上运行各类应用程序了。

YARN作为资源调度管控框架，其本身提供资源供许多程序运行，常见的有：

  • MapReduce程序
  • Spark程序
  • Flink程序

Hadoop官方内置了一些预置的MapReduce程序代码，我们无需编程，只需要通过命令即可使用。

常用的有2个MapReduce内置程序：

  • wordcount：单词计数程序。
    统计指定文件内各个单词出现的次数。
  • pi：求圆周率
    通过蒙特卡罗算法（统计模拟法）求圆周率。

这些内置的示例MapReduce程序代码，都在：
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar 这个文件内。

可以通过 hadoop jar 命令来运行它，提交MapReduce程序到YARN中。

语法： hadoop jar 程序文件 java类名 [程序参数] … [程序参数]

3.2、提交wordcount示例程序

3.2.1、单词计数示例程序

单词计数示例程序的功能很简单：

  • 给定数据输入的路径（HDFS）、给定结果输出的路径（HDFS）
  • 将输入路径内的数据中的单词进行计数，将结果写到输出路径

我们可以准备一份数据文件，并上传到HDFS中。

  • 创建两个文件夹
 hdfs dfs -mkdir -p /input/wordcount

hdfs dfs -mkdir -p /output

在这里插入图片描述

  • 创建一个文件，输入一些内容
vim words.txt

在这里插入图片描述

  • 上传到/input/wordcount/
hdfs dfs -put words.txt /input/wordcount/

在这里插入图片描述

  • 执行如下命令，提交示例MapReduce程序WordCount到YARN中执行
hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://bigdatanode1:8020/input/wordcount/ hdfs://bigdatanode1:8020/output/wc

在这里插入图片描述

  • 执行完成后，可以查看HDFS上的输出结果
    在这里插入图片描述
hdfs dfs -cat /output/wc/part-r-00000

在这里插入图片描述

  • _SUCCESS文件是标记文件，表示运行成功，本身是空文件
  • part-r-00000，是结果文件，结果存储在以part开头的文件中

3.2.2、查看运行日志

此功能基于：

  1. 配置文件中配置了日志聚合功能，并设置了历史服务器
    在这里插入图片描述
  2. 启动了代理服务器和历史服务器
  3. 历史服务器进程会将日志收集整理，形成可以查看的网页内容供我们查看。

在这里插入图片描述
在这里插入图片描述

3.2.3、提交求圆周率示例程序

可以执行如下命令，使用蒙特卡罗算法模拟计算求PI（圆周率）

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 3 1000
  • 参数pi表示要运行的Java类，这里表示运行jar包中的求pi程序
  • 参数3，表示设置几个map任务
  • 参数1000，表示模拟求PI的样本数（越大求的PI越准确，但是速度越慢）

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.3、蒙特卡罗算法求PI的基础原理

Monte Carlo蒙特卡罗算法（统计模拟法）

Monte Carlo算法的基本思想是： 以模拟的”实验”形式、以大量随机样本的统计形式，来得到问题的求解。
比如，求圆周率，以数学的方式是非常复杂的，但是我们可以以简单的形式去求解：
在这里插入图片描述

示例代码

import java.util.Random;  
  
public class MonteCarloPi {  
    public static void main(String[] args) {  
        int totalPoints = 1000000; // 总共投点次数  
        int insidePoints = 0; // 落在圆内的点数  
  
        Random rand = new Random();  
  
        for (int i = 0; i < totalPoints; i++) {  
            // 在-1到1之间随机生成x, y值  
            double x = 2.0 * rand.nextDouble() - 1.0;  
            double y = 2.0 * rand.nextDouble() - 1.0;  
              
            // 判断该点是否在单位圆内（圆心在(0, 0)，半径为1）  
            if (x * x + y * y <= 1.0) {  
                insidePoints++;  
            }  
        }  
  
        // 使用蒙特卡罗方法估算π的值，公式来源于圆的面积公式πr^2，这里r=1，所以π=4*(圆内点数/总点数)  
        double piEstimate = 4.0 * insidePoints / totalPoints;  
        System.out.println("π的估计值为: " + piEstimate);  
    }  
}

结束！！！！！！！
hy:37

						人最大的痛苦，就是无法跨越“知道”和“做到”的鸿沟。
更多推荐

华为分布式新核心全面升级金融级PaaS能力：数字化时代“分工”再深化

文|螳螂观察作者|李永华金融领域一向是数字化转型升级最难啃的硬骨头，无数厂商在此深耕，但由于行业数字化需求复杂而艰深，实现深入突破的并不多，尤其是在关系到账户数据的核心系统方面，有所建树的少之又少。去年11月HC大会期间华为联合业界发布了《现代化金融核心系统白皮书》，今年HC期间，华为数字金融军团CEO曹冲在演讲中指出

刷刷刷——滑动窗口

文章目录209.长度最小的子数组（中等）题目链接算法原理代码实现3.无重复字符的最长子串（中等）题目链接算法原理代码实现1004.最大连续1的个数III（中等）题目链接算法原理代码实现1658.将x减到0的最小操作数（中等）题目链接算法原理代码实现904.水果成篮（中等）题目链接算法原理代码实现438.找到字符串中所有

Docker

1.初识Docker1.1.什么是Docker微服务虽然具备各种各样的优势，但服务的拆分通用给部署带来了很大的麻烦。分布式系统中，依赖的组件非常多，不同组件之间部署时往往会产生一些冲突。在数百上千台服务中重复部署，环境不一定一致，会遇到各种问题1.1.1.应用部署的环境问题大型项目组件较多，运行环境也较为复杂，部署时会

Learn Prompt-人工智能基础

什么是人工智能？很多人能举出很多例子说这就是人工智能，但是让我们给它定义一个概念大家又觉得很难描述的清楚。实际上，人工智能并不是计算机科学领域专属的概念，在其他学科包括神经科学、心理学、哲学等也有人工智能的概念以及相关的研究。在笔者的观点里，人工智能就是机器具备同时获得、建立、发展、和运用知识的能力。在计算机科学中，我

网络安全（黑客）自学

前言作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。计算机各领域的知识水平决定你渗透水平的上限。【1】比如：你编程水平高，那你在代码审计的时候就会比别人强，写出的漏洞利用工具就会比别人的好用；【2】比如：你数据库知识水平高，那你在进行SQL注入攻击的时候，你就可以写出更多更好的SQL注入语句

【业务功能110】微服务-springcloud-springboot-Kubernetes集群部署-kubeadm极速部署-Docker安装

kubeadm极速部署Kubernetes1.24版本集群一、Kubernetes1.24版本集群部署1.1Kubernetes1.24版本集群部署环境准备1.1.1主机操作系统说明序号操作系统及版本备注1CentOS7u91.1.2主机硬件配置说明三台主机可以利用虚拟化VMware来部署1.准备Centos7iso镜

常用数据库的 API - 开篇

APIAPI这个词在大多数人看来可能和CNS差不多，前者天天听说就是用不上，后者天天读就是发不了。不过，通过今天的一个简短介绍，今后API这个东西你就用上了，因为在文章最后我将会展示一个最最基础且高频的API使用示例。所谓API(ApplicationProgrammingInterface)就是应用程序接口。这个应用

联合国教科文发布，ChatGPT等生成式AI教育应用指南

联合国教科文组织（UNESCO）在官网发布了，全球首个《生成式AI与教育未来》的应用指南。呼吁各国实施适当的政策，以确保在教育中应用以人为本的方法来使用生成式AI。（指南下载地址：https://unesdoc.unesco.org/ark:/48223/pf0000386693）联合国教科文鼓励各国在教育中应用Cha

6.3、Flink数据写入到MySQL

目录1、添加POM依赖2、这一个完整的案例3、何时批量写入MySQL呢？4、容错性的保证(精确一次&至少一次)4.1、至少一次4.2、精确一次1、添加POM依赖ApacheFlink集成了通用的JDBC连接器，使用时需要根据生产环境的版本引入相应的依赖官网链接：官网<!--引入flinkjdbc连接器--><depen

猫头虎博主赠书三期：《Go编程进阶实战: 开发命令行应用、HTTP应用和gRPC应用》

🎉猫头虎博主赠书三期🎉：《Go编程进阶实战:开发命令行应用、HTTP应用和gRPC应用》🌷🍁博主猫头虎（🐅🐾）带您GotoNewWorld✨🍁🦄博客首页——🐅🐾猫头虎的博客🎐🐳《面试题大全专栏》🦕文章图文并茂🦖生动形象🐅简单易学！欢迎大家来踩踩~🌺🌊《IDEA开发秘籍专栏》🐾学会ID

【Go 基础篇】Go语言运算符解析：探索数学与逻辑的奥秘与运用

介绍在计算机编程中，运算符（Operators）是用于执行各种数学和逻辑操作的符号，它们使得计算机能够进行复杂的计算和决策。在Go语言（Golang）中，运算符是编写程序的基本工具之一，它们涵盖了算术运算、比较运算、逻辑运算等多个方面。本篇博客将深入探讨Go语言中的各种运算符，包括算术运算符、关系运算符、逻辑运算符、位

热文推荐
  1. Python 数据分析学习路线

    Python数据分析学习路线第一阶段：Python语言基础第二阶段：数据采集和持久化第三阶段：数据分析第四阶段：数据挖掘与机器学习书籍介绍参与方式第一阶段：Python语言基础在学习数据分析之前，首先需要掌握Python语言的基础知识，包括语法、常用数据结构、函数以及面向对象编程等。同时，还需要熟悉Python的标准库

  2. MySQL索引，事务及存储引擎

    目录MySQL索引创建索引的依据：索引的类型普通索引唯一索引主键索引组合索引全文索引查看索引删除索引事务事务的ACID特性原子性一致性隔离性持久性隔离级别设置隔离级别事务管理操作自动提交事务存储引擎MyISAMInnoDB的区别MyISAM表支持3种不同的存储格式静态(固定长度)表动态表压缩表如何避免死锁MySQL索引

  3. Windows 10怎么清理磁盘空间？

    现在，电脑是我们日常生活中很普遍的的一个工具，但在平常使用电脑时，我们会经常遇到磁盘空间已满的问题。而很多计算机新手都不知道电脑怎么清理磁盘空间，本将已Win10系统为例，教您如何清理电脑磁盘空间。方法1.清理储存对于磁盘已满的问题，我们经常遇到的就是C盘已满。C盘也就系统盘，它存放着大量的系统文件，当您安装软件时若是

  4. 密码学概论

    1.密码学的三大历史阶段：第一阶段古典密码学依赖设备，主要特点数据安全基于算法的保密，算法不公开，只要破译算法密文就会被破解，在1883年第一次提出加密算法应该基于算法公开不影响密文和秘钥的安全；衡量加密算法的安全是所需要话费的时间，一般电脑需要300年才能破译认为强度是安全的第二阶段计算机的出现进入电子密码学阶段，加

  5. 实时车辆行人多目标检测与跟踪系统（含UI界面，Python代码）

    算法架构：目标检测：yolov5目标跟踪：OCSort其中，Yolov5带有详细的训练步骤，可以根据训练文档，训练自己的数据集，及其方便。另外后续目标检测会添加yolov7、yolox，目标跟踪会添加ByteTrack、deepsort等经典算法，代码主要部分添加了详细注释，方便自己学习。一、简介本文将详细介绍如何使用

  6. 论文解读-DeepEdit：使用纳米孔直接RNA测序对A - to - I RNA编辑事件进行单分子检测和阶段划分

    DOI：10.1186/s13059-023-02921-0期刊：GenomeBiology中科院分区：Q1影响因子：12.3作者LongxianChen;LiangOu;XinyunJing;YaweiKong;BingranXie;etal出版日期2023-04-17网址：https://genomebiology

  7. kafka配置

    生产者配置NAMEDESCRIPTIONTYPEDEFAULTVALIDVALUESIMPORTANCEbootstrap.servershost/port列表，用于初始化建立和Kafka集群的连接。列表格式为host1:port1,host2:port2,…，无需添加所有的集群地址，kafka会根据提供的地址发现其他

  8. 前后端分离--Vue的入门基础版

    目录一.前后端分离二.Vue的简介三.Vue的入门案例四.Vue的生命周期一.前后端分离前后端分离是一种软件架构模式，将应用程序的前端（用户界面）和后端（数据处理和业务逻辑）独立开发、独立部署。在前后端分离的架构下，前端通过API（应用程序接口）与后端进行通信，实现数据交换和业务处理。前后端分离的优势包括：独立开发：前

  9. 【新版】系统架构设计师 - 软件架构设计＜SOA与微服务＞

    个人总结，仅供参考，欢迎加好友一起讨论架构-软件架构设计＜SOA与微服务＞考点摘要面向服务SOA（★★★★）微服务（★★★★）基于/面向服务的（SOA）在SOA模型中，所有的功能都定义成了独立的服务。服务之间通过交互和协调完成业务的整体逻辑。所有的服务通过服务总线或流程管理器来连接。这种松散耦合的架构使得各服务在交互过