杭州市网站建设,企业歌曲制作,网络正能量你懂我意思的,五合一小程序网站1. 虚拟机的三台机器分别以hdfs 存储, mapreduce计算#xff0c;yarn调度三个方面进行集群配置 hadoop 版本3.3.4 官网#xff1a;Hadoop – Apache Hadoop 3.3.6 jdk 1.8 三台机器尾号为#xff1a;22#xff0c; 23#xff0c; 24。#xff08;没有用hadoop102, 103,10…1. 虚拟机的三台机器分别以hdfs 存储, mapreduce计算yarn调度三个方面进行集群配置 hadoop 版本3.3.4 官网Hadoop – Apache Hadoop 3.3.6 jdk 1.8 三台机器尾号为22 23 24。没有用hadoop102, 103,104,我改为了hadoop22hadoop23hadoop24 2. 配置22机器core-site.xml cd $HADOOP_HOME/etc/hadoop vi core-site.xml
configuration!-- 指定NameNode的地址 --propertynamefs.defaultFS/namevaluehdfs://hadoop22:8020/value/property!-- 指定hadoop数据的存储目录 --propertynamehadoop.tmp.dir/namevalue/opt/module/hadoop-3.3.4/data/value/property!-- 配置HDFS网页登录使用的静态用户为atguigu --propertynamehadoop.http.staticuser.user/namevalueatguigu/value/property
/configuration
3. 配置22机器得hdfs-site.xml
configuration!-- nn web端访问地址--propertynamedfs.namenode.http-address/namevaluehadoop22:9870/value/property!-- 2nn web端访问地址--propertynamedfs.namenode.secondary.http-address/namevaluehadoop24:9868/value/property
/configuration
4. 配置22机器的yarn-site.xml !-- 指定MR走shuffle --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!-- 指定ResourceManager的地址--propertynameyarn.resourcemanager.hostname/namevaluehadoop23/value/property!-- 环境变量的继承 --propertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value/property
5.配置22机器的mapred-site.xml
configuration!-- 指定MapReduce程序运行在Yarn上 --propertynamemapreduce.framework.name/namevalueyarn/value/property
/configuration
6. 配置22机器workers文件
hadoop22
hadoop23
hadoop24
注意该文件中添加的内容结尾不允许有空格文件中不允许有空行。
7.脚本发送到2324机器 xsync /opt/module/hadoop-3.3.4/etc/hadoop
8. 分别去2324机器检查下是否发送成功。上述修改的文件是否是修改过的数据 9. 如果集群是第一次启动需要在hadoop102节点格式化NameNode注意格式化NameNode会产生新的集群id导致NameNode和DataNode的集群id不一致集群找不到已往数据。如果集群在运行过程中报错需要重新格式化NameNode的话一定要先停止namenode和datanode进程并且要删除所有机器的data和logs目录然后再进行格式化。 生成机器id
hdfs namenode -format
10. 启动hdfs
# 例如我的路径/opt/module/hadoop-3.3.4/etc/hadoop
# 在hadoop文件下前面你自己的路径/etc/hadoop/
# 输入命令
sbin/start-dfs.sh
11. 在配置了ResourceManager的节点hadoop23启动YARN
sbin/start-yarn.sh 12. 如果启动失败我是三台机器都删除了data,logs数据。重新从9步重新生成机器id数据
比对配置文件是否错误再次重新启动。即可解决~
