hadoop集群怎么配置(Hadoop3.2.0集群搭建常见注意事项)
hadoop集群怎么配置
Hadoop3.2.0集群搭建常见注意事项一 端口变化
3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问
二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation
hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动:
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath属性
<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>
四 salave文件编程workers文件了,内容配置是一样的
五 启动成功不报错,但最蛋疼的Live Nodes为0问题
解决步骤:
一 先查看datanode 日志:
如果出现这个说明连接配置有问题,查看core-site.xml配置,这个是配置datanode和namnode通信的:
一看
这里配置的连接地址有问题
hdfs应该配置成namnode的地址,不能配置成datanode的地址,所有节点都一样,这个地址,配置完成重启成功
网上还有说/etc/hots解析不成功的,这个也是一个原因,配置好域名映射就可以了,重要的是先看日志分析是什么问题
最后成功页面
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持开心学习网。
- hadoop集群怎么配置(Hadoop3.2.0集群搭建常见注意事项)
- ubuntu安装hadoop单机版(VMware + Ubuntu18.04 搭建Hadoop集群环境的图文教程)
- 仅主机模式搭建hadoop集群(阿里云服务器搭建hadoop集群补充)
- virtualbox服务器搭建centos(VirtualBox安装CentOS及JDK、Hadoop的安装与配置详细教程)
- linux hadoop client 连接hbase(使用docker部署hbase的方法)
- docker集群安装教程(使用docker部署hadoop集群的详细教程)
- 常见的喜阴植物有哪些 养室内盆栽就在这里选(常见的喜阴植物有哪些)
- 这8种耐阴植物,营造阴生植物花境,也是一个不错的选择(营造阴生植物花境)
- 览邦G08 Plus SMART WATCH 测评⑱ 全独立这才是智能手表该有的样子(览邦G08PlusSMART)
- 荣耀手表 GS 3 真机亮相 不支持无线充电(荣耀手表GS3)
- 通过体温就能为智能手表充电 原来是用NASA在空间站用的黑科技(通过体温就能为智能手表充电)
- 智能手表兼容Windows和Android 无需充电挑战苹果(智能手表兼容Windows和Android)
热门推荐
- python使用什么函数定义匿名函数(Python匿名函数及应用示例)
- canvas画法教学(手把手教你实现一个canvas智绘画板的方法)
- SqlServer GO命令循环使用实例代码(SqlServer GO命令循环使用实例代码)
- iis操作教程(IIS支持exe文件下载配置方法附图)
- python代码返回值(Python 函数返回值的示例代码)
- sql语句的groupby是做什么的(深入浅析SQL中的group by 和 having 用法)
- 移除VS项目的TFS版本控制
- linux虚拟内存实现需要哪六种机制(解析Linux高性能网络IO和Reactor模型)
- php class使用场景(php反射学习之不用new方法实例化类操作示例)
- sql join速度慢(SQL Server 使用join all优化 or 查询速度)