hadoop3.3.1单机版环境搭建详细流程记录

1、在centos7中创建必要的目录2、上传JDK安装包到tools目录3、解压JDK到/opt/server/目录tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/server/4、“vim未找到命令”的解决办法安装vim即可yum install -y vim5、JDK配置环境变量vim /etc/profile按“o”进入编辑模式#JDK环境变量 export JAVA_HOME/opt/server/jdk1.8.0_221 export PATH${JAVA_HOME}/bin:$PATH编辑完内容后“esc”--“:”--wq--回车执行保存并退出。6、刷新环境变量使其生效source /etc/profile7、配置hosts;vim /etc/hosts点i或者o进入编辑模式编辑完后点Esc--:--wq回车保存退出。8、配置免密生成公钥和私钥一直点下去即可ssh-keygen -t rsa授权是单向的8.1、方法一进入~/.ssh目录下查看生成的公匙和私匙并将公匙写入到授权文件cd ~/.ssh cat id_rsa.pub authorized_keys chmod 600 authorized_keys8.2、方法二# 本机公钥拷贝到102服务器 ssh-copy-id hadoop102 # 回车确认102密码后生效方法二注意切换用户后需要重新配置免密。9、上传hadoop3.3.1并解压10、配置hadoop;进入/opt/server/hadoop-3.3.1/etc/hadoop/目录下1、修改hadoop-env.sh文件设置JDK的安装路径vim hadoop-env.sh2、修改core-site.xml文件分别指定hdfs协议文件系统的通信地址及hadoop存储临时文件的目录 此目录不需要手动创建vim core-site.xmlconfiguration property !--指定 namenode 的 hdfs 协议文件系统的通信地址-- namefs.defaultFS/name valuehdfs://server:8020/value /property property !--指定 hadoop 数据文件存储目录-- namehadoop.tmp.dir/name value/home/hadoop/data/value /property /configuration3、修改hdfs-site.xml指定dfs的副本系数vim hdfs-site.xmlconfiguration property !--由于我们这里搭建是单机版本所以指定 dfs 的副本系数为 1-- namedfs.replication/name value1/value /property /configuration4、修改workers文件配置所有从属节点vim workersserver11、关闭防火墙如果不关闭防火墙可能导致无法访问Hadoop的Web UI界面# 查看防火墙状态 sudo firewall-cmd --state # 关闭防火墙: sudo systemctl stop firewalld # 禁止开机启动 sudo systemctl disable firewalld12、格式化namenode;初始化第一次启动Hadoop时需要进行初始化进入/opt/server/hadoop-3.3.1/bin目录下执行以下命令13、Hadoop 3中不允许使用root用户来一键启动集群需要配置启动用户进入目录“/opt/server/hadoop-3.3.1/sbin”编辑start-dfs.sh、stop-dfs.sh,在顶部加入以下内容HDFS_DATANODE_USERroot HDFS_DATANODE_SECURE_USERhdfs HDFS_NAMENODE_USERroot HDFS_SECONDARYNAMENODE_USERrootstart-dfs.sh如下stop-dfs.sh如下14、启动hdfs进入/opt/server/hadoop-3.3.1/sbin/目录下,./start-dfs.sh启动成功15、查看Web UI界面端口为9870http://192.168.12.100:9870/16、配置hadoop环境变量方便启动#Hadoop环境变量 export HADOOP_HOME/opt/server/hadoop-3.3.1 export PATH$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin;执行“source /etc/profile”刷新使其生效。17、yarn环境搭建1、配置mapred-site.xml进入/opt/server/hadoop-3.3.1/etc/hadoop/目录vim mapred-site.xmlconfiguration property namemapreduce.framework.name/name valueyarn/value /property property nameyarn.app.mapreduce.am.env/name valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value /property property namemapreduce.map.env/name valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value /property property namemapreduce.reduce.env/name valueHADOOP_MAPRED_HOME${HADOOP_HOME}/value /property /configuration2、配置yarn-site.xmlvim yarn-site.xmlconfiguration property !--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可以在Yarn 上运行 MapRedvimuce 程序。-- nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property /configuration18、hadoop3配置root启动yarn权限进入“/opt/server/hadoop-3.3.1/sbin/”目录# start-yarn.sh stop-yarn.sh在两个文件顶部添加以下内容 YARN_RESOURCEMANAGER_USERroot HADOOP_SECURE_DN_USERyarn YARN_NODEMANAGER_USERrootvim start-yarn.shvim stop-yarn.sh19、启动yarn;进入“/opt/server/hadoop-3.3.1/sbin/”目录./start-yarn.sh20、访问yarn的web管理界面http://192.168.12.100:8088/21、“Permission denied: userdr.who, accessWRITE, inode/:root:supergroup:drwxr-xr-x”创建目录、上传文件失败。这里“dr.who”表示的是在网页端访问hdfs时的默认用户名而真实是不存在的它的权限很小为了保证数据安全无法访问其他用户的数据。修改默认登录用户就可解决此处权限问题。修改“/opt/server/hadoop-3.3.1/etc/hadoop/”目录下的core-site.xml添加下面属性property !--默认登录用户-- namehadoop.http.staticuser.user/name valueroot/value /property重启hdfs服务即可。创建目录成功22、hdfs上传文件失败,“Couldnt upload the file xxxxxxxxxxx.csv.”原因客户端web无法解析server域名到指定ip引起的。解决方法在本地win10配置host对虚拟机地址的访问192.168.12.100 server