电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛

标题: 化繁为简，快速完成 Spark 大数据平台机群配置（4） [打印本页]

作者: look_w 时间: 2018-6-24 18:27 标题: 化繁为简，快速完成 Spark 大数据平台机群配置（4）

安装过程中常见问题及解决办法问题 1：Ambari 节点报错 heartbeat lost
解决办法： ambari-agent restart
问题 2：登录 http://c6501.ambari.apache.org:8080/ 报错 Unable to connect
解决办法：外部机器登录主机，需要在外部机器的 hosts 文件中加入对应的 IP 映射。
问题 3：ntpd 报错
解决办法：到对应 node 下检查是否安装了 ntpd 包，重启此服务 service ntpd restart
问题 4：Confirm Hosts 过程警告
解决办法：首先需要确定该机器以前是否安装部署过相关服务，如果部署过，则需要把以前部署时残留的目录、文件等信息全部删除。执行 python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=users 后再移除对应机器存在的用户组。例如：
userdel -rf hive
userdel -rf zookeeper
userdel -rf spark
userdel -rf ambari-qa
userdel -rf hdfs
userdel -rf sqoop
userdel -rf yarn
userdel -rf hcat
userdel -rf mapred
userdel -rf hbase
userdel -rf oozie
userdel -rf flume
userdel -rf kafka
userdel -rf knox
userdel -rf ams
userdel -rf hadoop
userdel -rf tez
userdel -rf rrdcached
总结由于大数据平台部署前对机群内机器都有一定的要求，如需要配置 SSH 无密码登录，修改文件最大限制，关闭防火墙，修改 hosts 文件等等，利用文中的脚本，通过简单的配置就可以在一台机器上完成整个机群所有节点部署前的配置工作，简单易用，能够节约大量的配置时间，减少配置时出错的机会。另外，此脚本同样也适用于采用 HDP 来部署大数据平台的机群预设置。当然，由于用户机群的差异性可能也存在部分服务缺失等问题，但这并不妨碍脚本的优势，希望大家能积极探讨，共同进步。

欢迎光临电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/)