Board logo

标题: 化繁为简,快速完成 Spark 大数据平台机群配置(3) [打印本页]

作者: look_w    时间: 2018-6-24 18:25     标题: 化繁为简,快速完成 Spark 大数据平台机群配置(3)

按部就班,完成大数据平台安装离线安装离线安装需要用户提前下载所需的安装包,配置本地 yum 源,开启 http 服务(或者直接用本地 file                模式)并修改相关的配置源指向本地解压后的路径。甚至用户也可以编写自己的 IOP.repo                文件等。其余的安装过程同在线安装大同小异,请参考文中在线安装完成部署。
IOP.repo 内容如下:
1
2
3
4
5
6
[BIGINSIGHTS-4.2.0.0-20160616_1657]
name=BIGINSIGHTS-4.2.0.0-20160616_1657
baseurl=http://ibm-open-platform.ibm.com/daily/IOP/RHEL6/x86_64/4.2.0.0/20160616_1657
enabled=1
gpgcheck=1
gpgkey=http://ibm-open-platform.ibm.com/daily/IOP/RHEL6/x86_64/4.2.0.0/20160616_1657/BI-GPG-KEY.public




以下为 IBM IOP 提供的下载路径,用户可以根据需要下载相对应的版本, 图 1 所示为已经发布的 IOP 版本,目前最新版为 4.2。
Ambari:https://ibm-open-platform.ibm.com/repos/Ambari/rhel/6/x86_64/
IOP:https://ibm-open-platform.ibm.co ... /6/x86_64/4.2.x/GA/
IOP_UTILS: https://ibm-open-platform.ibm.com/repos/IOP-UTILS/rhel/6/x86_64/
图 1 IBM IOP 版本在线安装在线安装需要机群内机器能够访问安装源所在的网站,由于网速,网络的稳定性等外在因素的影响,相比离线安装可能耗时会多一些。安装过程中如果出现由于网络等原因造成的相关服务安装失败,用户只需重试安装即可。
不管是离线安装还是在线安装,首先都需要安装 Ambari,其安装配置可以通过以下几步来完成:
第一步 安装 Ambari server
从 IBM 网站下载或者自己编辑 ambari.repo 文件到/etc/yum.repos.d 目录下,ambari.repo                文件内容如下:
1
2
3
4
5
6
[BI_AMBARI-2.2.0-20160616_1657]
name=ambari-2.2.0-20160616_1657
baseurl=http://ibm-open-platform.ibm.com/daily/Ambari/RHEL6/x86_64/2.2.0/20160616_1657
enabled=1
gpgcheck=1
gpgkey=http://ibm-open-platform.ibm.com/daily/Ambari/RHEL6/x86_64/2.2.0/20160616_1657/BI-GPG-KEY.public




安装 Ambari server 只需执行如下命令,安装过程中首先会从 IBM 网站下载 Ambari 的相关安装包。
[root@c6501 yum.repos.d]# yum clean all
[root@c6501 yum.repos.d]# yum                install ambari-server
第二步 完成 Ambari server 安装配置,如果用户不想分离数据库可采用缺省值安装。
[root@c6501 yum.repos.d]# ambari-server setup
第三步 启动 Ambari server 服务。
[root@c6501 yum.repos.d]# ambari-server start
开始部署启动 Ambari server 后,通过 web 页面登录安装部署界面,用户名和密码分别为 admin 和 admin,如图 2 所示。
图 2 Ambari                    登录界面创建机群如图 3 所示
图 3 Ambari                    创建机群界面如果是离线安装的话,用户需要在这里配置自己的 Base URL,在线安装保持缺省值, 如图 4 所示。配置完成后点击下一步。
图 4 选择安装源界面执行 cat /root/.ssh/id_dsa 获取 SSH Private Key,并把其粘贴到 web 上 SSH Private Key                粘贴区,如图 5 所示。其余的安装过程跟采用 HDP 等部署没有不同,用户可以根据安装向导来完成。值得注意的是,在 Confirm Hosts                过程中要尽量避免出现任何错误或警告。
图 5 安装设置界面功夫不负有心人,经过一翻耐心的等待,大数据平台终于准备好了,快来开启大数据的旅程吧。
图 6 Ambari                    机群服务界面




欢迎光临 电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/) Powered by Discuz! 7.0.0