首页
|
新闻
|
新品
|
文库
|
方案
|
视频
|
下载
|
商城
|
开发板
|
数据中心
|
座谈新版
|
培训
|
工具
|
博客
|
论坛
|
百科
|
GEC
|
活动
|
主题月
|
电子展
注册
登录
论坛
博客
搜索
帮助
导航
默认风格
uchome
discuz6
GreenM
»
MCU 单片机技术
»
PowerPC
» 化繁为简,快速完成 Spark 大数据平台机群配置(3)
返回列表
回复
发帖
发新话题
发布投票
发布悬赏
发布辩论
发布活动
发布视频
发布商品
化繁为简,快速完成 Spark 大数据平台机群配置(3)
发短消息
加为好友
look_w
当前离线
UID
1066743
帖子
8283
精华
0
积分
4142
阅读权限
90
在线时间
233 小时
注册时间
2017-6-23
最后登录
2019-5-18
论坛元老
UID
1066743
1
#
打印
字体大小:
t
T
look_w
发表于 2018-6-24 18:25
|
只看该作者
化繁为简,快速完成 Spark 大数据平台机群配置(3)
按部就班,完成大数据平台安装离线安装离线安装需要用户提前下载所需的安装包,配置本地 yum 源,开启 http 服务(或者直接用本地 file 模式)并修改相关的配置源指向本地解压后的路径。甚至用户也可以编写自己的 IOP.repo 文件等。其余的安装过程同在线安装大同小异,请参考文中在线安装完成部署。
IOP.repo 内容如下:
1
2
3
4
5
6
[BIGINSIGHTS-4.2.0.0-20160616_1657]
name=BIGINSIGHTS-4.2.0.0-20160616_1657
baseurl=http://ibm-open-platform.ibm.com/daily/IOP/RHEL6/x86_64/4.2.0.0/20160616_1657
enabled=1
gpgcheck=1
gpgkey=http://ibm-open-platform.ibm.com/daily/IOP/RHEL6/x86_64/4.2.0.0/20160616_1657/BI-GPG-KEY.public
以下为 IBM IOP 提供的下载路径,用户可以根据需要下载相对应的版本, 图 1 所示为已经发布的 IOP 版本,目前最新版为 4.2。
Ambari:
https://ibm-open-platform.ibm.com/repos/Ambari/rhel/6/x86_64/
IOP:
https://ibm-open-platform.ibm.co ... /6/x86_64/4.2.x/GA/
IOP_UTILS:
https://ibm-open-platform.ibm.com/repos/IOP-UTILS/rhel/6/x86_64/
图 1 IBM IOP 版本
在线安装在线安装需要机群内机器能够访问安装源所在的网站,由于网速,网络的稳定性等外在因素的影响,相比离线安装可能耗时会多一些。安装过程中如果出现由于网络等原因造成的相关服务安装失败,用户只需重试安装即可。
不管是离线安装还是在线安装,首先都需要安装 Ambari,其安装配置可以通过以下几步来完成:
第一步 安装 Ambari server
从 IBM 网站下载或者自己编辑 ambari.repo 文件到/etc/yum.repos.d 目录下,ambari.repo 文件内容如下:
1
2
3
4
5
6
[BI_AMBARI-2.2.0-20160616_1657]
name=ambari-2.2.0-20160616_1657
baseurl=http://ibm-open-platform.ibm.com/daily/Ambari/RHEL6/x86_64/2.2.0/20160616_1657
enabled=1
gpgcheck=1
gpgkey=http://ibm-open-platform.ibm.com/daily/Ambari/RHEL6/x86_64/2.2.0/20160616_1657/BI-GPG-KEY.public
安装 Ambari server 只需执行如下命令,安装过程中首先会从 IBM 网站下载 Ambari 的相关安装包。
[root@c6501 yum.repos.d]# yum clean all
[root@c6501 yum.repos.d]# yum install ambari-server
第二步 完成 Ambari server 安装配置,如果用户不想分离数据库可采用缺省值安装。
[root@c6501 yum.repos.d]# ambari-server setup
第三步 启动 Ambari server 服务。
[root@c6501 yum.repos.d]# ambari-server start
开始部署启动 Ambari server 后,通过 web 页面登录安装部署界面,用户名和密码分别为 admin 和 admin,如图 2 所示。
图 2 Ambari 登录界面
创建机群如图 3 所示
图 3 Ambari 创建机群界面
如果是离线安装的话,用户需要在这里配置自己的 Base URL,在线安装保持缺省值, 如图 4 所示。配置完成后点击下一步。
图 4 选择安装源界面
执行 cat /root/.ssh/id_dsa 获取 SSH Private Key,并把其粘贴到 web 上 SSH Private Key 粘贴区,如图 5 所示。其余的安装过程跟采用 HDP 等部署没有不同,用户可以根据安装向导来完成。值得注意的是,在 Confirm Hosts 过程中要尽量避免出现任何错误或警告。
图 5 安装设置界面
功夫不负有心人,经过一翻耐心的等待,大数据平台终于准备好了,快来开启大数据的旅程吧。
图 6 Ambari 机群服务界面
收藏
分享
评分
回复
引用
订阅
TOP
返回列表
资料共享
MCU 单片机技术
DSP技术
嵌入式技术
无线技术
模拟电路
测试测量
FPGA/CPLD可编程逻辑
电商论坛
Pine A64
资料下载
方案分享
FAQ
行业应用
消费电子
便携式设备
医疗电子
汽车电子
工业控制
热门技术
智能可穿戴
3D打印
智能家居
综合设计
示波器技术
存储器
电子制造
计算机和外设
软件开发
分立器件
传感器技术
无源元件
资料共享
PCB综合技术
综合技术交流
EDA
MCU 单片机技术
ST MCU
Freescale MCU
NXP MCU
新唐 MCU
MIPS
X86
ARM
PowerPC
DSP技术
嵌入式技术
FPGA/CPLD可编程逻辑
模拟电路
数字电路
富士通半导体FRAM 铁电存储器“免费样片”使用心得
电源与功率管理
LED技术
测试测量
通信技术
3G
无线技术
微波在线
综合交流区
职场驿站
活动专区
在线座谈交流区
紧缺人才培训课程交流区
意见和建议