IBM dashDB Local 从入门到精通,第 3 部分 dashDB local SMP Linux 安装指南(6)
 
- UID
- 1066743
|

IBM dashDB Local 从入门到精通,第 3 部分 dashDB local SMP Linux 安装指南(6)
IBM dashDB Local 是一个非常灵活的数据仓库系统,它采用业界领先的 Docker 容器技术,专门优化用来快速部署于私有云或虚拟私有云环境。dashDB Local 采用基于内存优化的、列式存储技术,并结合自动水平扩展能力,充分提高了数据仓库系统的运行效率。
dashDB Local 可以满足客户需要采用基于云的解决方案,但由于隐私及监管的要求,需要将数据保留在自己的数据中心的需求。它提供了 IBM 全托管云数据分析系统 dashDB 的灵活性及分析能力,同时允许客户自己管理及维护数据。同时,dashDB Local 采用了 IBM 通用分析引擎架构,可以帮助用户在私有云、公有云及数据仓库一体机环境之间轻松移动数据,充分满足用户的各种需求。另外,一些客户需要测试云环境数据分析能力,也可以采用 dashDB Local 部署在本地环境来进行熟悉及演练。
基于云的全托管数据仓库分析系统,IBM 提供了 dashDB 。
dashDB Local 部署在 Docker 容器中,它支持任何 Docker 所支持的操作系统。目前,dashDB Local 可以部署在 Windows、MAC 及 Linux (RHEL, Ubuntu, CentOS)。更多的信息,大家可以参考 Docker website 。
本指南,我们主要介绍在 Linux 环境下单节点(SMP) 系统的安装及配置方法,有关其他平台及集群(MPP) 系统的安装及配置方法,我们会在系列指南的其他部分介绍。
注册参加 dashDB Local Trial Program申请 Docker Hub ID- 从 Docker Hub 主页 注册 Docker Hub ID
- 你将收到确认邮件,并按照邮件提示内容激活 Docker Hub ID
注册参加 dashDB Local Trial program- 在浏览器中,打开 dashDB Local 主页 (
- 点击"Try it for free" 黄色按钮
- 按照要求填写完成注册表单内容并提交 Docker Hub ID。你也可以使用已经存在的 IBM ID
- 你需要等待 24 小时收到从 Docker 发来的确认邮件,授权你可以访问 dashDB Local private repository (ibmdashdb/local)并可以下载 dashDB Local 产品镜像。
安装要求硬件要求下边列表,提供了部署 dashDB Local 最小建议硬件要求:
表 1. dashDB Local 最小及建议硬件要求系统需求
最小配置
单机(Linux)最小配置
多机 (MPP)建议配置
4TB raw data per Host 主机操作系统
Docker supported OS
(Kernel 3.10+) Docker supported OS
(Kernel 3.10+) CentOS 7 / RHEL 7 处理器
1x 2.0 GHz Core 每个节点 8x 2.0 GHz Core 每个节点 2 x 2.6 GHz 12-core Xeon 2690v3 CPU 内存
8GB 每个节点 64GB 每个节点 256GB 存储
内置盘至少 300GB
在生产环境,建议为/var/lib/docker 目录创建单独的逻辑卷。如果/var/lib/docker 目录不在根目录下,需要为根目录至少分配 100GB 空间,为/var/lib/docker 目录分配至少 200GB 空间。 每个节点内置盘至少 300GB
在生产环境,建议为/var/lib/docker 目录创建单独的逻辑卷。如果/var/lib/docker 目录不在根目录下,需要为根目录至少分配 100GB 空间,为/var/lib/docker 目录分配至少 200GB 空间。 Network attached (SAN)
2000GB SSD @ 3000MB/sec IO Docker 版本
1.12.6 1.12.6 1.12.6
当你安装 dashDB Local 时,系统会运行一系列先决条件检查来确认安装环境是否具备合适的资源。
网络要求- 确认在集群环境下的所有节点都在每个节点的/etc/hosts 文件中已经定义,包括单机环境。本次示例中,我们使用了 1 台 Linux 服务器,该节点的/etc/hosts 文件如下所示:
1
2
3
| /etc/hosts
127.0.0.1 localhost.localdomain localhost
192.168.1.128 dashdb
|
- 确认下述端口未被占用:
- 60000-60024, for database FCM (60006 - 60007 for HADR, if you want to use it)
- 25000-25999, for Apache Spark
- 50022, for SSH/container OS
- 50001, for database connection with SSL
- 50000, for database connection without SSL
- 9929, for communication tests
- 9300, for web console status
- 8443, for web console HTTPS
- 5000, for System Manager
- 389, for LDAP
- 22, for SSH/host OS
可以使用下述命令来检查上述端口是否可用:
1
| docker exec -it dashDB comm_test
|
本次示例,我们采用 CentOS 7.2,可以执行下述命令:
1
2
3
4
| 在/etc/sysctl.conf 文件中添加:
net.ipv4.ip_forward=1
并执行命令:
systemctl restart network
|
操作系统要求你可以在 Docker 支持的所有 Linux 发行版本环境安装 dashDB Local,下边列出了支持的部分 Linux 发行版本:
- Arch Linux
- CentOS
- CRUX Linux
- Debian
- Fedora
- Gentoo
- Oracle Linux
- Red Hat Enterprise Linux
- openSUSE and SUSE Linux Enterprise
- Ubuntu ,一些限制:
- 如果使用 Ubuntu 14.04,, Linux kernel 版本必须至少是 3.16 或更高。
- Docker 容器不能使用 AUFS 做为存储驱动器。我们需要使用 Docker 支持的其他存储驱动器。从性能角度考虑,建议采用 Device Mapper storage driver (devicemapper)并采用 direct-lvm storage pool 配置。
针对一些 Linux 发行版本,部署 dashDB Local 之前,需要关闭并禁用一些安全特性:
- SELinux (RHEL or CentOS)
- AppArmor (Ubuntu)
- Firewalld (CentOS)
本指南,我们主要基于 CentOS 7.2 操作系统为例讲述 dashDB local 安装方法,其他 Linux 版本,可能部分操作系统命令有些不同。
- Docker 需要 64 位操作系统,Linux kernel 版本 3.10 或更高。
我们可以使用下述命令检查系统当前 Linux kernel 版本:
1
2
3
| [root@dashdb Desktop]# uname -r
3.10.0-327.28.3.el7.x86_64
[root@dashdb Desktop]#
|
- CentOS 使用了 SELinux 来增强安全,我们可以使用下述命令关闭该功能:
1. 永久有效
修改 /etc/selinux/config 文件中的 SELINUX="" 为 disabled ,然后重启。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
| # This file controls the state of SELinux on the system.
# SELINUX= can
take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux
policy is loaded.
SELINUX=disable
# SELINUXTYPE= can take one of three two
values:
# targeted - Targeted processes are protected,
# minimum - Modification of
targeted policy. Only selected processes are protected.
# mls - Multi Level Security
protection.
SELINUXTYPE=disabled
|
2. 即时生效
1
| [root@dashdb Desktop]# setenforce 0
|
1
2
3
4
5
6
7
8
9
10
11
| [root@dashdb Desktop]# systemctl stop firewalld.service
[root@dashdb Desktop]# systemctl disable firewalld.service
[root@dashdb Desktop]# systemctl status firewalld.service
firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor
preset: enabled)
Active:inactive (dead)
Oct 06 05:00:34 dashdb systemd[1]: Stopped firewalld - dynamic firewall
daemon.
Hint: Some lines were ellipsized, use -l to show in full.
[root@dashdb Desktop]#
|
|
|
|
|
|
|