首页 | 新闻 | 新品 | 文库 | 方案 | 视频 | 下载 | 商城 | 开发板 | 数据中心 | 座谈新版 | 培训 | 工具 | 博客 | 论坛 | 百科 | GEC | 活动 | 主题月 | 电子展
返回列表 回复 发帖

IBM dashDB Local 从入门到精通,第 1 部分 IBM 私有云数据仓库解决方案介绍(3)

IBM dashDB Local 从入门到精通,第 1 部分 IBM 私有云数据仓库解决方案介绍(3)

dashDB Local    应用场景及实现路径dashDB Local 可以满足多方面应用需求,包括:
  • "我需要更多的数据仓库容量。我希望使用 dashDB Local 实现持续弹性扩展能力以满足 SLA 的性能要求,同时最大化利用已有的系统资源,如日常的硬件(commodity     hardware) "
  • 我需要为不同用户自动化供应合适的数据及分析服务组合或解决方案
  • "我需要一个数据仓库/数据集市,它需要简单并易于部署 (在 20 分钟内完成) 并且仅需少量的调优和管理工作"
  • 我需要云策略,但由于内部要求或其他监管要求,希望我的数据和应用能够在我直接控制之下,或在我拥有的虚拟私有云环境中
  • 我需要一个高效、成本合理的处理引擎,能够从来自移动设备、互联网及物联网等应用产生的海量数据中获得深刻业务洞察
  • 我不需要烦心于迁移至 Hadoop,特别是对于结构化数据和日常的硬件,dashDB Local 将使得这一切变得更加简单
dashDB Local 应用场景
dashDB Local 适合需要云的简单、灵活,但由于隐私、监管要求,需要自己管理数据的分析场景,下边列出了 dashDB Local 的一些典型应用场景,如下所示:
场景说明 开发在云,生产在本地  在 dashDB SaaS 灵活便宜开发,部署生产在 dashDB Local 或 PDA  内部私有云及外部公共云整合  隐私和合规性需要的企业数据作内部部署,外部部署低合规性需要的数据,从而限制了数据暴露给外部托管网站/公共云       扩展生产系统工作负载(量高达 100 TB 或更高)  根据工作量的大小,以增量方式,可扩展计算和存储资源到 100 TB  DR /备份恢复  能够把生产系统数据的完整或增量备份,并将其部署在 dashDB Local or dashDB SaaS ,提供负载平衡       简化补丁管理  能够快速生成一个新的测试实例,并提供修复/补丁测试,减少对生产环境影响和中断
dashDB Local 实现路径: Start Small and Move Fast
下边列出了 dashDB Local 可实现的路径,如下图所示:
使用案例
场景
原型或开发/测试环境
在生产上线前快速及简便测试新应用及新数据源
部门级数据分析项目或分析加速项目
快速构建数据仓库分析服务满足支持广泛的数据源、高级分析及应用开发的需求
数据仓库服务或混合数据仓库
迁移 on-premises 数据仓库上的部分数据及应用到云端,并保持混合环境或全部迁移

dashDB Local 架构dashDB Local 通过采用 Docker 容器技术将 dashDB 软件栈打包到 Docker 容器中,用户只需要在 Docker 引擎所在的 Linux 服务器上运行一个    Docker run 命令就可以供应(Provisioning)dashDB local 服务实例。我们还可以通过 Docker pull 命令或在 Windows or Mac 平台上运行    Kitematic GUI 图形界面来检索并抓取我们需要版本的 dashDB Local 镜像文件。
dashDB Local 容器对用户来说相当于一个黑盒子,它包含了运行 dashDB Local 所需要的所有依赖包及相应的环境,而且 dashDB Local    容器可以和用户的宿主机环境完全独立。如下图所示:
dashDB Local 容器软件栈主要包括:
  • CentOS 7.2,包含运行 dashDB engine 所需要的所有库文件
  • dashDB engine 11
  • LDAP 认证,同时,dashDB Local 1.9.0 也支持外部 LDAP 认证
  • DS Server (Web server) and dashDB Console,我们对 dashDB Local 的管理都可以通过可视化的图形界面 dashDB Console     来完成
  • System Manager for HA,dashDB Local 内置了针对 MPP 部署环境 HA 的实现,针对 SMP 部署环境,dashDB Local 采用 HADR     方式实现 HA
  • Workload Management/Monitoring via enterprise DSM
dashDB Local 不同于 dashDB managed,它不包含:
  • R Studio:用户如果需要,需自行安装或部署在一个单独的容器中
  • Guardium
dashDB Local 运行的宿主操作系统可以是 Docker 支持的任何 Linux 操作系统发行版本及 Power Linux LE,我们建议使用 CentOS 7.2 或    RedHat 7.2。宿主操作系统运行在用户的私有云或者本地数据中心。
dashDB Local 要求用户在本地创建一个集群文件系统目录/mnt/clusterfs,在 dashDB Local 容器内部,/head、/data、/scratch、/local    四个文件系统会挂接到/mnt/blumeta0 and /mnt/bludata0 两个 mount points,它们都映射到本地的/mnt/clusterfs    文件系统。通过实验室验证,单个文件系统同多文件系统在性能上没有明显差别,但对用户来说,设置更简单,数据备份、迁移也更方便。因此,在 dashDB Local 部署方面,不论是 SMP 还是    MPP 环境,我们都要求创建相同的/mnt/clusterfs 集群文件系统。
dashDB Local    最小系统配置及建议系统配置dashDB Local 系统配置要求如下所示:
系统需求
最小配置
单机最小配置
多机 (MPP)建议配置
4TB raw data per Host 主机操作系统
Docker supported OS
(Kernel 3.10+)  Docker supported OS
(Kernel 3.10+)  CentOS 7 / RHEL 7  处理器
1x 2.0 GHz Core  8x 2.0 GHz Core  2 x 2.6 GHz 12-core Xeon 2690v3 CPU       内存
8GB  64GB  256GB  存储挂接在/mnt/bludata0
20GB  200GB  Network attached (SAN)
2000GB SSD @       3000MB/sec IO  Docker 版本
1.11.1  1.11.1  1.11.1
dashDB Local MPP POSIX Compliant Clustered Filesystem
dashDB Local MPP 要求配置 POSIX 兼容的集群文件系统,如下所示

NAS
SAN
文件系统类型
文件服务器,允许客户端通过网络访问,提供文件级访问。NAS 通常很稳定。  专用的网络存储设备,提供块级访问。  部署  很容易在现有体系结构中部署  需要更多的通信协议及集群文件系统配置方面的知识和经验  性能

需要通过网络共享  很高
提供专用的存储网络  数据访问
文件级别数据访问  块级数据访问  网络
dashDB local MPP 需要 POSIX 兼容的集群文件系统,该种方式采用 NFS  SAN 通信协议,包括 Fiber channel/iSCSI/FCoE  优势
适用易于使用及管理场景  适用高性能数据存储场景  示例
NAS storage appliances: EMC Isilon, Netapp, IBM Elastic       Storage Server (ESS)  Clustered filesystem required. Examples:
  • Cluster File System
  • GFS2
  • VERITAS Cluster File System (VxFS)
  • Generalized Parallel File System (GPFS)

dashDB Local 主机配置建议
下边是 dashDB Local 主机配置建议:
  • Docker 支持的操作系统 (Linux kernel 3.10+,CentOS 7 / RHEL 7 recommended)
  • 共享磁盘文件系统 (For MPP only)
    • GFS2 (for network attached disk)
      • Minimum 200GB disk required for /mnt/clusterfs
    • Posix compliant clustered filesystem examples:
      • VxFS
      • GPFS
      • NFS
  • 网络连接
    • 使用–net=host docker run 命令选项暴露主机网络堆栈
[建议] 集群的所有节点名定义在/etc/hosts 文件((如果节点名没有定义,dashDB local 会在容器内添加该条)
未完待续… … 由于篇幅原因,我们会在下一篇中继续介绍 dashDB Local MPP 弹性伸缩能力、dashDB Local MPP 高可用性、dashDB Local 支持 R 及    SPARK 分析、dashDB Local 的维护、Data Server Manager for dashDB Local 等内容。
结论通过上述介绍,我们对 IBM dashDB Local 的特点、优势、使用场景以及体系结构、扩展性、高可用性、同 R 及 Spark 分析集成、dashDB Local    管理、运维做了一个比较详尽的介绍。dashDB Local 采用目前比较热门的 Docker 容器技术进行部署,安装简洁、灵活,既可以在自己的笔记本上部署,也可以在 Linux    集群环境下部署,大家可以自己部署一个 IBM dashDB Local 环境来更好的了解 IBM 云数据仓库解决方案。
返回列表