电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛

标题: 以 Aerospike 的内存速度满足大数据分析需求（2） [打印本页]

作者: look_w 时间: 2018-6-23 11:51 标题: 以 Aerospike 的内存速度满足大数据分析需求（2）

用 Aerospike 实现大数据分析如今的 Web 规模的企业级应用程序架构通常包含 Aerospike，Aerospike 落后于 Web 应用程序层，但超越了遗留的 DBMS 或 HDFS 集群。大量（PB 字节）的档案和历史数据被存储在低成本的旋转驱动器上。来自 “HDFS 分析” 的洞察或数据段被定期移动到 Aerospike 中。然后，这些洞察与存储在 RAM 或 Aerospike 上的闪存中的数 TB 的实时数据相结合。应用程序使用这些丰富的用户上下文以及 Aerospike 中的 “热分析”（即大规模分布式聚合）来制定最好的决策和提供建议。
您还可以配置 Aerospike 来存储最新的数据，自动删除时间久远或过期的数据。图 1 显示了基于 Aerospike 的大数据分析的架构。
图 1. 基于 Aerospike 的大数据分析的架构

Aerospike 是一个行存储器，数据被存储在记录（键/值）中，组成了集合和命名空间（表）。每个 128K-2MB 的记录都可以包含可立即更改的值（地图、列表、整数、字符串和 blob 类型）。
示例应用程序我们的示例应用程序表明，键/值存储顶部的 Aerospike 数据结构是使用 Aerospike 将应用程序编写为唯一数据库的有效方式。该示例应用程序描述了一个类似 Twitter 的应用程序的设计与实现。代码很容易理解，但非常可靠，可用作使用 Aerospike 技术的基础。您还可以使用该示例应用程序作为实现扩展的种子应用程序。
示例应用程序的前提条件：

Aerospike 服务器
Aerospike Java™ 包客户端

在 IBM SoftLayer 云中使用 Aerospike 的最低要求内存 (RAM)您需要 4 GB 的 RAM。因为索引被存储在内存中，所以内存量会限制硬件可以存储的行数。Aerospike 对内存的使用非常高效，对于索引而言，每一行（对象或记录）只需 64 字节的内存。每 GB 的内存可以索引 1600 万行，4 GB 内存配置可以索引 6400 万对象。要进行开发，您至少要提供 2 GB 的 RAM。 CPU 您需要一个四核的 CPU。虽然在 CPU 上没有直接的依赖关系，但您可能会发现，CPU 会随着系统中断而迅速饱和。我们的示例使用了 8 GB 的 RAM，因为我们将在单个节点上安装 Aerospike 实例和 Aerospike 管理控制台。（在不同的节点中，都会有安装 Aerospike 和管理控制台的选项，所以，如果需要的话，我们可以选择两个节点的选项）。您需要通过门户从 IBM SoftLayer 云中获得一个 VM。VM 的最低配置是 8 GB 的 RAM、25 GB 磁盘存储和两个内核。该 VM 能够在所有主要 Linux 发行版本中正常工作。我们概念验证 (PoC) 示例应用程序是使用 CentOS 64 位来实现的。
主机名aerospikepoc.softlayer.com
地址：10.76.60.39 / 184.173.49.2 用户 root / xxxxxx安装 Aerospike要安装 Aerospike，请打开您的 VM 会话，然后按照下面的步骤进行操作。

在命令行中，输入清单 1 中的命令。清单 1. 获得 aerospike.tgz 文件
1
2
cd /usr
wget -O aerospike.tgz 'http://aerospike.com/download/server/latest/artifact/el6'

您的屏幕将会显示 HTTP 请求和连接信息，如下例所示。
您会在主机中的 /usr 目录下看到 aerospike.tgz 文件，如图 2 所示。图 2. /usr 目录中的 aerospike.tgz 文件

在安装 Aerospike 之前，您必须：

关闭 SELinux。在命令行中，输入 SELINUX=disabled，如下所示。
关闭 IPTables。在命令行中，输入 chkconfig iptables off，如下所示，然后输入 iptable stop。
打开 NTP。在命令行中，输入清单 2 中所示的命令。清单 2. 打开 NTP
1
2
3
sudo /sbin/chkconfig ntpd on
sudo ntpdate pool.ntp.org
/etc/init.d/ntpd start
转到 Aerospike 目录。在命令行中，输入 cd /usr 命令。
解压缩 aerospike.tgz。在命令行中，输入 tar -xvf aerospike.tgz 命令。您会看到一个由包中的工具、文件和许可组成的简要列表。

欢迎光临电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/)