首页
|
新闻
|
新品
|
文库
|
方案
|
视频
|
下载
|
商城
|
开发板
|
数据中心
|
座谈新版
|
培训
|
工具
|
博客
|
论坛
|
百科
|
GEC
|
活动
|
主题月
|
电子展
注册
登录
论坛
博客
搜索
帮助
导航
默认风格
uchome
discuz6
GreenM
»
MCU 单片机技术
»
PowerPC
» 以 Aerospike 的内存速度满足大数据分析需求 (2)
返回列表
回复
发帖
发新话题
发布投票
发布悬赏
发布辩论
发布活动
发布视频
发布商品
以 Aerospike 的内存速度满足大数据分析需求 (2)
发短消息
加为好友
look_w
当前离线
UID
1066743
帖子
8283
精华
0
积分
4142
阅读权限
90
在线时间
233 小时
注册时间
2017-6-23
最后登录
2019-5-18
论坛元老
UID
1066743
1
#
打印
字体大小:
t
T
look_w
发表于 2018-6-23 11:51
|
只看该作者
以 Aerospike 的内存速度满足大数据分析需求 (2)
用 Aerospike 实现大数据分析如今的 Web 规模的企业级应用程序架构通常包含 Aerospike,Aerospike 落后于 Web 应用程序层,但超越了遗留的 DBMS 或 HDFS 集群 。大量(PB 字节)的档案和历史数据被存储在低成本的旋转驱动器上。来自 “HDFS 分析” 的洞察或数据段被定期移动到 Aerospike 中。然后,这些洞察与存储在 RAM 或 Aerospike 上的闪存中的数 TB 的实时数据相结合。应用程序使用这些丰富的用户上下文以及 Aerospike 中的 “热分析”(即大规模分布式聚合)来制定最好的决策和提供建议。
您还可以配置 Aerospike 来存储最新的数据,自动删除时间久远或过期的数据。图 1 显示了基于 Aerospike 的大数据分析的架构。
图 1. 基于 Aerospike 的大数据分析的架构
Aerospike 是一个行存储器,数据被存储在记录(键/值)中,组成了集合和命名空间(表)。每个 128K-2MB 的记录都可以包含可立即更改的值(地图、列表、整数、字符串和 blob 类型)。
示例应用程序 我们的示例应用程序表明,键/值存储顶部的 Aerospike 数据结构是使用 Aerospike 将应用程序编写为唯一数据库的有效方式。该示例应用程序描述了一个类似 Twitter 的应用程序的设计与实现。代码很容易理解,但非常可靠,可用作使用 Aerospike 技术的基础。您还可以使用该示例应用程序作为实现扩展的种子应用程序。
示例应用程序的前提条件:
Aerospike 服务器
Aerospike Java™ 包客户端
在 IBM SoftLayer 云中使用 Aerospike 的最低要求
内存 (RAM)
您需要 4 GB 的 RAM。因为索引被存储在内存中,所以内存量会限制硬件可以存储的行数。Aerospike 对内存的使用非常高效,对于索引而言,每一行(对象或记录)只需 64 字节的内存。每 GB 的内存可以索引 1600 万行,4 GB 内存配置可以索引 6400 万对象。要进行开发,您至少要提供 2 GB 的 RAM。
CPU
您需要一个四核的 CPU。虽然在 CPU 上没有直接的依赖关系,但您可能会发现,CPU 会随着系统中断而迅速饱和。我们的示例使用了 8 GB 的 RAM,因为我们将在单个节点上安装 Aerospike 实例和 Aerospike 管理控制台。(在不同的节点中,都会有安装 Aerospike 和管理控制台的选项,所以,如果需要的话,我们可以选择两个节点的选项)。 您需要通过 门户从 IBM SoftLayer 云中获得一个 VM。VM 的最低配置是 8 GB 的 RAM、25 GB 磁盘存储和两个内核。该 VM 能够在所有主要 Linux 发行版本中正常工作。我们概念验证 (PoC) 示例应用程序是使用 CentOS 64 位来实现的。
主机名
aerospikepoc.softlayer.com
地址:10.76.60.39 / 184.173.49.2
用户
root / xxxxxx安装 Aerospike要安装 Aerospike,请打开您的 VM 会话,然后按照下面的步骤进行操作。
在命令行中,输入清单 1 中的命令。 清单 1. 获得 aerospike.tgz 文件
1
2
cd /usr
wget -O aerospike.tgz 'http://aerospike.com/download/server/latest/artifact/el6'
您的屏幕将会显示 HTTP 请求和连接信息,如下例所示。
您会在主机中的 /usr 目录下看到 aerospike.tgz 文件,如图 2 所示。图 2. /usr 目录中的 aerospike.tgz 文件
在安装 Aerospike
之前
,您必须:
关闭 SELinux。在命令行中,输入 SELINUX=disabled,如下所示。
关闭 IPTables。在命令行中,输入 chkconfig iptables off,如下所示,然后输入 iptable stop。
打开 NTP。在命令行中,输入清单 2 中所示的命令。清单 2. 打开 NTP
1
2
3
sudo /sbin/chkconfig ntpd on
sudo ntpdate pool.ntp.org
/etc/init.d/ntpd start
转到 Aerospike 目录。在命令行中,输入 cd /usr 命令。
解压缩 aerospike.tgz。在命令行中,输入 tar -xvf aerospike.tgz 命令。您会看到一个由包中的工具、文件和许可组成的简要列表。
收藏
分享
评分
回复
引用
订阅
TOP
返回列表
电商论坛
Pine A64
资料下载
方案分享
FAQ
行业应用
消费电子
便携式设备
医疗电子
汽车电子
工业控制
热门技术
智能可穿戴
3D打印
智能家居
综合设计
示波器技术
存储器
电子制造
计算机和外设
软件开发
分立器件
传感器技术
无源元件
资料共享
PCB综合技术
综合技术交流
EDA
MCU 单片机技术
ST MCU
Freescale MCU
NXP MCU
新唐 MCU
MIPS
X86
ARM
PowerPC
DSP技术
嵌入式技术
FPGA/CPLD可编程逻辑
模拟电路
数字电路
富士通半导体FRAM 铁电存储器“免费样片”使用心得
电源与功率管理
LED技术
测试测量
通信技术
3G
无线技术
微波在线
综合交流区
职场驿站
活动专区
在线座谈交流区
紧缺人才培训课程交流区
意见和建议