电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛

标题: 大数据架构和模式，第 4 部分了解用于大数据解决方案的原子模式和复合模式-1 [打印本页]

作者: look_w 时间: 2018-3-17 11:20 标题: 大数据架构和模式，第 4 部分了解用于大数据解决方案的原子模式和复合模式-1

简介本系列的介绍了大数据解决方案的逻辑层。这些层定义了各种组件，并对它们进行分类，这些组件必须处理某个给定业务用例的功能性和非功能性需求。本文基于层和组件的概念，介绍了解决方案中所用的典型原子模式和复合模式。通过将所提出的解决方案映射到此处提供的模式，让用户了解需要如何设计组件，以及从功能角度考虑，应该将它们放置在何处。模式有助于定义大数据解决方案的架构。利用原子模式和复合模式可以帮助进一步完善大数据解决方案的每个组件的角色和责任。
试用 IBM 大数据解决方案下载试用版本的 IBM 大数据解决方案，看看它在您的环境中是如何工作的。选择以下几款产品：

，基于 Hadoop 的 IBM 产品，它利用 Big SQL、文本分析和 BigSheets 等功能提高开源 Hadoop 的价值
，非生产版本的 InfoSphere Streams，是一个高性能的计算平台，可以在收到来自数千个实时来源的信息时迅速摄取、分析和关联信息
还有其他许多大数据和分析产品

本文介绍原子模式和复合模式。本系列的最后一篇文章将介绍解决方案模式。
图 1. 模式的类别

原子模式对于大数据上下文中经常出现的问题，原子模式 有助于识别数据如何是被使用、处理、存储和访问的。它们还有助于识别所需的组件。访问、存储和处理来自不同数据源的多种数据需要不同的方法。每种模式都用于满足特定的需求：例如，可视化、历史数据分析、社交媒体数据和非结构化数据的存储。可以将多种原子模式结合使用，组成一个复合模式。这些原子模式没有进行分层或排序。例如，可视化模式可以与社交媒体的数据访问模式直接交互，可视化模式还可以与高级分析处理模式进行交互。
图 2. 用于数据使用、处理、数据访问和存储的原子模式的示例

数据使用模式这种类型的模式处理使用数据分析结果的各种方式。本节包括的数据使用模式可以满足几个需求。
可视化模式可视化数据的传统方式以图表、仪表板和摘要报告为基础。这些传统的方法并不总是用来可视化数据的最佳方式。
大数据可视化的典型需求（包括新出现的需求）如下所示：

执行流数据的实时分析和显示
基于上下文，以交互方式挖掘数据
执行高级搜索，并获得建议
并行可视化信息
获得先进的硬件，支持未来的可视化需求

正在进行研究，以确定人类和机器如何使用大数据洞察。这些挑战包括所涉及的数据量，并且需要将数据与上下文相关联。必须在适当的上下文中显示洞察。
可视化数据的目的是为了更容易、更直观地使用数据，因此报告和仪表板可能提供全高清的观看效果和 3-D 互动视频，并且可以为用户提供使用应用程序控制业务活动和结果的能力。
即席发现模式创建满足所有业务需求的标准报告往往是不可行的，因为企业的业务数据查询会有不同的需求。用户在查找特定信息时，可能需要获得根据问题的上下文执行即席查询的能力。
即席分析可以帮助数据科学家和关键业务用户了解业务数据的行为。即席处理中涉及的复杂性来自多种因素：

多个数据源可用于相同的域。
单一的查询可以有多个结果。
输出可以是静态的，并具有多种格式（视频、音频、图形和文本）。
输出可以是动态和交互式的。

加强传统的数据存储在大数据的初步探索中，许多企业选择使用现有的分析平台来降低成本，并依赖于现有的技能。加强现有的数据存储有助于拓宽可用于现有分析的数据的范围，包括驻留在组织边界内外的数据，比如社交媒体数据，它可以丰富主数据。通过拓宽数据范围，使之包含现有存储中的新事实表、维度和主数据，并从社交媒体获取客户数据，组织可以获得更深入的客户洞察。
但要牢记的是，新的数据集通常比较大，而现有的提取、转换和加载工具可能不足以处理它。您可能需要使用具有大规模并行处理能力的高级工具来解决数据的数量、多样性、真实性和速度特征。
通知模式大数据洞察使人类、企业和机器可以通过使用事件通知而立即采取行动。通知平台必须能够处理及时发送出去的预计数量的通知。这些通知与大量邮件或群发短信不同，因为内容一般是特定于使用者的。例如，推荐引擎可以提供有关世界各地的庞大客户群的洞察，而且可以将通知发送给这样的客户。
启动一个自动响应模式从大数据获得的业务洞察，可用于触发或启动其他业务流程或事务。

欢迎光临电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/)