大数据架构和模式，第 4 部分 了解用于大数据解决方案的原子模式和复合模式-2

look_w

处理模式无论数据是处于静止状态还是在运动中，都可以处理大数据。具体情况取决于分析的复杂性，有可能不需要对数据进行实时处理。这种模式解决了对大数据进行实时、近实时或批量处理的方式。
以下高级的大数据处理类别适用于大多数分析。这些类别通常也适用于基于 RDBMS    的传统系统。惟一的区别是庞大规模的数据、多样性和速度。在处理大数据时，要使用机器学习、复杂事件处理、事件流处理、决策管理和统计模型管理等技术。
历史数据分析模式传统的历史数据分析仅限于预定义的数据时间段，这通常取决于数据保留策略。由于处理和存储的限制，超出此时间段的数据通常会被归档或清除。基于 Hadoop    的系统和其他等效的系统可以克服这些限制，因为它们具有丰富的存储以及分布式大规模并行处理能力。运营、业务和数据仓库的数据被移动到大数据存储，您通过使用大数据平台功能对它们进行处理。
历史分析包括分析给定时间段、季节组合和产品的历史趋势，并与最新的可用数据进行比较。为了能够存储和处理如此庞大的数据，您可以使用 HDFS、NoSQL、SPSS® 和    InfoSphere® BigInsights™。
高级分析模式大数据提供了很多实现创意洞察的机会。不同的数据集可以在多种上下文中存在关联。发现这些关系需要创新的复杂算法和技术。
高级分析包括预测、决策、推理过程、模拟、上下文信息标识和实体解析。高级分析的应用包括生物统计数据分析（例如，DNA    分析）、空间分析、基于位置的分析、科学分析、研究，等等。高级分析要求大量的计算来管理大量的数据。
数据科学家可以指导您识别合适的技术、算法和数据集，以及在给定上下文中解决问题所需的数据源。比如 SPSS、InfoSphere Streams 和 InfoSphere    BigInsights 等工具提供了这类功能。这些工具访问存储在大数据存储系统（比如 BigTable、HBase，等等）中的非结构化数据和结构化数据（例如，JSON 数据）。
预处理原始数据模式大数据解决方案主要由基于 MapReduce 的 Hadoop 系统和技术组成，MapReduce    是开箱即用的分布式存储和处理解决方案。然而，从非结构化数据提取数据（例如，图像、音频、视频、二进制提要，甚至是文本）是一项复杂的任务，需要具有机器学习能力并掌握自然语言处理等技术。另一个主要挑战是如何验证这些技术和算法的输出的准确度和正确性。
要对任何数据执行分析，数据都必须是某种结构化格式。从多个数据源访问的非结构化数据可以按原样存储，然后被转化成结构化数据（例如    JSON），并被再次存储到大数据存储系统中。非结构化文本可以转换成半结构化或结构化数据。同样，图像、音频和视频数据需要转换成可用于分析的格式。此外，使用预测和统计算法的高级分析的准确性和正确性取决于用来训练其模型的数据和算法的数量。
下面的列表显示了将非结构化数据转换成结构化数据所需的算法和活动：

• 文档和文本分类
• 特征提取
• 图像和文本分割
• 关联特征、变量和时间，然后提取包含时间的值
• 输出的准确度检查使用了混淆矩阵（confusion matrix）等技术和其他手动活动

数据科学家可以帮助用户选择合适的技术和算法。
即席分析模式处理大数据的即席查询所带来的挑战不同于对结构化数据执行即席查询时所面临的挑战，由于数据源和数据格式不是固定的，所以需要使用不同的机制来检索和处理数据。
虽然大数据供应商可以处理简单的即席查询，但在大多数情况下，查询是复杂的，因为必须在运行时动态地发现数据、算法、格式和实体解析。所以需要利用数据科学家和业务用户的专业知识来定义下列任务所需的分析：

• 识别并发现计算和算法
• 识别并发现数据源
• 定义所需的可以由计算使用的格式
• 对数据执行并行计算

访问模式在大数据解决方案中，有许多数据源，还有很多访问数据的方式，本节将介绍最常见的几种。
Web 和社交媒体访问模式Internet 是提供许多目前可以获得的洞察的数据源。在几乎所有分析中，都会用到 Web 和社交媒体，但获得这种数据需要不同的访问机制。
在所有数据源中，因为 Web 和社交媒体的多样性、速度和数量，所以 Web 和社交媒体是最为复杂的。网站大约有 40-50    个类别，每一个类别都需要使用不同的方式来访问数据。本节将列出这些类别，并介绍一些访问机制。从大数据的角度讲，高级的类别是商业站点、社交媒体站点，以及具有特定和通用组件的站点。有关的访问机制见图    3。如果需要的话，在完成预处理后，可将所访问的数据存储在数据存储中。
图 3. Web 和社交媒体访问需要执行以下步骤来访问 Web 媒体信息。
图 4. 大数据访问步骤非结构化数据存储中的 Web 媒体访问

• 步骤 A-1. 爬网程序读取原始数据。
• 步骤 A-2. 数据被存储在非结构化存储中。

Web 媒体访问为结构化存储预处理数据

• 步骤 B-1. 爬网程序读取原始数据。
• 步骤 B-2. 对数据进行预处理。
• 步骤 B-3. 数据被存储在结构化存储中。

Web 媒体访问预处理非结构化数据

• 步骤 C-1. 在极少数情况下，来自供应商的数据可以是非结构化数据。
• 步骤 C-2. 对数据进行预处理。
• 步骤 C-3. 数据被存储在结构化存储中。

非结构化或结构化数据的 Web 媒体访问

• 步骤 D-1. 数据供应商提供结构化或非结构化数据。
• 步骤 D-2. 数据被存储在结构化或非结构化存储中。

Web 媒体访问预处理非结构化数据

• 步骤 E-1. 不能使用在存储时未经过预处理的非结构化数据，除非它是结构化格式的数据。
• 步骤 E-2. 对数据进行预处理。
• 步骤 E-3. 经过预处理的结构化数据被存储在结构化存储中。

如图所示，数据可以直接存储在存储器中，或者可以对它们进行预处理，并将它们转换成一个中间格式或标准格式，然后再存储它们。
在可以分析数据之前，数据格式必须可用于实体解析或用于查询所需数据。这种经过预处理的数据可以存储在一个存储系统中。
虽然预处理通常被认为是微不足道的，但这项处理可能非常复杂和耗时。