电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛

标题: 大数据架构和模式，第 3 部分理解大数据解决方案的架构层-2 [打印本页]

作者: look_w 时间: 2017-12-24 16:44 标题: 大数据架构和模式，第 3 部分理解大数据解决方案的架构层-2

信息集成大数据应用程序从各种数据起源、提供程序和数据源获取数据，并存储在 HDFS、NoSQL 和 MongoDB 等数据存储系统中。这个垂直层可供各种组件使用（例如数据获取、数据整理、模型管理和交易拦截器），负责连接到各种数据源。集成将具有不同特征（例如协议和连接性）的数据源的信息，需要高质量的连接器和适配器。可以使用加速器连接到大多数已知和广泛使用的来源。这些加速器包括社交媒体适配器和天气数据适配器。各种组件还可以使用这一层在大数据存储中存储信息，从大数据存储中检索信息，以便处理这些信息。大多数大数据存储都提供了服务和 API 来存储和检索该信息。
大数据治理数据治理涉及到定义指南来帮助企业制定有关数据的正确决策。大数据治理有助于处理企业内或从外部来源传入的数据的复杂性、量和种类。在将数据传入企业进行处理、存储、分析和清除或归档时，需要强有力的指南和流程来监视、构建、存储和保护数据。
除了正常的数据治理考虑因素之外，大数据治理还包含其他因素：

管理各种格式的大量数据。
持续培训和管理必要的统计模型，以便对非结构化数据和分析进行预处理。请记住，设置处理非结构化数据时的重要一步。
为外部数据设置有关其保留和使用的策略和合规性制度。
定义数据归档和清除策略。
创建如何跨各种系统复制数据的策略。
设置数据加密策略。

服务质量层此层复杂定义数据质量、围绕隐私和安全性的策略、数据频率、每次抓取的数据大小和数据过滤器：

数据质量
- 完整地识别所有必要的数据元素
- 以可接受的新鲜度提供数据的时间轴
- 依照数据准确性规则来验证数据的准确性
- 采用一种通用语言（数据元组满足使用简单业务语言所表达的需求）
- 依据数据一致性规则验证来自多个系统的数据一致性
- 在满足数据规范和信息架构指南基础上的技术符合性
围绕隐私和安全的策略
需要策略来保护敏感数据。从外部机构和提供程序获取的数据可能包含敏感数据（比如 Facebook 用户的联系信息或产品定价信息）。数据可以来源于不同的地区和国家，但必须进行相应的处理。必须制定有关数据屏蔽和这类数据的存储的决策。考虑以下数据访问策略：
- 数据可用性
- 数据关键性
- 数据真实性
- 数据共享和发布
- 数据存储和保留，包括能否存储外部数据等问题。如果能够存储数据，数据可存储多长时间？可存储何种类型的数据？
- 数据提供程序约束（政策、技术和地区）
- 社交媒体使用条款（参见）
数据频率
提供新鲜数据的频率是多少？它是按需、连续还是离线的？
抓取的数据大小
此属性有助于定义可抓取的数据以及每次抓取后可使用的数据大小。
过滤器
标准过滤器会删除不想要的数据和数据中的干扰数据，仅留下分析所需的数据。

系统管理系统管理对大数据至关重要，因为它涉及到跨企业集群和边界的许多系统。对整个大数据生态系统的健康的监视包括：

管理系统日志、虚拟机、应用程序和其他设备
关联各种日志，帮助调查和监视具体情形
监视实时警告和通知
使用显示各种参数的实时仪表板
引用有关系统的报告和详细分析
设定和遵守服务水平协议
管理存储和容量
归档和管理归档检索
执行系统恢复、集群管理和网络管理
策略管理

结束语对开发人员而言，层提供了一种对大数据解决方案必须执行的功能进行分类的途径，为组织建议必需执行这些功能所需的代码。但是，对于想要从大数据获取洞察的业务用户，考虑大数据需求和范围通常会有所帮助。原子模式解决了访问、处理、存储和使用大数据的机制，为业务用户提供了一种解决需求和范围的途径。下一篇文章将介绍用于此用途的原子模式。

欢迎光临电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/)