电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛

标题: 科普帖：五分钟快速了解大数据（1） [打印本页]

作者: look_w 时间: 2019-3-4 20:35 标题: 科普帖：五分钟快速了解大数据（1）

大数据定义

一般而言，大数据是指数量庞大而复杂，传统的数据处理产品无法在合理的时间内捕获、管理和处理的数据集合。

这些大数据集可以包括结构化、非结构化和半结构化数据，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

究竟有多少数据才能实构成“大”数据呢？这也是有争议的，大数据的大小经常改变，截至2012年，单一数据集的大小从数太字节（TB）至数十兆亿字节（PB）不等。

大数据通常以三个V来表征：

＊数据量的大小（volume）

＊数据类型的多样性（Variety）

＊数据处理和分析的速度（Velocity）

构成大数据存储的数据可以来自包括网站、社交媒体、桌面和移动应用、科学实验以及物联网（IoT）中越来越多的传感器和其他设备。

大数据概念包含了一组相关的组件，使企业能够将数据实际使用并解决一些业务问题。其中包括支持大数据所需的IT基础架构、分析应用于数据、大数据项目所需的技术、相关技能组合、以及对大数据有意义的实际使用案例。

大数据和分析

应用于数据的分析才是真正能够从大数据集合中获得价值的所在。没有分析，大数据集合也只是一堆有限的商业数据。

通过对大数据进行分析，企业可以从分析结果中得出诸如增加销售额、改善客户服务、提高效率等结论，全面提升企业竞争力。数据分析包括检查数据集，以获得对其所包含内容得出的结论，例如关于未来活动的趋势和预测。通过分析数据，企业可以做出更明智的业务决策，例如该在何时何地进行营销活动等。

分析可以参考基本的商业智能应用程序或更高级的预测性分析，例如科学组织使用的分析。在最先进的数据分析类型中，数据挖掘是分析师评估大型数据集以识别关系的一种方式。

数据分析可以包括探索性数据分析（识别数据中的模式和关系）和验证性数据分析（应用统计技术来确定关于特定数据集的假设是否属实）。另一个区分是定量数据分析（或数字数据分析，其中有可量化的变量，可以进行统计比较）与定性数据分析（侧重于非数字数据、如视频、图像和文本）。

IT基础架构来支持大数据

为了能让大数据概念发挥作用，企业需要有适当的基础设施来收集和存储数据，提供对数据的访问，并在存储和传输过程中保护信息。在高层次上，这其中包括为大数据、数据管理和集成软件、商业智能和数据分析软件以及大数据应用设计的存储系统和服务器。

由于公司希望继续利用数据中心投资，因此大部分基础架构可能都是内部部署的。但越来越多的企业依靠云计算服务来处理大部分大数据需求。

数据收集这一过程需要数据源。网络应用程序、社交媒体渠道、移动应用程序和电子邮件档案已经到位，但随着物联网逐渐成熟，企业可能需要在各种设备、车辆和产品上部署传感器来收集数据，以及生成用户数据的新应用程序。

为了存储所有传入的数据，企业需要有适当的数据存储。存储选项包括传统的数据仓库、数据湖和基于云的存储。

安全基础设施工具可能包括数据加密、用户身份验证和其他访问控制、监控系统、防火墙、企业移动管理以及其他保护系统和数据的产品。

欢迎光临电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/)