【任务描述】

从“结绳记事”到“书于竹帛，镂于金石”,再到近现代科学的“数据建模”,数据 一直伴随着人类社会的发展变迁。随着信息技术的飞速发展，尤其是计算机的普及，现代社 会各领域的数据处理能力得到了巨大提升。 本任务旨在引导学生深入理解大数据的概念及其 特性。

 

【任务实施】

一、大数据概述

(一) “大数据”名称的由来

大多数学者认为，  “大数据”这一名称最早提出于1998年。美国高性能计算公司SGI的 首席科学家约翰 · 马西 ( John    Mashey)  在一个国际会议报告中指出，随着数据量的快速增 长，必将出现数据难理解、难获取、难处理和难组织等难题，并用“大数据”来描述这一挑 战。此后，这一观点在计算领域引发广泛思考。  “大数据”的概念最早见于2012年由维克 托 ·迈尔 ·舍恩伯格 (Viktor   Mayer-Schönberger)    和肯尼斯 ·库克耶 (Kenneth     Cukier)  出 版 的《大数据时代》 一书。这本书是国外大数据研究的先河之作，作者维克托 · 迈尔 · 舍恩伯格 被誉为“大数据商业应用第一人”。

对“大数据”进行收集和分析的设想，来自世界知名的管理咨询公司麦肯锡公司 (McKinsey      &Company)。 麦肯锡公司看到了各种网络平台记录的个人海量信息具备潜 在的商业价值，于是投入大量人力物力进行调研，并在2011年5月发布了题为《大数据：创 新、竞争和生产力的下一个前沿》的研究报告。报告指出，数据已经渗透到每一个行业和业 务职能领域，逐渐成为重要的生产因素，而人们对于海量数据的运用将预示着新一波生产率 增长和消费者盈余浪潮的到来。该报告对“大数据”的影响、关键技术和应用领域等都进行 了详尽的分析。

(二)大数据的定义

大数据是什么?世界知名IT 研究和分析机构高德纳咨询公司 ( Gartner)    给出了这样的 定义：大数据 ( big    data) 是需要新处理模式才能具有更强的决策力、洞察发现力和流程优 化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究院 ( McKinsey    Global Institute)    给出的“大数据”定义是“一种规模大到在获取、存储、管理、分析方面大大超 出了传统数据库软件工具能力范围的数据集合”。维基百科认为，大数据是指其大小或复杂 性无法通过现有常用的软件工具，以合理的成本并在可接受的时限内对其进行捕获、管理和 处理的数据集。总而言之，大数据是一种大规模的数据集合，在存储和管理分析方面远远超 过过去的传统软件，因此被称为大数据。

综上所述，大数据其实就是海量的难以用常规数据库工具获取、存储、管理、分析的数据集合。

(三)大数据的特性

大数据通常具备5个主要特性，也被称为“5V”  特性。

1.体量大 (Volume)

大数据的核心特性在于其庞大的规模。据统计，互联网一天产生的内容足以制成1.68亿张DVD,  发送2940亿封邮件，并产生200万个帖子。这反映了社交网络、电子商务和移动通 信的迅猛发展，也促使人们进入了以PB  ( 拍字节)①为单位的时代。为此，人们需要使用智 能的算法、强大的平台和革新过的技术来统计、分析、预测和实时处理这些数据。

2.速度快 (Velocity)

高速是大数据区别于传统数据挖掘最显著的一个特征。以1PB的数据存储为例，即使拥 有高达1G/s 的带宽(网速)及具备足够容量的电脑并全天候运行，完成这一数据的存储仍需 耗时12天之久。然而，借助云计算的强大能力，大数据能够实现惊人的高速处理，将原本需 12天才能完成的任务在短短20分钟内迅速完成。

3.多样性 (Variety)

广泛的数据来源决定了大数据形式的多样性，其种类可以分为以下3类：①结构化数据， 如财务、医疗系统数据，其特点是数据间因果关系强；②非结构化的数据，如音视频，其特 点是数据间没有因果关系；③半结构化数据，如网页、邮件，其特点是数据间的因果关系较 弱。相关统计显示，70%～85%的大数据是非结构化和半结构化的数据。

4.价值密度低 (Value)

大数据的精髓在于其内在的价值。现实世界每天产生的海量数据中，有价值的数据所占 比例很小，因此大数据的价值密度很低。大数据技术就是要从大量不相关的各类数据中挖掘出 有价值的数据，并通过机器学习、人工智能或数据挖掘等方法进行深度分析，发现新规律和新 知识，并运用于农业、金融、医疗等多个领域，达到提高生产效率、推进科学研究的效果。

5.真实性 (Veracity)

大数据的真实性也就是数据的准确性和可信度。在大数据时代，数据的源头众多，质量 参差不齐，存在大量噪声数据和错误数据。因此，确保数据的真实性是大数据分析和应用的 基础。大数据的真实性不仅要求数据的来源可靠，还要在数据采集、传输、存储和分析等各个环节中保持数据的完整性和准确性。