物联网数据采集系统中采集的数据怎么进行处理

浅谈物联网与大数据的关系_行业动态_新闻中心_RFID世界网
浅谈物联网与大数据的关系
作者:本站收录
来源:互联网爆料者
摘要:有人已经预言未来的时代僵尸一个“大数据”的时代,关注大数据的人越来越多,同时物联网的出现与发展推动了数据采集的能力,为数据库的建立提供了有力的支撑。而大数据的处理结果可以通过物联网这一平台有效地执行。数据的采集处理应用必将成为时代的发展主题。
关键词:[17926篇]&&[1993篇]&&
  有人已经预言未来的时代僵尸一个&大数据&的时代,关注大数据的人越来越多,同时物联网的出现与发展推动了数据采集的能力,为数据库的建立提供了有力的支撑。而大数据的处理结果可以通过物联网这一平台有效地执行。数据的采集处理应用必将成为时代的发展主题。
  物联网概念的提出
  1998年,MIT的Kevin Ashton第一次提出:把RFID技术与传感器技术应用于日常物品中形成一个&物联网&
  2005年,ITU报告:物联网是通过RFID和智能计算等技术实现全世界设备互联互联的网络。
  2008年,IBM提出:把传感器设备安装到各种物体中,并且普遍链接形成网络,即&物联网&,进而再次基础上形成&智慧地球&。
  物联网形式早已存在,统一意义上的物联网概念提出是在架构在互联网发展成熟的基础上。
  物联网是互联网的应用拓展,与其说物联网是网络,不如说物联网是业务和应用。因此,应用创新是物联网发展的核心,以用户体验为核心是物联网发展的灵魂。
  大数据,指的是所涉及的资料量规模据达到无法透过目前主流软件工具,在河里时间内达到管理、处理并且整理成为帮助企业经营决策更有积极目的的资讯。
  大数据的误区
  1、&大数据&不等于&海量数据&;
  2、&大数据&不是一门&新兴技术&;
  3、&大数据&不仅仅是&一种理念&。
  智慧化的新经济形态
  外在:物联网
  人和机器的智慧融合
  信息和物理世界的智慧融合
  信息化与三大产业的智慧融合
  内涵:大数据
  每个人都是数据产生者、拥有者和消费者;
  数据成为新&工业&革命的原材料;
  数据中提出信息和智慧
  新范式的确立表现为智慧产品的普遍化。
相关新闻:8-48-48-48-48-4
关键字搜索:技术文章:[487篇]&&[6篇]&&成功应用:[189篇]&&[2篇]&&解决方案:[317篇]&&[1篇]&&
图片新闻:
最新发布产品您所在位置: &
&nbsp&&nbsp&nbsp&&nbsp
第6章_物联网数据处理报告.ppt 86页
本文档一共被下载:
次 ,您可全文免费在线阅读后下载本文档。
下载提示
1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
第6章_物联网数据处理报告
你可能关注的文档:
··········
··········
物联网工程概论 第五讲内容安排 后台数据库技术
数据库概述
关系型数据库
SQL查询语言 资源受限网络的分级数据融合
节点的分簇控制
簇内数据融合
分布式数据存储与处理 数据挖掘与海计算
数据仓库与数据挖掘技术
云计算概述
海计算的概念与未来 第五讲内容安排 后台数据库技术
数据库概述
关系型数据库
SQL查询语言 资源受限网络的分级数据融合
节点的分簇控制
簇内数据融合
分布式数据存储与处理 数据挖掘与海计算
数据仓库与数据挖掘技术
云计算概述
海计算的概念与未来 物联网数据处理 物联网中的个体通过感应器来感知信息,然后通过中间传输网来传送信息,最后在数据处理中心进行智能处理和控制。 随着物联网技术的广泛应用,我们将面对大量异构的、混杂的、不完整的物联网数据。在物联网的万千终端收集到这些数据后,如何对它们进行处理、分析和使用成为物联网应用的关键。 本讲对物联网中的后台数据库技术、数据挖掘技术和云计算与海计算技术逐一介绍。
后台数据库技术 数据库是一项专门研究如何科学地组织和存储数据、如何高效地获取和处理数据的技术。 主要内容: 数据库的基本概念 关系型数据库 SQL查询语言
数据库概述
1.数据库相关的基本概念
数据(Data)是描述事物的符号记录,数字、文本、声音和图像等都是数据。数据有多种表现形式,它们都能数字化后存入计算机,数据是数据库中存储的基本对象。
(1) 数据库
数据库(DataBase, DB)从字面上来看,就是存放数据的仓库,只不过这个仓库是在计算机存储设备上,而且数据是按一定格式存放的。 数据库是指长期存储在计算机内、有组织的、可共享的大量数据的集合。 数据库中的数据按一定的数据模型组织、描述和储存,具有较小的冗余度(redundancy)、较高的数据独立性(independency)和易扩展性(expandability),并可为各种用户共享。
数据库概述
(2) 数据库管理系统
数据库管理系统(DataBase Management System, DBMS)是位于用户与操作系统之间的一层数据管理软件,它允许用户对数据库中的数据进行操作,并将操作结果以某种格式返回给用户。数据库管理系统和操作系统一样是计算机的基础软件,也是一个大型复杂的软件系统。
数据库管理系统的主要功能如下: ① 数据定义功能 ② 数据组织、存储和管理 ③ 数据操纵功能 ④ 数据库的事务管理和运行管理 ⑤ 数据库的建立和维护功能 ⑥ 其他功能:通信功能、数据转换功能、异构数据库之间的互访和互操作的功能等。 数据库概述
(3) 数据库系统
数据库系统(DataBase System,DBS)是指一个采用数据库技术的计算机存储系统。 广义地讲,数据库系统是由计算机硬件、操作系统、数据库管理系统以及在它支持下建立起来的数据库、应用程序、用户和维护人员组成的一个整体。 狭义地讲,数据库系统由数据库、数据库管理系统和用户组成。需要指出的是,数据库的建立、使用和维护等工作只靠一个DBMS远远不够,还需要专门的人员来完成,这些人员被称为数据库管理员(DataBase Administrator, DBA)。
数据库概述
数据库概述
2. 数据管理技术的产生与发展
数据库技术是应数据管理任务的需要而产生的,数据管理则是对数据进行分类、组织、编码、存储、检索和维护,它是数据处理的中心问题。数据处理是指对各种数据进行收集、存储、加工和传播的一系列活动的总和。 在应用需求的推动下和计算机硬件、软件发展的基础上,数据管理技术经历了三个阶段: 人工管理 文件系统 数据库系统 数据库概述
数据库技术从20世纪60年代中期产生到现在仅仅50余年的历史,但其发展速度之快、使用范围之广是其他技术所不及的。 60年代末出现了最早的数据库——层次数据库,随后在70年代出现了网状数据库,在此阶段层次数据库和网状数据库占据了商用市场主流。 在70年代同时出现了处于实验阶段的关系数据库,后来,随着计算机硬件性能的改善,关系系统的使用简便,关系数据库系统已逐渐替代了网状数据库和层次数据库,成为当今最流行的商用数据库系统。 20世纪90年代,由于计算机应用的需求,数据库技术与面向对象、网络技术相互渗透,对象数据库技术和网络数据库技术得到了深入研究。
数据库概述
数据库概述
3. 数据库系统的特点
数据库是在计算机内按照数据结构来组织、存储和管理大量共享数据的仓库,它可以让各种用户共享,并具有最小冗余度和较高的数据独立性。 DBMS在数据库建立、运用和维护时对数据库进行统一控制,以保证数据的完整性、安全性,并会在多用户同时使用数据库时进行并发控制,在发生故障时对数据
正在加载中,请稍后...《6 物联网数据与信息处理》 www.wenku1.com
6 物联网数据与信息处理日期:
本章内容1 数据库系统的起源与发展2 关系数据库3 物联网与数据库4 资源受限网络的分级数据融合节点的分簇控制簇内数据融合分布式数据存储与处理5 数据挖掘与海计算数据仓库与数据挖掘技术海计算的概念与未来6 大数据本章内容1 数据库系统的起源与发展2 关系数据库3 物联网与数据库4 资源受限网络的分级数据融合节点的分簇控制簇内数据融合分布式数据存储与处理5 数据挖掘与海计算数据仓库与数据挖掘技术海计算的概念与未来6 大数据6 物联网数据与信息处理海量数据智能处理管理服务层解决数据存储(数据库与海量存储技术),检索(搜索引擎),使用(数据挖掘与机器学习)以及如何不被滥用(数据安全与隐私保护)等问题。本章将介绍关系数据库的相关概念以及物联网对数据库的新需求。内容提要1数据库与物联网核心技术物联网数据特点:综合应用层管理服务层海量性,多态性,关联性及语义性网络构建层感知识别层关系数据库系统作为一项有着近半个世纪历史的数据处理技术,仍可为物联网的运行提供支撑。与此同详见第10章时,结合物联网应用提出的新需求,数据库技术也在进行不断的更新,发展出新的方向。SABRE 是早期最成功的数据库系统; 加州大学伯克利分校开发的Ingres:Sybase 和微软的SQL Server IBM 开发的System R:Oracle 和IBM 的DB2数据库与物联网关系型数据库的缺点:缺乏对复杂查询的有效处理对于涉及多表的复杂查询,关系数据库必须处理大量的连接运算。 缺乏对Web 应用的支持1)社交网站允许信息的更新存在一定的时延。鉴于社交网站的分布式存储,这种差异是允许存在的。但是关系型数据库则要求“数据一致性”,牺牲了部分性能。2)Web 网站要求数据库能够高效地存储、查询。在上亿条记录中进行SQL 查询,关系数据库显得有些力不从心。3)Web 网站需要数据库支持高达上万的并发读写量。针对如此密集的数据库操作,依赖普通磁盘I/O操作的关系数据库显得远远不够。新兴数据库系统(NoSQL 数据库)针对非关系型、分布式的数据存储,并不要求数据库具有确定的表模式,通过避免连接操作提升数据库性能。本章内容1 数据库系统的起源与发展2 关系数据库3 物联网与数据库4 资源受限网络的分级数据融合节点的分簇控制簇内数据融合分布式数据存储与处理5 数据挖掘与海计算数据仓库与数据挖掘技术海计算的概念与未来6 大数据23本章内容1 数据库系统的起源与发展2 关系数据库3 物联网与数据库4 资源受限网络的分级数据融合节点的分簇控制簇内数据融合分布式数据存储与处理5 数据挖掘与海计算数据仓库与数据挖掘技术海计算的概念与未来6 大数据SQL 查询语言*SQL (Structured Query Language)结构化查询语言是现代数据库中应用最广泛的查询语言。语法中支持的查询部分与关系代数十分接近。o选择运算σC (R):SELECT * FROM R WHERE C;o投影运算πA1,A2,…,An(σC (R)):SELECT A1,A 2,……,A k FROM R WHERE C;o集合运算:运算符INTERSECT 、EXCEPT 、UNIONo连接运算:SELECT R.sid, T.temperature, T.humidity,FROM R, T WHERE R.sid= T.sido子查询:SELECT * FROM R WHERE latitude < (SELECT latitude FROM RWHERE sid= 3);4传感器网络的数据存储分布式存储o数据可保存在“存储节点”上o查询被分发到网络中去,由存储节点返回查询结果集中式存储o数据全部保存在sink 端(汇聚点)o查询仅在sink 端进行资源受限网络的分级数据融合o无线传感器网络是一种资源受限的网络,节点仅提供有限的计算能力、通信能力和供电能力,而且,在这种网络中节点过多、分布较广。o传感器网络可以根据节点间距离的远近划分成簇(Clustering ),而基于簇的分层结构具有天然的分布式处理能力,这样可以提高受限网络的资源利用率和数据处理的效率。o下面主要介绍WSN 中的节点分簇控制、簇内数据融合及分布式数据存储与处理。11/3/ PM29本章内容1 数据库系统的起源与发展2 关系数据库3 物联网与数据库4 资源受限网络的分级数据融合节点的分簇控制簇内数据融合分布式数据存储与处理5 数据挖掘与海计算数据仓库与数据挖掘技术海计算的概念与未来6 大数据节点的分簇控制o1. 分簇的网络结构–随着无线传感器网络自组网规模的扩大,节点链路处理开销不断加大,网络对事件的响应速度变慢,可以通过传感器网络的节点分簇控制机制来解决这些问题。–分簇是指将传感器网络中一定区域内的节点组成称为簇(member cluster )的控制单元,每个簇成员(cluster head )。)都把自己感知的数据传输给簇头(cluster –簇头是一个分布式处理中心,即无线传感器网络中的一个汇聚节点(sink node),簇头作为小规模范围内的节点控制者,它负责收集和协调簇内节点监测到的数据,再传输给基站(base-station )。11/3/ PM305节点的分簇控制o2. 节点分簇控制的优点–①采用层次结构后,簇内成员节点只需要与所属簇的簇头通信,而簇头只需要和其它簇头交换路由信息,因此,可以降低传感器网络路由协议的复杂度,减少节点路由表项的数目,同时,路由维护开销也随之降低且具有较好的可扩展性,更加适合于大规模WSN 的应用场景。–②在满足一定约束条件下,例如,覆盖范围与采样精度要求等,簇内成员节点可以在某些时间段内关闭无线通信模块,从而大幅度减少节点空闲等待时的能量消耗。–③在一个簇内部,簇内成员节点采集到的数据通常具有较大的相关性,因此,在簇头节点上可以采用数据融合算法,在保证一定信息质量的情况下减少数据通信量,可以降低数据转发的能量开销。11/3/ PM33节点的分簇控制o典型分簇控制算法LEACHoLEACH (Low-Energy Adaptive Clustering Hierarchy )是无线传感器网络中最早提出的且具有代表性的分簇算法,它使用随机轮转在传感器节点间平均分配能量负载。o该算法工作的假设条件是传感器网络中的节点发射功率足够大,任何节点都可以一跳到达基站,所有节点在网内的地位是一样的。11/3/ PM35节点的分簇控制o传感器网络是由多个簇构成,每个簇包括簇头和成员两种类型的节点。处在同一簇内的簇头和成员节点共同维护所在簇的路由信息,簇头节点负责所管辖簇内数据信息的压缩和融合处理,并与基站交换信息。o这种两级分簇结构适用于小规模传感器网络,如果网络规模较大,需要在多个簇头节点之间转发(forward)消息,最终把数据传输到基站,这时涉及到传感器网络的路由(routing )问题,即按照什么规则寻找下一跳节点。11/3/ PM32节点的分簇控制o3. 典型分簇控制算法–根据不同的分类标准,分簇控制算法可以有多种分类方法。–以簇形成是否存在集中控制,可划分为集中式、分布式算法。–以是否需要预先获得节点位置信息,可划分为基于地理位置、不基于地理位置的算法。–以每次分簇是否存在一个确定的结果,可划分为确定性和随机性分簇算法等。–在这些算法中,LEACH 是分布式、无需地理位置的随机分簇控制算法。11/3/ PM346节点的分簇控制o在每个节点决定加入选定的簇后,它必须通知对应的簇头节点将其设置为簇内成员,每个节点同样用CSMA MAC协议把这个信息发回给簇头,在这段时间,所有簇头节点必须打开接收设备。o簇头节点接收到所有想加入该簇的节点消息后,簇头节点基于簇内节点的数量建立TDMA 调度方案,告诉每个簇内节点什么时候可以发送消息,这个调度信息被广播给簇内节点。至此,成簇阶段结束。11/3/ PM39节点的分簇控制o(2)数据传输阶段–在数据传输阶段,簇内成员节点根据分配给自己的TDMA 时间片向簇头发送自己的感知数据,而在其他时刻可以进入休眠状态,从而节省能量。–为了避免相邻簇内节点的通信干扰,各个簇之间都采用不同的CDMA 码片。–当簇头节点接收到数据后,进行簇内数据融合等处理,再把数据以CSMA/CA方式传输给基站。11/3/ PM41节点的分簇控制–其中,–P 0.05:预先确定的簇头占总节点数的比值,比如,可取值;–r :当前轮数;–G :在过去的r-1轮中尚未当选簇头的节点集合。o每个自我选举成为当前轮的簇头的节点广播公告信息给其余节点,在广播“簇头公告信息”时,簇头使用CSMA MAC协议,并且所有簇头节点用同样的发射能量发送它们各自的公告信息。在这段时间,非簇头节点必须打开接收设备,收听所有簇头节点的公告,这段时间过后,每个非簇头节点根据收到的公告的信号强弱,决定这一轮加入哪个簇。o在通信链路对称的情况下,普通节点以收到的簇头公告的信号最强的簇头为自己所加入簇的簇头,此时,仅需最少的发送能量就能与该簇头通信。11/3/ PM38节点的分簇控制oLEACH 协议某两轮成簇的网络结构。11/3/ PM407簇内数据融合o数据融合的概念始于20世纪70年代初期,在80年代得到了长足发展。o近几年来,数据融合技术已经引起世界范围内的普遍关注,且在一些重大研究项目上取得了突破性进展,不少数据融合技术的研究成果和实用系统已在1991年的海湾战争中得到实战验证,取得了理想效果。11/3/ PM43簇内数据融合–③对特征矢量进行模式识别和处理,完成各传感器关于目标的说明,用到的识别方法可以是聚类算法、自适应神经网络方法,或者其他能将特征矢量变换成目标属性判决的统计模式识别法等;–④将各传感器关于目标的说明数据按同一目标进行分组;–⑤利用融合算法将每一目标的各传感器数据进行合成,得到该目标的一致性解释与描述。11/3/ PM45簇内数据融合o2. 数据融合分类–按照不同的分类标准,数据融合可以有多种不同的分类方法。–根据数据进行融合操作前后的信息量来分:无损融合(lossless aggregation)和有损融合(lossy aggregation );–根据数据融合与应用层数据语义之间的关系来划分:依赖于应用的数据融合和独立于应用的数据融合;–根据融合操作的级别划分:数据级融合、特征级融合和决策级融合三类。11/3/ PM47簇内数据融合o1. 数据融合的原理与方法–多传感器数据融合的工作原理就像人脑综合处理信息一样,充分利用多个传感器资源,通过对多传感器及其观测信息的合理支配和使用,把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合,从而获得被测对象的一致性解释或描述。多传感器数据融合工作过程如下:–①n 个不同的传感器收集观测目标的数据;–②对传感器的输出数据进行特征提取和变换,得到相应的特征矢量;11/3/ PM44簇内数据融合o利用多个传感器获取关于对象和环境全面完整的信息的关键主要在于融合算法,因此,多传感器融合系统的核心问题是如何选择合适的融合算法。o目前,在不少应用领域根据各自的具体应用背景,已经提出了许多成熟并且有效的融合方法,这些多传感器数据融合的方法可以概括为随机和人工智能两大类。随机方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、Dempster-Shafer (D-S )证据推理、产生式规则等。人工智能方法包括模糊逻辑理论、神经网络、粗糙集理论、专家系统等。o信息融合方法的基本要求是要具有鲁棒性和并行处理能力、融合方法的运算速度和精度、与前期预处理系统和后续信息识别系统的接口性能以及对信息样本的要求等。11/3/ PM46簇内数据融合o(1)无损融合和有损融合–在无损数据融合中,所有的细节信息均被保留,此类融合的常见方法是剔除信息中的冗余部分。根据信息理论,无损融合中,信息量整体缩减的大小受到其熵值的限制。–例如,将多个数据分组打包成一个“大的”数据分组,而不改变各个分组所携带的数据内容的方法就属于无损融合。–时间戳融合是无损融合的另一个例子。11/3/ PM488簇内数据融合o(1)无损融合和有损融合–有损融合通常会省略一些细节信息或降低数据的质量,从而减少需要存储或传输的数据量,以达到节省存储资源或能量的目的。–在有损融合中,信息损失的上限是要保留应用所需要的全部信息量。–很多有损融合都是针对数据收集的需求而进行网内处理的必然结果。比如,温/湿度监测应用中,需要查询某一区域内的平均温/湿度或最低、最高温/湿度时,网内将对各个传感器节点所报告的数据进行计算,并只将结果数据报告给查询者。11/3/ PM49簇内数据融合o3. WSN中的数据融合–传感器网络应用往往以数据为中心,人们关心的是某个区域的某个观测指标的值,而不是具体某个节点观测到的值。因此,在传感器网络节点采集、处理信息的过程中,各个节点单独传输数据到基站的方法显然是不合适的。因为节点采集到的数据存在大量冗余信息,这样会浪费大量的通信带宽和宝贵的能量资源。–为避免上述问题,传感器网络采用了数据融合(数据汇聚)技术来减少网内数据传输量。–所谓传感器数据融合是指将多个节点数据进行处理,组合出更准确高效、更符合用户需求的数据的操作。11/3/ PM53簇内数据融合o(2)应用相关/无关的数据融合–数据融合都是针对应用层数据进行的,即数据融合需要了解应用数据的语义。–从实现角度看,数据融合如果在网络分层结构的应用层实现,则与应用数据之间没有语义鸿沟,可以直接对应用数据进行融合;如果在网络层实现数据融合,则需要跨协议层理解应用层数据的含义,即在网络层理解应用层数据,这称为应用相关的数据融合(Application Dependent Data Aggregation,ADDA )技术。11/3/ PM50簇内数据融合o(3)根据融合操作的级别划分–1) 数据级融合o数据级融合是最底层的融合,操作对象是传感器通过采集得到的数据,因此是面向数据的融合。这类融合大多数情况下仅仅依赖于传感器类型,而不依赖于用户需求。–2) 特征级融合o特征级融合通过一些特征提取手段将传感器数据表示为一系列的特征向量,以反映事物的属性,是面向监测对象特征的融合。比如,在温度监测应用中,特征级融合可以对温度传感器数据进行综合,表示成(地区范围,最高温度,最低温度,平均温度) 的形式。–3) 决策级融合o决策级融合根据应用需求进行较高级的决策,是最高级融合。决策级融合的操作可以依据特征级融合提取的数据特征,对监测对象进行判别、分类,并通过简单的逻辑运算,执行满足应用需求的决策。因此,决策级融合是面向应用的融合。比如,在灾难监测应用中,决策级融合可能需要综合多种类型的传感器信息,包括温、震动和毒性气体等,进而对是否发生了灾难性事故进行判断。/湿度11/3/ PM52簇内数据融合o(1)基于卡尔曼滤波的传感器节点数据融合o(2)基于簇内加权数据融合–传感器网络采用分簇层次结构后,在簇内通常要进行簇内数据融合。–簇内数据融合是把一个簇内各个簇成员节点感知到的数据按照某一规则结合为一个最佳估计值。–由于传感器节点是随机放置的,而且各个传感器有各自的测量误差,因此,每个传感器感知到的数据的权重因子也就各不相同,误差小的节点的权重应该较大,而误差大的节点的权重应该较小。11/3/ PM549分布式数据存储与处理o银行的ATM 机采用的就是集中式计算机网络,所有的事务都在银行网络系统的主机上进行处理,终端只提供简单的信息输入、查询处理。这种集中式处理结构总体费用比较低,主机因拥有大量存储空间和强大的计算能力而价格昂贵,但众多的终端因功能简单,其价格非常便宜。o集中式处理不利的一面是来自所有终端的计算需求都是由中央主机完成的,使得系统的性能瓶颈存在于中央主机,当用户数量较大时,网络处理速度可能有些慢。另外,如果各用户有不同的服务需求时,在集中式计算机网络上满足这些需求可能十分困难。11/3/ PM57分布式数据存储与处理o在分布式网络中,数据的计算和处理都是在本地工作站上进行的。数据的输出可以打印,也可以保存在本地存储设备中,通过分布式网络主要是能得到更快、更便捷的数据访问。o分布式计算的优点是可以快速访问,实现多用户共享使用资源,每台计算机都可以访问网络系统内部其他计算机的信息。在系统设计上,分布式计算结构具有更大的灵活性,既可以为独立计算机用户的特殊需求服务,也可以为联网企业的需求提供服务,实现系统内部不同计算机之间的通信。o分布式计算的缺点是对病毒比较敏感,任何用户都可能引入被病毒感染的文件,并将病毒扩散到整个网络。o另外,分布式系统中数据分布在多个地方,难以制定一项有效的备份计划。11/3/ PM59分布式数据存储与处理o图灵奖获得者Jim Gray指出,随着计算机处理能力的提高、网络技术的不断进步和存储容量的飞速发展,数据处理、存储、传输越来越廉价,数据和数据组织才是真正最有价值的东西。o数据的存储和处理经历了由集中式向分布式发展的历程。o1. 集中式数据处理–集中式计算机网络是一个大型的中央计算系统,其终端是客户机。数据全部存储在中央系统内,由数据库管理系统进行管理,而且所有的处理都由该大型计算系统来完成,终端只是用来输入和输出。在这种计算模式里,终端自己不作任何数据处理,所有任务都在中央主机上进行处理。–集中式数据存储、处理的主要特点是把所有数据保存在一个地方,各个远程终端通过电缆同中央计算机(主机)相连,保证了每个终端使用的都是同一信息。11/3/ PM56分布式数据存储与处理o2. 分布式数据处理–个人计算机的性能不断提高及其使用的普及使得处理能力分布到网络上的所有计算机成为可能,分布式计算就是利用互联网上计算机CPU 的闲置处理能力来合力解决大型计算问题的一种计算科学。–例如,通过Internet 上闲置主机的计算能力来寻找最大的梅森素数、寻求最为安全的密码系统和寻找对抗癌症的有效药物等。这些复杂的项目都需要惊人的计算量,仅仅由单个计算机或个人在一个能让人接受的时间内计算完成是决不可能的。11/3/ PM5810分布式数据存储与处理o 分布式数据存储子系统架构 :分布式数据存储与处理o 这种分布式存储技术并不是将数据存储在某个或多个 特定的节点上,而是通过网络使用每台机器上的磁盘 空间,并将这些分散的存储资源构成一个虚拟的存储 设备,数据分散地、结构化地存储在网内的各个地方 。 o 结构化数据是一种用户定义的数据类型,它包含了一 系列的属性,每一个属性都有一个数据类型。结构化 数据存储在关系数据库中时,可以用二维表结构来表 达这些数据。大多数系统都有大量的结构化数据,一 般存储在Oracle或MySQL等关系型数据库中,当系统规 模大到单一节点的数据库无法支撑时,可采用垂直扩 展与水平扩展来分散数据的存储。61 11/3/ PM 6211/3/ PM数据挖掘与海计算本章内容1 数据库系统的起源与发展 2 关系数据库 3 物联网与数据库 4 资源受限网络的分级数据融合节点的分簇控制 簇内数据融合 分布式数据存储与处理o 在物联网的应用中,感知的数据从大量终端收集到后 台数据库,由于环境状况、数据质量等的影响,使得 对这些数据的管理、分析和使用面临巨大的挑战。 o 与传统数据挖掘领域的数据特征相比,物联网数据的 主要特性包括时空性、关联性、质量不高、海量和非 结构性。 o 本节主要介绍在处理物联网数据时用到的数据仓库与 数据挖掘技术、海计算的基本概念。5 数据挖掘与海计算数据仓库与数据挖掘技术 海计算的概念与未来6 大数据11/3/ PM 64数据仓库与数据挖掘技术o 随着数据库技术的飞速发展以及人们获取数据手段的 多样化,人类所拥有的数据量急剧增加,人们面临“ 如何有效存储这些数据的问题“。 o 同时,面对物联网中的海量数据,我们如何提取出有 用信息已引起广泛关注。针对这些问题,数据仓库和 数据挖掘技术应运而生。数据仓库与数据挖掘技术o 数据仓库系统体系结构 :o 1.数据仓库– 为了满足决策支持和联机分析应用的需求,在20世纪90年代 初,一个叫做数据仓库(data warehouse)的概念被提出,它 是现今流行的一种数据存储库的系统结构。数据仓库指的是 面向主题的(subject-oriented)、集成的(integrated)、时变 的(time-variant)和非易失(nonvolatile)的数据集合,用以 支持管理中的决策制定过程。11/3/ PM 65 11/3/ PM 6611数据仓库与数据挖掘技术o 数据处理通常分为两大类:联机事务处理和联机分析 处理。 o 联机事务处理(On-Line Transaction Processing, OLTP )系统也称为面向交易的处理系统,其基本特征是用 户的原始数据可以立即传送到计算中心进行处理,并 在很短的时间内给出处理结果。 o 联机分析处理(On-Line Analytical Processing, OLAP) 系统是数据仓库系统的主要应用,可以用不同的格式 组织和提供数据,以满足不同用户的各种需求,支持 复杂的分析系统,侧重决策支持,并且提供直观易懂 的查询结果。数据仓库与数据挖掘技术o 2.数据挖掘技术 o (1) 数据挖掘概述– 数据挖掘(data mining)的概念在1995年的美国计 算机年会(ACM)上被真正提出,它是指从大量数 据中提取或“挖掘”知识,通俗地讲,就是从大量 的数据中挖掘那些令人感兴趣的、有用的、隐含的 、先前未知的和可能有用的模式和知识的过程。 – 数据挖掘技术从一开始就是面向应用的,目前,数 据挖掘的应用范围极其广泛,涉及到银行、电信、 保险、交通、零售等商业领域,能够解决市场分析 、客户流失分析和客户信用评分等许多典型的商业 问题。67 11/3/ PM 6811/3/ PM数据仓库与数据挖掘技术o (2) 数据挖掘的过程 作为知识发现的过程,数据挖掘工作的基本步骤如下: – ① 了解相关的知识和应用的目标; – ② 创建目标数据集,也就是选择数据; – ③ 数据清理和预处理,一般来讲,此过程的工作量占到整个 数据挖掘过程的60%; – ④ 数据缩减与变换,即找到有用的特征,进行维数增减、变 量增减、不变量的表示等; – ⑤ 选择数据挖掘的功能,如数据特征描述、分类模型数据挖 掘、回归分析、关联规则挖掘、聚类分析等; – ⑥ 选择具体的数据挖掘算法; – ⑦ 进行数据挖掘,寻找感兴趣的、有用的模式; – ⑧ 进行模式评估和知识表示,包括可视化、转换和消除冗余 等; – ⑨ 运用发现的知识。69数据仓库与数据挖掘技术o (3) 几种常见数据挖掘功能– – – – ① 关联规则 ② 分类和预测 ③ 聚类分析 ④ 离群点分析11/3/ PM11/3/ PM70海计算的概念与未来o 物联网的目的是要实现物物互联,从而可以融合物理 信息的感知、传输、处理、控制及提供高效智能的应 用服务。 o 当前,物联网前端设备的计算与控制能力比较薄弱, 很多操作都需要通过网络把数据传输到后台完成,不 仅消耗能量,而且效率低下。 o 因此,人们考虑物联网前端也应该具有较强的计算、 处理能力,以提高整个物联网的工作效率,这就是物 联网的海计算。海计算的概念与未来o 1. 物联网的海计算模型 – 海计算是指通过在物理世界的物体中融入计算与通信设 备、智能算法,让物体与物体之间能够互连,在事先无 法预知的场景中进行判断,从而实现物与物之间的交互 作用。它的实质是让信息设备能隐形地融入到真实的物 理世界中而无处不在,即将信息化扩展到物理世界。 – 海计算通过在各种物体内部融入信息设备,实现物体和 信息设备的紧密融合,自然地获取物质世界信息;同时 ,通过海量的独立个体之间局部的即时交互和分布式智 能处理,使物体具备自组织、自计算和自反馈的海计算 功能。11/3/ PM7111/3/ PM7212海计算的概念与未来o 海计算模式的本质是物体与物体之间的智能交流,实现的是物物之 间的交互,强调物理世界的智能连接和物理性质涌现,是以物理世 界为中心的计算模式。海计算模式的结构如下图所示。海计算的概念与未来o 一个海计算系统包含多个互联的物体,这些物体可能包括智能 部件,如智能信息系统。海计算模式具有如下几个必备的特征 。– – – – ① ② ③ ④ 融入性 自主性 局部交互 群体智能o 海计算中的融入式(Embodied)计算设备与传统的嵌入式( Embedded)设备是有区别的。11/3/ PM7311/3/ PM74海计算的概念与未来o 2. 海计算的应用实例– (1) 无人驾驶汽车 – (2) 智能目标监测与识别 – (3) 智能化机械加工本章内容1 数据库系统的起源与发展 2 关系数据库 3 物联网与数据库 4 资源受限网络的分级数据融合节点的分簇控制 簇内数据融合 分布式数据存储与处理o 3. 未来的“云”“海”结合– 云计算是服务端的计算模式,而海计算则是物理世界物体之间的计算 模式,它们处在物联网应用的两头。随着物联网技术的发展,这两种 计算模式将统一在物联网架构之下。 – 物联网涉及到现实世界中的众多物体,同时,其应用需求和感知层数 据的特性,决定了物联网的架构需要“云”和“海”相结合。5 数据挖掘与海计算数据仓库与数据挖掘技术 海计算的概念与未来6 大数据11/3/ PM 75计算机中存储容量大数据(big data)计算机存储单位一般用B,KB,MB,GB,TB,PB,EB, ZB,YB,BB来表示,它们之间的关系是: 1KB(Kilobyte 千字节)=1024B, 1MB (Megabyte 兆字节 简称“兆”)=1024KB, 1GB (Gigabyte 吉字节 又称“千兆”)=1024MB, 1TB(Trillionbyte 万亿字节 太字节)=1024GB, 1PB(Petabyte 千万亿字节 帕字节)=1024TB, 1EB(Exabyte 百亿亿字节 艾字节)=1024PB, 1ZB (Zettabyte 十万亿亿字节 泽字节)= 1024 EB, 1YB (Yottabyte 一亿亿亿字节 尧字节)= 1024 ZB, 1BB (Brontobyte 一千亿亿亿字节)= 1024YB.13数据大爆炸 一分钟=60秒=海量数据一分钟,60秒短短的一瞬,YouTube 用户会上传48小时视频;Google会收 到2,000,000次搜索请求(让人更加佩 服的是Google还会对这2000000次请 求极快的返回结果);Facebook的用 户会分享684,478条信息,Like按钮被 点击34772次;Twitter要处理 1,000,000条Tweets信息。 另外,电商平台在这一分钟里也没闲着, 60秒,网购将产生272070美元的交易 (详细网站的订单交易系统、库存物流 系统和银行交易系统的压力)。每一分 钟,全球都会新增网页571个。 一分钟,60秒,海量数据。信息和数 据在任何一个时代都没有想今天这般 急剧增长,而信息的分析处理也从未 像今天这样即困难又充满机遇,这推 进了大数据相关技术与应用的快速发 展。大数据(big data)近年来,“大数据”已经成为科技界和企业界关注的热点。2012年3 月,美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计 划”,这是继1993年美国宣布“信息高速公路”计划后的又一次重 大科技发展部署。美国政府认为大数据是“未来的新石油”,将“大 数据研究”上升为国家意志,对未来的科技与经济发展必将带来深远 影响。 一个国家拥有数据的规模和运用数据的能力将成为综合国力的重 要组成部分,对数据的占有和控制也将成为国家间和企业间新的争夺 焦点。 奥莱利(O’Reilly)公司断言: 数据是下一个Intel inside,未来属于将数据转换成产品的公司和人们。大数据(big data)基因组学、蛋白组学、天体物理学和脑科学等都是以数据为中心的学科。这 些领域的基础研究产生的数据越来越多,例如, 用电子显微镜重建大脑中的突触网络,1立方毫米大脑的图像数据就超过1PB。 近年来大数据的飙升主要还是来自人们的日常生活,特别是互联网公司的服 务。据IDC公司统计,2011年全球被创建和被复制的数据总量为1.8ZB,其中 75%来自于个人(主要是图片、视频和音乐),远远超过人类有史以来所有 印刷材料的数据总量(200PB)。 谷歌公司通过大规模集群和MapReduce软件,每个月处理的数据量超过 400PB;百度每天大约要处理几十PB数据;Facebook注册用户超过10亿,每 月上传的照片超过10亿张,每天生成300TB以上的日志数据;淘宝网 会员超过3.7亿,在线商品超过8.8亿,每天交易数千万笔,产生约20TB数据; 雅虎的总存储容量超过100PB。 传感网和物联网的蓬勃发展是大数据的又一推动力,各个城市的视频监控每 时每刻都在采集巨量的流媒体数据。工业设备的监控也是大数据的重要来源。 例如,劳斯莱斯公司对全世界数以万计的飞机引擎进行实时监控,每年传送 PB量级的数据。什么是大数据?具有4V特性的数据: Volume(巨大的数据量):3亿用户,每天上 亿条微博.巡天望远镜,已收集 140兆兆字节数据2015年全球移动终端 产生的数据量6300PB 案例两年半前海地地震,海地人散落在全国各 地,援助人员为弄清该去哪里援助手忙脚乱。 传统上,他们只能通过飞往灾区上空来查找 需要援助的人群。 一些研究人员采取了一种不同的做法:他 们开始跟踪海地人所持手机内部的SIM卡,由 此判断出手机持有人所处的位置和行动方向。 正如一份联合国(UN)报告所述,此举帮助他 们“准确地分析出了逾60万名海地人逃离太 子港之后的目的地。”后来,当海地爆发霍 乱疫情时,同一批研究人员再次通过追踪SIM 卡把药品投放到正确的地点,阻止了疫情的 蔓延。Variety(数据类型多):文本/图片/视频 等非结构化/半结构化数据Velocity(处理速度快):要求系统在短时间内做出反应Value(价值密度低):单条数据无价值,无用数据多,综合价值大非结构化数据相对于结构化数据而言,不方便用数据库二维逻辑表来表现的 数据即称为非结构化数据,包括所有格式的办公文档、文本、 图片、XML、HTML、各类报表、图像和音频/视频信息等等。与以往数据处理的区别?作为特指的大数据,其中的“大”是 指大型数据集,一般在10T B规模左右; 多用户把多个数据集放在一起,形成P B级的数据量;同时这些数据来自多种 数据源,以实时、迭代的方式来实现。数据量极大,增大了数据处理的难度的同 时,庞大数据量所蕴含的价值也极大数据种类多样,更加个性化,针对不 同来源的数据以多样化的方式处理, 结果更精确.要求及时对数据进行处理并得到结 果,更完善的用户体验.数据成为新的资源,掌握有数据就掌握了 巨大的财富.14指数型增长的海量数据所有研究都表明,未来数年数据量会呈现指数增长。根据麦肯锡全球研究院(MGI)估计, 全球企业2010年在硬盘上存储了超过7EB(1EB等于10亿GB)的新数据,而消费者在PC和 笔记本等设备上存储了超过6EB新数据。1EB数据相当于美国国会图书馆中存储的数据的 4000多倍。事实上,我们如今产生如此多的数据,以至于根本不可能全部存储下来。例如, 医疗卫生提供商会处理掉他们所产生的90%的数据(比如手术过程中产生的几乎所有实时视 频图像)。技术演进历史揭示未来是大数据驱动的智慧型经济模式大数据崛起分析大量数据并非是新鲜事物,但近年才有革命性的变化:数据生成速 度加快网络使用人数逐年递增存储成本指 数下降硬件成本指数型递减大数据崛起大数据崛起大数据实际上是对更广泛数据的数据挖掘,以前因为成本、处 理速度、数据量不足等问题无法处理,随着软硬件的发展,这 些问题如今已不是难以跨越的鸿沟! 流动数据大 量增加存储成本 指数下降云端数据扩增流动数据 大量增加企业可用数 据资源增大企业可用 数据资源 增大数据生成 速度加快大数据 崛起处理速度 指数增长企业非结构化数据量飞速增长15互联网越来越智能Google精确掌握用户行为、获取需求用途?以上介绍的互联网上的数据看起来数量庞大却用处寥寥,但事实上,只 要处理好这些数据,就能给商家带来巨大的利益。 举一个简单的例子:商家消费意向消费 服务o 通过网页浏览记录 o 通过人人、微博等 o 通过淘宝等消费记录 o 通过社交平台信息 o 通过手机软件定位客户消费水平消费位置针 对 性 地 给 客 户 提 供广 告 与 优 惠 信 息前瞻来看,随着互联网对网民的理解,网民对网络的反作用,互联网将变得越来越智能。它在满足你需 求的同时,也在创造新的需求。前者的代表是Google,后者的典型则是Facebook。 谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时,把个人的行为、喜好等 信息也免费的送给了Google。因此Google的产品线越丰富,他对用户的理解就越深入,他的广告就越精准。 广告的价值就越高。 这是正向的循环,谷歌好用的、免费得软件产品,换取对用户的理解;通过精准的广告,找到生财之道。 颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。政治 经济监控手机的使用状况 和账单的缴付模式 如果数据突然发生变 化,那可能预示着经 济困境正在加剧大数据不仅仅是“大”多大? PB 级国情 调控对Twitter和Facebook 等社交媒体网站的数 据筛查 若社交媒体提及粮食或种 族冲突,那可能预示爆发 了饥荒或者国内骚乱医疗 保卫社交媒体上提到某地区受 到感染,是对疫情流行的 有效早期预警比大更重要的是 数据的复杂性, 有时甚至大数据 中的小数据如一 条微博就具有颠 覆性的价值软件是大数据的引擎o 和数据中心(Data Center) 一样,软件是大数据的驱 动力. 软件改变世界!大数据生态:软件是引擎o16大数据的应用不仅仅是精准营销o 通过用户行为分析实现精准营销是大数据的典型应用,但是大数据在各行 各业特别是公共服务领域具有广阔的应用前景管理大数据“易”,理解大数据“难”o目前大数据管理多从架构和并行等方面考虑,解 决高并发数据存取的性能要求及数据存储的横向扩 展,但对非结构化数据的内容理解仍缺乏实质性的 突破和进展,这是实现大数据资源化、知识化、普 适化的核心.消费 行业金融 服务食品 安全医疗 卫生军事交通 环保 电子 商务 气象o非结构化海量信息的智能化处理:自然语言理解 、多媒体内容理解、机器学习等.大数据的意义----为每位用户量身打造大数据与云计算用户在线的每一次点击,每一次评论,每一个视频点播,就是大数据的典型来源。互联网 企业之所以取得令人瞩目的成绩,其核心的本质就是包括用户网络操作的大数据,进行记 录和分析,比用户自己更了解用户,从而洞悉用户的潜在的、真实的需求,形成预判。这 是传统企业花费重金都难以企及的梦想。大数据比云计算更为落地大数据----现状z2011年是中国大数据市场元年,一些大数据产 品已经推出,部分行业也有大数据应用案例的产 生。2012年-2016年,将迎来大数据市场的飞速 发展。 z2012年中国大数据市场规模将达到4.7亿元, 2013年大数据市场将迎来增速为138.3%的飞跃, 到2016年,整个市场规模逼近百亿。2012年各行业大数据市场规模商业模式驱动应用需求驱动z2012年政府、互联网、电信、金融的大数据市 场规模较大,四个行业将占据一半市场份额。 z由于各个行业都存在大数据应用需求,潜在市 场空间非常可观。云计算本身也是大数据的一种业务模式17大数据----国外已经投资应用EMCIBM/Oracle/EMC/Microsoft角力大数据IBMIBM的策略是提供一个全面的方法来解决前所未有的信息爆 炸提出的挑战,因为信息量无论在流量、种类、速度还是活 力上都是爆炸式增长 IBM一直致力于扩大对包括数据仓库中的大数据、信息流和 结构化数据的分析 在过去四年中,IBM已经投入超过120亿美元进行了23项相关 并购,其中包括: o 2010年9月收购数据库分析供应商Netezza公司,花费17亿 美元 o 2010年10月收购网络分析软件供应商Coremetrics o 2009年10月收购数据分析和统计软件提供商SPSS, 花费12 亿美元 o 2009年1月收购业务规则管理软件供应商ILOG, 花费3亿4 千万美元 o 2007年花费20亿美元收购商务智能软件供应商Cognos EMC的大数据解决方案专注于使组织更有效地使用他们从不 同来源产生的数据,包括网络上,网页上,消费者,监控系 统和传感器。 EMC的数据计算产品事业部正在开发分析工具以解决大数据 现象。 EMC的大数据解决方案包括40多个产品。 o 2010年7月收购数据库软件供应商Greenplum,花费3亿美 元 o 2009年七月收购数据复制解决方案提供商Data Domain, 花费24亿美元美国国务院采用大数据技术开发新的美 国护照系统。IBM宣布投资1亿美元用于大数据研究;o 不一定和大数据完全相关,EMC从2009年起收购了Archer Technologies, SourceLabs, FastScale Technology, Configuresoft, and Varonis Systems。甲骨文甲骨文大数据提供的数据库和数据库软件主要用于配合Sun 的硬件,特别是它的最高端服务 o 2009年7月收购专注于数据复制和实时数据集成解决方案 的私人企业GoldenGate Software微软微软提供了高性能计算能力,并在2005年靠Windows Compute Cluster服务器进入相关市场 最近,微软的HPC部门开发了该公司的Dryad 并行处理技术 社区技术预览(CTP),第一步是向Windows HPC Server的用户提 供处理大数据工具美国IT公司开始意识到大数据技术能够 为公司创造价值;大数据公司引入汽车行业高管人员扩展 营销业务;大数据中国市场----雷声大雨点小中国的大数据领域到底有多少活跃迹象?除了没完没了的研讨会,还有 各类公司“宣称”进军大数据领域的决心,似乎无实际之进展。中国的 大数据正在呈现这样的状态:投资人最活跃,技术和服务供应商最热心, 数字媒体调门最高,而品牌企业最迷惑。 不是没有业务需求,而是需求还是不可实现的!大数据----问题数据的爆炸式增长为全球各行业均带来了管理上的问题。o 例如,在电信行业的呼叫数据记录管理、金融行业的交易数据和客户资料管理、零售 行业的供应链管理以及制造行业的业务绩效管理等等。对于企业用户来说,大数据的 来临也无形中增加了他们所需承担的责任以及成本。企业必须保持这些数据在很长一 段时间内的可用性,并满足这些庞大数据量在存储方面的需求。这就导致了企业需要 采购和维护所需的硬件设备,并且还要不断的进行监督与管理。大数据处理要求对大数据进行实时分析.o 现今的分析仅局限在企业的现有数据库还不够,还需要保持数据与当前社会乃至全球 的相关性。这意味着企业需要从社交媒体、地理位置、CRM系统、政府的公开数据、 手机信息等非专有的渠道获取数据,进行额外的分析。对于实时分析来说,当前的移 动应用潜力也才刚刚开始出现,其移动分析或将比预期的影响更加深远。事实上,大数据在中国 远没有落地,目前很多 问题没有解决。大数据是否侵犯了用户隐私?o 用户面对“不搜即得”的结果是否会有被窥视的感觉?如何消除这种感觉?大数据前景----互联网互联网行业拥抱大数据的关键因素网络终端设备 o 网络技术的 升级和终端 设备的爆发, 使今天的用 户能够使用 多种设备、 从不同位置、 通过多种手 段来接入互 联网,并在 这一过程中 不断创造新 内容 在线应用和服 务 o 越来越丰富 的在线应用 和服务,不 断激励用户 创造和分享 信息,尤其 是社会化媒 体业务,带 动图片、视 频等非结构 化数据飞速 增长 与各垂直行业 的融合 o 互联网作为 一个高渗透 力的行业, 正在与各垂 直行业发生 深度的融合, 原本隐藏于 先下的孤岛 信息,源源 不断的输入 到线上。大数据前景----医疗z医疗行业产生的数据量 主要来自于PACS影像、B 超、病理分析等业务所产 生的非结构化数据。人体 不同部位、不同专科影像 的数据文件大小不一, PACS网络存储和传输要采 取不同策略。面对大数据, 医疗行业遇到前所未有的 挑战和机遇。 z医疗行业大数据应用场 景非常多,右图仅以临床 操作和研发为例,展示医 疗行业大数据应用场景。 z对于公共卫生部门,可 以通过过覆盖全国的患者 电子病历数据库,快速检 测传染病,进行全面的疫 情监测,并通过集成疾病 监测和响应程序,快速进 行响应。 医疗数据透明度互联网行业大数据分析面临的主要问题z互联网行业对数据实时分析要求较高, 例如广告监测、B2C业务,往往要求在 数秒内返回上亿行数据的分析,从而达 到不影响用户体验和快速准确营销的目 的。 z目前互联网企业面对大数据,会普遍 感觉到实时分析能力差、海量数据处理 效率低、缺少分析方法、分析软件能力 差等问题。远程病人监控临床操作临床决策支持系统比较效果研究预测建模研发疾病模式的分析互联网大数据技术的应用,会首先带动社会化媒体、 电子商务的快速发展,其他的互联网分支也会紧追 其后,整个行业在大数据的推动下将会蓬勃发展。提高临床试验设计的统计工具和算法18大数据前景----能源契合度大数据前景----小结优先关注行业用户 应用特点与大数据技 术有较高的契合度, 在主客观条件上也有 较高的应用可能性。 值得关注行业 用户 应有特点与大 数据的契合度 及应用可能性 综合较高High能源行业数据特征能源行业面临的大数据问题政府(公共事业) 互联网(电 子商务) 医疗 电信 制造 金融o 纵轴契合度:能源(电力/ 石油) 适当关注行 业用户 两个维度暂 时都不具备 优势,可适 当给予关注Mid表示该用户的IT应用特 点与大数据特性的契合 程度;o 横轴应用可能性:表示教育 交通零售流通该用户出于主客观因素 在短期内投资大数据的 可能性;o 注:能源勘探开发数据的类型众多,不同类型数据 包含的信息各具特点,综合各种数据所包含的 信息才能得出地下真实的地质状况。能源行业企业对大数据产品和解决方案的需 求集中体现在:可扩展存储、高带宽、可处理 不同格式数据的分析方案。Low该位置为分析师访谈的 综合印象,为定性分析, 图中位置不代表具体数 值LowMidHigh应用可能性Thank you!19本文由(www.wenku1.com)首发,转载请保留网址和出处!
免费下载文档:

我要回帖

更多关于 物联网数据采集系统 的文章

 

随机推荐