宁波IT培训
美国上市IT培训机构
400-111-8989
大数据是继云计算、物联网后的又一全球热点问题,因其潜在的巨大价值而受到各界的广泛关注。大数据已经成为一种战略资源,具有广阔的应用前景。
大数据与云计算
为解决互联网应用对大规模计算能力、数据存储能力的迫切需求,云计算的概念被提出。云计算是一种分布式计算平台,通过虚拟技术将海量的硬件资源和虚拟资源虚拟成虚拟资源池,并根据需求任务的大小,向虚拟资源池获取相应的计算和存储资源。
从技术上来看,大数据和云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
云时代的来临,大数据的关注度也越来越高,分析师团队认为大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模的并行处理数据库、数据挖掘、分布式文件系统、分布式数据、云计算平台、互联网和可扩展的存储系统。
这两个概念提出的背景都是为满足海量异构数据的组织和管理要求。从相互之间的影响来看,前者为后者提供了广阔的应用背景,后者为前者数据管理提供了存储和计算资源,两者相互促进,相互依存。
大数据与物联网
随着智能交通、智能家居、智能物流、智慧景区等应用的兴起,物联网已成为未来经济的新增长点。美国、德国、英国、意大利和丹麦等国家争先推出物联网相关发展策略,使物联网规模不断扩大。互联网到物联网的跨越,极大地推动了大数据的发展。
物联网是指把所有物品通过信息传感设备与互联网连接起来,实现智能化识别和管理。现在的物联网产业以应用层、支撑层、感知层、平台层以及传输层这五个层次构成。其每层都与数据的产生或者处理息息相关。大数据与物联网的结合是机遇与挑战并存。
首先,产生数据的平台多样化。从原来的个人电脑扩展为传感器、智能手机、各种业务系统、平板电脑、监控录像等,这使得感知层需要感知的数据呈现多样化。目前主流的感知技术有视频文字采集技术、红外线技术、传感器技术和蓝牙技术等,但随着感知的数据数量级的不断增加,相应的感知技术也要不断地改进和完善。
其次,物联网技术的局限性。事物的发展需要一个过程,处于发展初始阶段的物联网还受到一些技术的约束。在大数据的传输和处理方面,物联网技术还存在通信距离短、外部环境适应力不强、异构网络兼容性差等问题。传感器链接的距离范围是100米到1000米,不适合长距离的通信;当外部的环境发生变化,传感器的稳定性能大幅度下降,对具有高性能计算存储系统的安全带来风险;物联网的标准是建立在广电网、通信网和互联网等异构网的基础之上,还没有统一完善的标准体系。
大数据与数据空间
大数据来自不同组织,它的跨域、分布、异构性以及海量的特点给传统的数据库管理系统带来巨大挑战,目前,管理着世界上最大数据的谷歌、雅虎和微软等公司,都不使用传统的数据管理系统,而是另辟蹊径去寻找可以满足大数据管理需要的技术。
在综合考虑数据的模型、组织形式和分类方法基础上,提出了与数据相关的eorespaee模型和与任务相关的TaskSPace模型,但该系统的不足之处是用户不能自己定义关联。
综上所述,以物联网、云计算技术作为数据收集、数据管理手段,用数据空间技术来组织大数据,实现多层次、多粒度的大数据挖掘,是处理大规模数据行之有效的途径,也符合大数据管理和服务的需求。
国内IT、通讯、行业招聘中,有10%都是和大数据相关,且比例还在上升。巨大的人才缺口直接导致各企业纷纷以高薪聘请大数据人才:
未来,一切皆数据,数据工程师,才是真正掌控明天的高级人才!