九天中文网

手机浏览器扫描二维码访问

第二节 核心技术（第1页）

““互联网+”

医疗健康的应用与发展研究（..）”

！

第二节

核心技术

一、技术起源

1．Google的三驾马车

Google在2003年到2004年公布了关于GFS、MapReduce和BigTable三篇技术论文，这三项技术成为后来云计算和大数据发展的重要基石，它们也被业界称为Google的三驾马车：

GFS（Google文件系统）是一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。

它运行于廉价的普通硬件上，并且提供容错功能。

MapReduce是一个编程模型，MapReduce架构的程序能够在大量普通配置的计算机上实现并行化处理。

Bigtable是一个分布式的结构化数据存储系统，被用来处理海量数据，这些数据通常是分布在数千台普通服务器上的PB级的数据。

2．Hadoop

从2005年开始至今，Yahoo资助的Hadoop团队按照Google公布的GFS、MapReduce和BigTable这三篇论文分别实现了它们的开源版本：HDFS（Hadoop分布式文件系统）对应GFS、HadoopMapReduce对应GoogleMapReduce、HBase对应GoogleBigtable。

经过几年发展，目前Hadoop已经成为Apache开源组织的独立项目，并形成了由许多子项目组成的Hadoop族群。

随着各个领域数据量的迅速增长，存储和处理大规模数据已成为迫切需求。

Hadoop作为目前大数据处理的主流标准和关键平台，引起了学术界和企业的普遍兴趣。

在学术界，Hadoop得到了各科研院所的广泛关注，许多著名的大学都加入到Hadoop集群的研究中来。

在商业界，IBM、Oracle、华为、百度、淘宝等大公司也都有独立的团队开展Hadoop平台的应用及产品化。

二、技术框架

从数据管理和处理的生命周期来划分，大数据的管理和处理体系可以自下而上大致分为四层：数据存储层、数据处理层、数据整合层和数据挖掘层，如图5-1所示。

图5-1大数据的数据管理和处理体系

三、关键技术

1．大数据存储技术

大数据的出现以及结构数据的改变使常规技术的数据存储和管理面临新的挑战。

在大数据环境下，存储解决方案主要包括分布式文件系统和数据库。

（1）分布式文件系统：

Google的GFS以及Hadoop族群中的HDFS都属于分布式文件系统，它们所管理的数据存储在分散的物理设备或节点上，存储资源通过网络连接。

（2）数据库：

目前，数据库系统主要的类型有满足传统信息化系统的数据规模的关系型数据库、满足计算机集群并行处理要求的非关系型（NoSQL）数据库以及满足医疗场景中实时性要求较高的实时数据库。