剪板机厂家
免费服务热线

Free service

hotline

010-00000000
剪板机厂家
热门搜索:
技术资讯
当前位置:首页 > 技术资讯

Hadoop之父勾勒大数据平台的未来

发布时间:2021-01-21 16:56:58 阅读: 来源:剪板机厂家

ApacheHaddo是一个批处理计算引擎,它是大数据核心的开源软件框架。Hadoop并不适用于真正实时数据可见性所需要的在线互动式数据处理,是这样的吗?Hadoop创造者兼Apache Hadoop项目创始人(同时也是Cloudera公司首席架构师)Doug Cutting表示,他相信Hadoop有一个超越批处理的未来。

Cutting表示:“批处理有用武之地,例如你需要移动大量数据以及分析所有数据的时候,但我认为,人们真正想要的是批处理和在线计算的结合体。Hadoop将成为企业未来的主流数据处理系统的内核。”

Hadoop

在纽约O'Reilly Strata Conference + Hadoop World大会上,Cutting解释了Hadoop堆栈的核心思想以及其发展方向。

“Hadoop被看作是一个批处理计算引擎,事实上,这是我们开始的地方(结合MapReduce),”Cutting表示,“MapReduce是一个很棒的工具,有很多关于如何在MapReduce上部署各种算法的书籍。”

MapReduce是一个编程模型,由谷歌公司设计,用于使用分布式计算批量并行处理大规模数据。MapReduce得到一个输入,然后将其分成很多更小的子问题,这些问题呗分配到节点来并行处理。然后,它们重新组合成那些子问题的答案以形成输出。

“这是非常有效的,”Cutting表示,“它允许你移动你的计算到你的数据,这样一来,当你处理数据的时候就没有到处复制数据,并且它还形成了一个共享平台。构建分布式系统是一个复杂的过程,不是‘一夜间’就能完成的事情,所以我们不希望反反复复重新部署它。MapReduce被证明是一个坚实的基础,在它上面,我们看到了已经开发了很多工具,例如Pig和Hive。”

他补充说:“当然,这个平台不仅仅针对批处理计算,它是一个很通用的平台。”

Hadoop平台的特性

为了说明这一点,Cutting描述了他认为的Hadoop的两个核心主题。

首先,Hadoop平台具有很好的可扩展性,它适用于存储在内存中的小数据集,同时,它还能够扩展到处理庞大的数据集。

“而可扩展性的一个关键因素是经济承受能力,虽然我们很少听到这方面的讨论,”他表示,“我们在商品硬件上运行是因为它允许你进一步扩展。如果你可以购买10倍的存储量,那么,你就可以存储10倍的数据量。所以经济承受能力是关键,这也是我们使用商品硬件的原因,因为这是最经济实惠的平台。”

他指出,同样主要的是,Hadoop是开源的。

“同样地,开源软件是非常实惠的,”他表示,“人们开发其应用程序时,最抵触的平台是免费的平台。你可能向供应商付费,但你是为他们所提供的价值而付费,你不需要年复一年地付费,随着时间的推移,供应商需要通过向你提供价值来赢得你的信任和信心。”

除此之外,Hadoop的其他特性还包括:

“有这样一个概念,在你加载数据的时候,你不需要使用严格的模式来限制你的数据,”他表示,“而对于Hadoop,你可以以原始形式来保存数据,然后,当你使用数据的时候,再使用不同的模式。”

大数据领域另一种流行的做法是,在通常情况下,与更聪明的算法相比,分析更多的数据能够帮助你更好地了解你的问题。也就是说,你应该花更多时间来收集数据,而不是调整较小数据集所采用的算法。直观地说,这很像是具有更高分辨率的图像,如果你试图分析图片,你应该选择放大高分辨率图片,而不是低分辨率图像。

HBase是Hadoop中在线计算的例子

他指出,批处理并不是Hadoop的关键特性,而是Apache HBase,它是Hadoop堆栈的一部分,是非常成功的开源非关系型分布式数据库(模仿谷歌的BigTable)。HBase是一个在线计算系统,而不是批处理计算系统。

Cutting解释说:“HBase也支持批处理,它与HDFS以及Hadoop堆栈的其他组件共享存储,我认为这也是其如此受欢迎的原因之一。HBase被整合到系统的其他部分中,而不是成为一个独立的系统,它可以与堆栈的其他组件进行共享:它可以共享可用性、安全性、灾难恢复。”

展望Hadoop“圣杯”

如果Hadoop不单单是批处理计算平台,而是成为一个更通用的数据处理平台,它将会变成什么样,并且它将如何达到那一步?

“对于大数据系统的‘圣杯’,我们认为应该具备很多因素,”Cutting表示,“当然,我们会希望它是开源的,并且能在普通硬件上运行。我们还希望它具有线性扩展:如果你需要存储10倍数据,你只需要购买10倍的硬件即可,而不管你的数据集变得多大,都可以这样扩展。”

Cutting表示,性能方面同样是如此,对于批处理性能,如果你需要更大的批处理吞吐量或更小的延迟,你只需要增加硬件数量即可。而对于交互式查询,道理同样如此。增加硬件将为你带来性能和数据量方面的线性扩展。

他补充说:“人们认为当你采用大数据平台时,你需要放弃某些东西,我不这样认为,我认为在长期来看,我们不需要放弃任何功能。”

谷歌为我们提供了路线图

“谷歌为我们提供了路线图,”他表示,“我们知道我们的前进方向。在他们开始发布他们的GFS和MapReduce论文后,我们就很快复制到Hadoop项目中,这些年以来,谷歌在很多方面激发了这个开源堆栈。谷歌的Sawzall系统催生了Pig和Hive,而BigTable直接启发了HBase。我很激动地看到今年谷歌发表的名为Spanner的文章,其中介绍了在分布式系统(在全球各地的数据库上运行的多表传输)中实现传输的系统,很多人都会认为这不会很快实现,但却为我们指明了前进的方向。”

Cutting指出,Spanner是一种复杂的技术,它并不会那么快成为Hadoop的一部分,但它指明了一个方向。同时,他还提到了Impala,Cloudera发布的新的数据库引擎,它可以使用SQL查询存储在HBase中的数据集。

Cutting表示:“我们知道我们的前进方向,并且,我们知道如何实现我们的目标。所以,我鼓励大家现在开始使用Hadoop,因为在未来你将获得更多收获。”

(责任编辑:admin)

三国志奇侠传安卓最新版

江湖侠客令满v无限元宝

龙之召唤嗜血迷城手机版