Hadoop是什么?

 网站优化    |      2020-06-08

Hadoop是一个开源软件框架,用于存储数据并在商用硬件集群上运行应用程序。它为任何类型的数据提供了巨大的存储空间、巨大的处理能力以及处理几乎无限并发任务或作业的能力。

Hadoop的历史

随着万维网在20世纪后期和21世纪初的发展,搜索引擎和索引被创建来帮助在基于文本的内容中定位相关信息。在早期,搜索结果由人工返回。但是,随着web从几十个页面发展到数百万个页面,需要实现自动化。网络爬虫被创造出来,许多是由大学领导的研究项目,搜索引擎初创企业开始起飞(雅虎、AltaVista等)。

其中一个项目是一个叫做Nutch的开源网络搜索引擎,它是DougCutting和MikeCafarella的创意。他们希望通过在不同的计算机上分配数据和计算来更快地返回web搜索结果,这样就可以同时完成多个任务。

在此期间,另一个名为谷歌的搜索引擎项目正在进行中。它基于相同的概念

为了方便用户快速找到我们,也可以关注我们的微信公众号:唯小宝网络