什么是Hadoop
按照正式的定义,Hadoop是一个开源的框架,可编写与运行分布式应用处理大规模数据。
分布式计算是一个宽泛并且不断变化的领域,但Hadoop与众不同之处在于以下几点。
1、方便一-Hadoop运行在由一般商用机器构成的大型集群上,或者如亚马逊弹性计算云
(EC2) 等云计算服务之上。
2、健壮一-Hadoop致力千在一般商用硬件上运行, 其架构假设硬件会频繁地出现失效。
它可以从容地处理大多数此类故障。
3、可扩展一-Hadoop通过增加集群节点,可以线性地扩展以处理更大的数据集。
4、简单一-Hadoop允许用户快速编写出高效的井行代码。
Hadoop的方便和简单让其在编写和运行大型分布式程序方面占尽优势。即使是在校的大学
生也可以快速、廉价地建立自己的Hadoop集群。另一方面,它的键壮性和可扩展性又使它胜任
雅虎和Facebook最严苛的工作。这些特性使Hadoop在学术界和工业界都大受欢迎。
图1-1 解释了如何与Hadoop集群交互。Hadoop集群是在同一地点用网络互连的一组通用机器。数据存储和处理都发生在这个机器"云"中 。不同的用户可以从独立的客户端提交计算"作业"到Hadoop ,这些客户端可以是远离Hadoop集群的个人台式机。
并非所有分布式系统的构建都如图1-1 所示的-样。下面,我们简要介绍一下其他的分布式
系统,以便更好地展现Hadoop所依据的设计理念。
分享到:
相关推荐
Apache Hadoop 是一个用java语言实现的软件框架,在由大量计算机组成 中运行海量数据的分布式计算,它可以让应用程序支持上千个节点和PB级别的 Hadoop是从google的MapReduce和Google文件系统的论文获得的灵 感。
一分钟学懂大数据之什么是hadoop.mp4
二、什么是 Hadoop 1、Hadoop 简介 2、Hadoop 的发展历史 3、Hadoop 的特点 三、Hadoop 核心 1、分布式文件系统——HDFS 2、分布式计算框架——MapReduce 3、集群资源管理器——YARN 四、Hadoop 常用组件 五、Hadoop...
大数据hadoop基础知识扫盲,初步了解什么是hadoop
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
什么是谷歌帝国的基石?mapreduce算法是也!apache hadoop架构作为mapreduce算法的一种开源应用,是应对海量数据的理想工具。项目负责人tomwhite透过本书详细阐述了如何使用hadoop构建可靠、可伸缩的分布式系统,...
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
Apache Hadoop (hadoop-3.3.4.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程...
《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...
hadoop_tutorial hadoop入门经典 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
hadoop2.7.3 Winutils.exe hadoop.dll
hadoop的dll文件 hadoop.zip
Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
hadoop基于linux开发和布署运行,故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录...
调用保存文件的算子,需要配置Hadoop依赖 将文件夹中的 hadoop-3.0.0 解压到电脑任意位置 在Python代码中使用os模块配置:os.environ[‘HADOOP_HOME’] = ‘HADOOP解压文件夹路径’ winutils.exe,并放入Hadoop解压...
选择Apache Hadoop 为什么需要Hadoop Hadoop 解决了什么问题 什么是Hadoop 和Hadoop 生态系统