`
dengwenwei121
  • 浏览: 36338 次
  • 性别: Icon_minigender_1
  • 来自: 湖南
文章分类
社区版块
存档分类
最新评论

什么是hadoop

 
阅读更多

什么是Hadoop

按照正式的定义,Hadoop是一个开源的框架,可编写与运行分布式应用处理大规模数据。
分布式计算是一个宽泛并且不断变化的领域,但Hadoop与众不同之处在于以下几点。
1、方便一-Hadoop运行在由一般商用机器构成的大型集群上,或者如亚马逊弹性计算云
(EC2) 等云计算服务之上。
2、健壮一-Hadoop致力千在一般商用硬件上运行, 其架构假设硬件会频繁地出现失效。
它可以从容地处理大多数此类故障。
3、可扩展一-Hadoop通过增加集群节点,可以线性地扩展以处理更大的数据集。
4、简单一-Hadoop允许用户快速编写出高效的井行代码。
Hadoop的方便和简单让其在编写和运行大型分布式程序方面占尽优势。即使是在校的大学
生也可以快速、廉价地建立自己的Hadoop集群。另一方面,它的键壮性和可扩展性又使它胜任
雅虎和Facebook最严苛的工作。这些特性使Hadoop在学术界和工业界都大受欢迎。
图1-1 解释了如何与Hadoop集群交互。Hadoop集群是在同一地点用网络互连的一组通用机器。数据存储和处理都发生在这个机器"云"中 。不同的用户可以从独立的客户端提交计算"作业"到Hadoop ,这些客户端可以是远离Hadoop集群的个人台式机。
并非所有分布式系统的构建都如图1-1 所示的-样。下面,我们简要介绍一下其他的分布式

系统,以便更好地展现Hadoop所依据的设计理念。


分享到:
评论

相关推荐

    什么是Hadoop.pdf

    Apache Hadoop 是一个用java语言实现的软件框架,在由大量计算机组成 中运行海量数据的分布式计算,它可以让应用程序支持上千个节点和PB级别的 Hadoop是从google的MapReduce和Google文件系统的论文获得的灵 感。

    一分钟学懂大数据之什么是hadoop.mp4

    一分钟学懂大数据之什么是hadoop.mp4

    大数据及Hadoop简介.docx

    二、什么是 Hadoop 1、Hadoop 简介 2、Hadoop 的发展历史 3、Hadoop 的特点 三、Hadoop 核心 1、分布式文件系统——HDFS 2、分布式计算框架——MapReduce 3、集群资源管理器——YARN 四、Hadoop 常用组件 五、Hadoop...

    hadoop基础知识扫盲

    大数据hadoop基础知识扫盲,初步了解什么是hadoop

    hadoop2.7.3 hadoop.dll

    在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....

    Hadoop权威指南 中文版

     什么是谷歌帝国的基石?mapreduce算法是也!apache hadoop架构作为mapreduce算法的一种开源应用,是应对海量数据的理想工具。项目负责人tomwhite透过本书详细阐述了如何使用hadoop构建可靠、可伸缩的分布式系统,...

    Hadoop下载 hadoop-2.9.2.tar.gz

    Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...

    Hadoop下载 hadoop-3.3.3.tar.gz

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...

    hadoop-3.3.4 版本(最新版)

    Apache Hadoop (hadoop-3.3.4.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程...

    《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf

    《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...

    hadoop_tutorial hadoop入门经典

    hadoop_tutorial hadoop入门经典 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。...

    hadoop最新版本3.1.1全量jar包

    hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...

    hadoop2.7.3 Winutils.exe hadoop.dll

    hadoop2.7.3 Winutils.exe hadoop.dll

    hadoop的dll文件 hadoop.zip

    hadoop的dll文件 hadoop.zip

    Hadoop集群pdf文档

    Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...

    Hadoop开发环境的插件hadoop-eclipse-plugin-2.10.1

    Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...

    hadoop3.3.3-winutils

    hadoop基于linux开发和布署运行,故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录...

    hadoop配置资源 ,hadoop-3.0.0,hadoop.dll,winutils

    调用保存文件的算子,需要配置Hadoop依赖 将文件夹中的 hadoop-3.0.0 解压到电脑任意位置 在Python代码中使用os模块配置:os.environ[‘HADOOP_HOME’] = ‘HADOOP解压文件夹路径’ winutils.exe,并放入Hadoop解压...

    01_选择Apache Hadoop.docx

    选择Apache Hadoop 为什么需要Hadoop Hadoop 解决了什么问题 什么是Hadoop 和Hadoop 生态系统

Global site tag (gtag.js) - Google Analytics