Hadoop V2.7.1 免费版

Hadoop是一个由Apache基金会开发的开源大数据处理平台，旨在帮助用户架构和使用分布式计算资源。它专为存储、处理和分析大规模的非结构化数据而设计。Hadoop的分布式架构将计算任务尽可能靠近数据存储，而其MapReduce功能则能够将任务拆分并将子任务(Map)分发到多个节点，最终将结果(Reduce)汇总到数据仓库中。作为一个以Java语言实现的开源框架，Hadoop支持在集群中进行大规模分布式计算。Hadoop具备高效、可扩展且可靠的特点，使得开发者能够轻松在该平台上开发并运行大数据处理应用。如果你有需要使用Hadoop，可以通过kkx分享的链接进行获取。

Hadoop的优点

1. 高可靠性。

Hadoop的按位存储与处理数据的能力，使得其数据存储与处理的可靠性得到广泛认可。

2. 高扩展性。

Hadoop能够在多个计算机节点上分配数据并完成计算任务，这些节点可以很容易地扩展至数千个。

3. 高效性。

Hadoop能动态地在节点间迁移数据，并保持节点之间的负载均衡，因此处理速度非常迅速。

4. 高容错性。

Hadoop通过自动备份数据的副本，并能够在任务失败时自动重分配任务，保障数据的安全性和任务的连续性。

5. 成本低廉。

与传统的一体化系统、商业数据仓库以及类似QlikView、Yonghong Z-Suite等数据平台相比，Hadoop作为开源项目，显著降低了软件成本。

Hadoop安装指南

部署Hadoop 2.7.1版本

机器配置：

操作系统：CentOS 6.4 64位

Hadoop版本：hadoop-2.7.1，基于CentOS编译的64位版本

Hadoop安装步骤

1、下载并解压安装包：tar zxvf hadoop-2.7.1.tar.gz

2. 在虚拟机中解压安装包

3. 在安装目录下创建存储数据的文件夹：tmp、hdfs、hdfs/data、hdfs/name

4. 修改配置文件，路径为 /home/yy/hadoop-2.7.1/etc/hadoop

编辑core-site.xml，添加以下内容：

fs.defaultFS

hdfs://s204:9000

hadoop.tmp.dir

file:/home/yy/hadoop-2.7.1/tmp

io.file.buffer.size

131702

5. 修改hdfs-site.xml，加入以下配置：

dfs.namenode.name.dir

file:/home/yy/hadoop-2.7.1/dfs/name

dfs.datanode.data.dir

file:/home/yy/hadoop-2.7.1/dfs/data

dfs.replication

2

dfs.namenode.secondary.http-address

s204:9001

dfs.webhdfs.enabled

true

6. 修改mapred-site.xml，加入以下配置：

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

s204:10020

mapreduce.jobhistory.webapp.address

s204:19888

7. 修改yarn-site.xml，加入以下内容：

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.auxservices.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address

s204:8032

yarn.resourcemanager.scheduler.address

s204:8030

yarn.resourcemanager.resource-tracker.address

s204:8031

yarn.resourcemanager.admin.address

s204:8033

yarn.resourcemanager.webapp.address

s204:8088

yarn.nodemanager.resource.memory-mb

768

8、配置JAVA_HOME环境变量：在/home/yy/hadoop-2.7.1/etc/hadoop目录下修改hadoop-env.sh与yarn-env.sh

export JAVA_HOME=/home/yy/jdk1.8

9. 配置slaves文件，添加你的从服务器（本例中为s205），并将Hadoop复制到所有从服务器：

scp -r /home/yy/hadoop-2.7.1 root@s205:/home/yy/

10. 在主服务器上执行命令 bin/hdfs namenode -format 来初始化Hadoop环境

然后在sbin目录下运行 ./start-all.sh 启动集群

使用jps命令查看节点状态

如果需要停止，输入命令 sbin/stop-all.sh

11. 此时，可以通过浏览器访问s204:8088查看集群状态

配置完成后，界面如图所示：

优势分析

Hadoop作为大数据处理框架，允许用户在计算机集群中采用简洁的编程模型进行分布式数据处理。其设计能够支持从单台服务器到数千台设备的规模，每台服务器都可以提供本地计算与存储功能。Hadoop框架自身提供高可用性服务，且不依赖特定硬件，从而实现了卓越的可扩展性。
即使用户对分布式系统的底层实现了解不深，依然能在Hadoop平台上轻松开发和运行大数据处理应用。其低成本、高可靠性、可扩展性、优越性能和强大的容错能力，使Hadoop成为当今最受欢迎的大数据分析平台。
Hadoop的生态系统由多个重要组件组成，包括HDFS、MapReduce、HBase、Zookeeper、Pig、Hive等。此外，还包含了如Sqoop、Flume等框架，便于与其他企业级系统进行集成。随着发展，Hadoop的生态系统不断扩展，新增了如Mdhout、Ambari等工具，以提升管理与维护功能。