Hadoop2.6.4 环境搭建步骤 下载本文

Hadoop2.6.4 环境搭建步骤

参考网站:1. http://www.powerxing.com/install-hadoop/

创建hadoop用户

useradd -m hadoop -s /bin/bash

配置SSH无密码登陆

cd ~/.ssh/ # 若没有该目录,请先执行一次sshlocalhost ssh-keygen -t rsa# 会有提示,一路都按回车就可以 cat ./id_rsa.pub >> ./authorized_keys # 加入授权

此时再用sshlocalhost命令,无需输入密码就可以直接登陆。

安装Java环境

rpm –ivhjdk-7u79-linux-x64.rpm vim /etc/profile

#set java environment

JAVA_HOME=\

CLASSPATH=\HADOOP_HOME=\

PATH=\export JAVA_HOME CLASSPATH PATH

source /etc/profile java -version

Java环境安装成功。

安装 Hadoop

Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载,一般选择下载最新的稳定版本,即下载“stable”下的 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含src的则是 Hadoop 源代码,需要进行编译才可使用。

下载时强烈建议也下载 hadoop-2.x.y.tar.gz.mds 这个文件,该文件包含了检验值可用于检查 hadoop-2.x.y.tar.gz 的完整性,否则若文件发生了损坏或下载不完整,Hadoop 将无法正常运行。

本文涉及的文件均通过浏览器下载,默认保存在“下载”目录中(若不是请自行更改 tar 命令的相应目录)。另外,本教程选择的是 2.6.4 版本,如果你用的不是 2.6.4 版本,则将所有命令中出现的 2.6.4 更改为你所使用的版本。

tar -zxf /data/install/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中 cd /usr/local/

mv ./hadoop-2.6.4/ ./hadoop # 将文件夹名改为hadoop chown -R hadoop ./Hadoop vim /etc/profile

HADOOP_HOME=\

PATH=\export JAVA_HOME CLASSPATH PATH

# improve Could not resolve hostname library: Name or service not known export HADOOP_COMMON_LIB_NATIVE_DIR=\export HADOOP_OPTS=\source /etc/profile hadoop version

Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为NameNode也作为DataNode,同时,读取的是 HDFS 中的文件。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml (通过gedit编辑会比较方便: gedit ./etc/hadoop/core-site.xml),将当中的

XML

修改为下面配置:

hadoop.tmp.dir

file:/usr/local/hadoop/tmp

Abase for other temporary directories.

fs.defaultFS

hdfs://localhost:9000

同样的,修改配置文件 hdfs-site.xml:

dfs.replication 1

dfs.namenode.name.dir

file:/usr/local/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/usr/local/hadoop/tmp/dfs/data

Hadoop配置文件说明

Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。

此外,伪分布式虽然只需要配置fs.defaultFS和dfs.replication就可以运行(官方教程如此),