如何配置Hadoop环境
\u5982\u4f55\u914d\u7f6eHadoop\u73af\u58831)\u4e0b\u8f7d\u5e76\u89e3\u538bhadoop-0.20.203.0.\u4fee\u7ed9\u89e3\u538b\u6587\u4ef6\u5939\u540d\u5b57\u4e3ahadoop-0.20.203
2)\u6309\u4e0a\u8ff0\u6240\u793a\u5c06hadoop-0.20.203/bin\u8def\u5f84\u52a0\u5230PATH\u73af\u5883\u53d8\u91cf\u4e2d
sudo gedit/etc/profile
3)\u4fee\u6539\u914d\u7f6e\u6587\u4ef6\uff0c\u914d\u7f6e\u6587\u4ef6\u90fd\u5728hadoop-0.20.203/conf\u76ee\u5f55\u4e0b\u3002
a.\u8fdb\u5230/hadoop-0.20.203/conf/hadoop-env.sh\u4e2d\uff0c\u89e3\u6ce8\u91caJAVA_HOME
\u4fee\u6539\u4e3a\uff1aJAVA_HOME=/home/hadoop/jdk1.6
b.\u4fee\u6539core-site.xml\u6587\u4ef6\u914d\u7f6e\u5982\u4e0b\uff1a
fs.default.name
hdfs://namenode:9000
hadoop.tmp.dir
/home/hadoop/tmp
c\u3001\u4fee\u6539hdfs-site.xml\u6587\u4ef6\u5982\u4e0b:
dfs.replication
2
d\u3001\u4fee\u6539mapred-site.xml\u6587\u4ef6\u5982\u4e0b\uff1a
mapred.job.tracker
namenode:9001
e\u3001\u5728masters\u548cslave\u6587\u4ef6\u4e2d\u5206\u522b\u914d\u7f6e\u4e3b\u8282\u70b9\u548c\u5404\u4e2a\u6570\u636e\u8282\u70b9\uff1a
masters\uff1a\u4e2d\u5199\u5165namenode
slaves\uff1a \u5199\u5165datanode1
datanode2
\u53bb\u5927\u8bb2\u53f0\u770b\u770b\uff0c\u63a8\u51fa\u5728\u7ebf\u8fd0\u7528\u79d1\u5b66\u6df7\u5408\u5f0f\u81ea\u9002\u5e94\u5b66\u4e60\u7cfb\u7edf\u7ec4\u7ec7\u7ebf\u4e0a\u6559\u5b66\uff0c\u5982\u4f55\u914d\u7f6eHadoop\u73af\u5883\u6709\u89c6\u9891\u6559\u7a0b\uff0c\u5e0c\u671b\u53ef\u4ee5\u5e2e\u52a9\u5230\u4f60\uff0c\u6700\u540e\u8fd0\u7528\u5927\u6570\u636e\u53ef\u89c6\u5316\u7684\u5728\u7ebf\u5b9e\u8bad\u7cfb\u7edf\u7ec4\u7ec7\u5b9e\u6218\u7ec3\u4e60\uff0c
用于测试，我用4台虚拟机搭建成了hadoop结构
我用了两个台式机。一个xp系统，一个win7系统。每台电脑装两个虚拟机，要不然内存就满了。
1、安装虚拟机环境
Vmware，收费产品，占内存较大。
或
Oracle的VirtualBox，开源产品，占内存较小，但安装ubuntu过程中，重启会出错。
我选Vmware。
2、安装操作系统
Centos，红帽开源版，接近于生产环境。
Ubuntu，操作简单，方便，界面友好。
我选Ubuntu12.10.X 32位
3、安装一些常用的软件
在每台linux虚拟机上，安装：vim，ssh
sudo apt-get install vim
sudo apt-get install ssh
在客户端，也就是win7上，安装SecureCRT，Winscp或putty，这几个程序，都是依靠ssh服务来操作的，所以前提必须安装ssh服务。
service ssh status 查看ssh状态。如果关闭使用service ssh start开启服务。
SecureCRT，可以通过ssh远程访问linux虚拟机。
winSCP或putty，可以从win7向linux上传文件。
4、修改主机名和网络配置
主机名分别为：master，host2，host3，host4。
sudo vim /etc/hostname
网络配置，包括ip地址，子网掩码，DNS服务器。如上图所示。
5、修改/etc/hosts文件。
修改每台电脑的hosts文件。
hosts文件和windows上的功能是一样的。存储主机名和ip地址的映射。
在每台linux上，sudo vim /etc/hosts 编写hosts文件。将主机名和ip地址的映射填写进去。编辑完后，结果如下：
6、配置ssh，实现无密码登陆
无密码登陆，效果也就是在master上，通过 ssh host2 或 ssh host3 或 ssh host4 就可以登陆到对方计算机上。而且不用输入密码。
四台虚拟机上，使用 ssh-keygen -t rsa 一路按回车就行了。
刚才都作甚了呢？主要是设置ssh的密钥和密钥的存放路径。 路径为~/.ssh下。
打开~/.ssh 下面有三个文件
authorized_keys，已认证的keys
id_rsa，私钥
id_rsa.pub，公钥 三个文件。
下面就是关键的地方了，（我们要做ssh认证。进行下面操作前，可以先搜关于认证和加密区别以及各自的过程。）
①在master上将公钥放到authorized_keys里。命令：sudo cat id_rsa.pub >> authorized_keys
②将master上的authorized_keys放到其他linux的~/.ssh目录下。
命令：sudo scp authorized_keys [email protected]:~/.ssh
sudo scp authorized_keys 远程主机用户名@远程主机名或ip:存放路径。
③修改authorized_keys权限，命令：chmod 644 authorized_keys
④测试是否成功
ssh host2 输入用户名密码，然后退出，再次ssh host2不用密码，直接进入系统。这就表示成功了。
7、上传jdk，并配置环境变量。
通过winSCP将文件上传到linux中。将文件放到/usr/lib/java中，四个linux都要操作。
解压缩：tar -zxvf jdk1.7.0_21.tar
设置环境变量 sudo vim ~/.bashrc
在最下面添加：
export JAVA_HOME = /usr/lib/java/jdk1.7.0_21
export PATH = $JAVA_HOME/bin:$PATH
修改完后，用source ~/.bashrc让配置文件生效。
8、上传hadoop，配置hadoop
通过winSCP，上传hadoop，到/usr/local/下，解压缩tar -zxvf hadoop1.2.1.tar
再重命名一下，sudo mv hadoop1.2.1 hadoop
这样目录就变成/usr/local/hadoop
①修改环境变量，将hadoop加进去（最后四个linux都操作一次）
sudo vim ~/.bashrc
export HADOOP_HOME = /usr/local/hadoop
export PATH = $JAVA_HOme/bin:$HADOOP_HOME/bin:$PATH
修改完后，用source ~/.bashrc让配置文件生效。
②修改/usr/local/hadoop/conf下配置文件
hadoop-env.sh，
（上面这张图片，有一些问题，只export JAVA_HOME进去就可以了，不用export HADOOP_HOME和PATH了 ）
core-site.xml，
hdfs-site.xml，
mapred-site.xml，
master，
slave，
上面的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml，master，slave几个文件，在四台linux中都是一样的。
配置完一台电脑后，可以将hadoop包，直接拷贝到其他电脑上。
③最后要记得，将hadoop的用户加进去，命令为
sudo chown -R hadoop:hadoop hadoop
sudo chown -R 用户名@用户组 目录名
④让hadoop配置生效
source hadoop-env.sh
⑤格式化namenode，只格式一次
hadoop namenode -format
⑥启动hadoop
切到/usr/local/hadoop/bin目录下，执行 start-all.sh启动所有程序
⑦查看进程，是否启动
jps
master，
host2，
host3，host4，的显示结果，与host2相同。
绛旓細鈶犱慨鏀鐜鍙橀噺锛屽皢hadoop鍔犺繘鍘伙紙鏈鍚庡洓涓猯inux閮芥搷浣滀竴娆★級sudo vim ~/.bashrc export HADOOP_HOME = /usr/local/hadoop export PATH = $JAVA_HOme/bin:$HADOOP_HOME/bin:$PATH 淇敼瀹屽悗锛岀敤source ~/.bashrc璁閰嶇疆鏂囦欢鐢熸晥銆傗憽淇敼/usr/local/hadoop/conf涓嬮厤缃枃浠 hadoop-env.sh锛岋紙涓婇潰杩欏紶...
绛旓細1)涓嬭浇骞惰В鍘hadoop-0.20.203.0.淇粰瑙ｅ帇鏂囦欢澶瑰悕瀛椾负hadoop-0.20.203 2)鎸変笂杩版墍绀哄皢hadoop-0.20.203/bin璺緞鍔犲埌PATH鐜鍙橀噺涓 sudo gedit/etc/profile 3)淇敼閰嶇疆鏂囦欢锛岄厤缃枃浠堕兘鍦╤adoop-0.20.203/conf鐩綍涓嬨俛.杩涘埌/hadoop-0.20.203/conf/hadoop-env.sh涓紝瑙ｆ敞閲奐AVA_HOME 淇敼涓...
绛旓細鍙互閫氳繃闄勫姞涓嬮潰鐨勫懡浠ゅ埌 ~/.bashrc 鏂囦欢涓璁剧疆 Hadoop 鐜鍙橀噺銆俥xport HADOOP_HOME=/usr/local/hadoop 鍦ㄨ繘涓姝ヨ璁轰箣鍓嶏紝闇瑕佺‘淇滺adoop宸ヤ綔姝ｅ父銆傚彂鍑轰互涓嬪懡浠わ細hadoop version 濡傛灉璁剧疆鐨勪竴鍒囨甯革紝閭ｄ箞搴旇鐪嬪埌浠ヤ笅缁撴灉锛欻adoop 2.4.1 Subversion https://svn.apache.org/repos/asf/hadoop/common -...
绛旓細閫夋嫨鈥淛ava Build Path鈥 鈥斺 鈥淟ibraries鈥 鈥斺 Add External Jars 5銆佸埌涓婇潰鐨勭敾闈㈠悗锛屼笅闈㈠氨鏄夋嫨寮鍙hadoop绋嬪簭鏃讹紝鐢ㄥ埌鐨勪竴浜沯ar鍖 灏唋ib鏂囦欢澶逛笅鐨勬墍鏈夌殑jar鍖咃紝娣诲姞杩涘幓锛涘皢绾㈡鍐呯殑jar鍖咃紝瀹夎杩涘幓銆6銆佸垱寤閰嶇疆鏂囦欢澶 7銆佸皢core-site.xml,hdfs-site.xml,mapred-site.xml鏀惧叆鍒版鏂囦欢...
绛旓細閫夋嫨涓鍙版満鍣ㄤ綔涓篗aster锛屽垱寤篽adoop鐢ㄦ埛锛屽畨瑁匰SH鏈嶅姟鍜孞ava鐜Master鑺傜偣涓婂畨瑁呭苟閰嶇疆Hadoop鍦⊿lave鑺傜偣涓婇噸澶嶄笂杩版楠わ紝浣嗘棤闇瀹夎Hadoop锛屽彧闇澶嶅埗Master鐨凥adoop鏂囦欢澶瑰紑鍚疢aster鑺傜偣涓婄殑Hadoop鏈嶅姟缃戠粶閰嶇疆锛氱‘淇濊妭鐐归棿缃戠粶杩為氾紝涓擬AC鍦板潃涓嶉噸澶嶄慨鏀逛富鏈哄悕骞堕厤缃甋SH鏃犲瘑鐮佺櫥褰曢厤缃甈ATH鍙橀噺锛屼究浜庡湪浠绘剰鐩綍鎵ц...
绛旓細Hadoop HDFS API鐜鎼缓涓嶪DEA鎿嶄綔鎸囧崡 鍦╓indows绯荤粺涓紝棣栧厛瀹夎Hadoop銆傚畨瑁呭畬鎴愬悗锛屽彲浠ュ埄鐢∕aven灏嗗叾涓嶩adoop闆嗘垚锛屼究浜庣鐞嗗拰鎿嶄綔銆傚湪椤圭洰鐨剅esources鐩綍涓紝鍒涘缓涓涓悕涓"log4j.properties"鐨閰嶇疆鏂囦欢锛屼互閰嶇疆鏃ュ織鐩稿叧璁剧疆銆傛帴鐫锛屽湪Java椤圭洰涓紝鍒涘缓涓涓悕涓"hdfs"鐨勫寘锛岀劧鍚庡湪鍏朵腑鍒涘缓涓涓被銆傝繖涓...
绛旓細鍙互浣跨敤 root 鐢ㄦ埛鏉ュ畬鎴 Hadoop 鐨勭浉鍏抽厤缃拰瀹夎锛屼絾鍦ㄦ涔嬪墠锛岄渶瑕佺‘淇濈郴缁熷畨瑁呬簡涓浜涘繀瑕佺殑鍓嶇疆鐜鍜岃蒋浠躲備互涓嬫槸閰嶇疆 Hadoop 鐜鐨勫熀鏈楠わ細瀹夎 Java 杩愯鐜锛圝RE锛夋垨 Java 寮鍙戝伐鍏峰寘锛圝DK锛夈侶adoop 鏄娇鐢 Java 璇█寮鍙戠殑锛屽洜姝ら渶瑕佸畨瑁 Java 杩愯鐜鎵嶈兘杩愯銆傞厤缃 Java 鐜鍙橀噺銆傚湪 ...
绛旓細闇瑕閰嶇疆鐨勬枃浠舵湁core-site.xml鍜宧dfs-site.xml杩欎袱涓枃浠朵粬浠兘浣嶄簬${HADOOP_HOME}/etc/hadoop/鏂囦欢澶逛笅銆 鍏朵腑core-site.xml锛1 <?xml version="1.0" encoding="UTF-8"?>2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>3 <!--4 Licensed ...-->1819 <configuration...
绛旓細锛3锛夋惌寤篠park寮鍙鐜 鍦╥ntellij IDEA涓垱寤簊cala project锛屽苟渚濇閫夋嫨鈥淔ile鈥濃> 鈥減roject structure鈥濃> 鈥淟ibraries鈥濓紝閫夋嫨鈥+鈥濓紝灏唖park-hadoop 瀵瑰簲鐨勫寘瀵煎叆锛屾瘮濡傚鍏park-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar锛堝彧闇瀵煎叆璇ar 鍖咃紝鍏朵粬涓嶉渶瑕侊級锛屽鏋淚DE娌℃湁璇嗗埆scala ...
绛旓細鍙互閫氳繃澶嶅埗鍔熻兘瀹夎鍏朵粬涓や釜锛屽叾涓寘鎷琂DK鐨勫畨瑁閰嶇疆锛Hadoop鐨瀹夎锛堝叾瀹炲氨鏄В鍘嬶紝鐜鍙橀噺閰嶇疆鍗硃rofile鐨勪慨鏀癸紝etc閰嶇疆鏂囦欢鐨勪慨鏀癸紝鍖呮嫭core-site.xml銆乭dfs-site.xml銆乵apred-site.xml銆亂arn-site.xml锛夈傚鍒跺畬鍚庡啀鍒嗛厤铏氭嫙鏈虹殑IP锛孲SH鏃犲瘑鐮侀獙璇侀厤缃瓑銆備笂杩扮粏鑺傝鐧惧害鏁欑▼锛屽お澶氫簡銆
