在ubuntu上启动hadoop时遇到的问题。
\u642d\u5efa\u6210\u529f\u4e4b\u540e\u91cd\u65b0\u5f00\u542fUBUNTU\uff0c\u600e\u4e48\u542f\u52a8hadoop\u7ec8\u4e8e\u6210\u529f\u642d\u5efa\u5b8c\u6bd5Hadoop\u5b8c\u5168\u5206\u5e03\u5f0f\u73af\u5883\u3002\u5176\u4e2d\u803d\u8bef\u65f6\u95f4\u6700\u957f\u7684\u662fdatanode\u65e0\u6cd5\u542f\u52a8\u3002\u5176\u5b9e\u662f\u81ea\u5df1\u7684\u4f4e\u7ea7\u9519\u8bef\u3002
3\u53f0\u865a\u62df\u673a\uff0c\u4e00\u53f0master\uff0c\u4e24\u53f0salve\u3002
\u7b2c\u4e00\u6b21\u9519\u8bef\uff0c\u67e5\u770b\u65e5\u5fd7\uff0c\u662fhdfs-site.xml\u6587\u4ef6\u914d\u7f6e\u62fc\u5199\u9519\u8bef\u3002
\u7b2c\u4e8c\u6b21\u5230\u7b2cN\u6b21 \u90fd\u662f slave\u65e0\u6cd5\u8fde\u63a5\u5230master \uff0c\u4ee5\u4e0b\u662f\u6211\u68c0\u67e5\u7684\u65b9\u5411\uff1a
1.master \u548c slave\u7684\u9632\u706b\u5899\u786e\u8ba4\u662f\u5173\u95ed\u7684\u3002
2.\u518d\u6b21\u68c0\u67e5\u914d\u7f6e\u6587\u4ef6\uff1afs.default.name \u548cmapred.job.tracker \u7684value\u503c master\u548cip\u90fd\u8bd5\u8bd5\u3002
3.\u518d\u7b2c\u4e00\u6b21\u53d1\u751f\u9519\u8bef\u4fee\u6539\u5b8c\u6bd5\u540e\uff0cformat namenode\u65f6\u65e0\u6cd5\u6210\u529f\uff0c\u8fd9\u662f\u56e0\u4e3a\u914d\u7f6e\u7684dfs.name.dir\u548cdfs.data.dir\u6587\u4ef6\u76ee\u5f55\u6ca1\u6709\u5220\u9664 \uff0c\u9700\u8981\u624b\u52a8\u5220\u9664master\u548cslave\u7684\u76f8\u5173\u6587\u4ef6\u5939\u3002
4.ssh\u8fde\u63a5\u3002 \u914d\u7f6e\u5b8cssh\u65e0\u5bc6\u7801\u767b\u9646\u4e4b\u540e \uff0c \u9700\u8981\u8fde\u63a5\u4e00\u6b21\uff08\u7b2c\u4e00\u6b21\u8fde\u63a5\u4f1a\u8ba9\u4f60\u8f93\u5165yes?\uff09\uff0c\u8fd9\u6b63\u662f\u6211\u82b1\u8d39\u65f6\u95f4\u6700\u957f\u7684\u5730\u65b9\u3002master\u8fde\u63a5slave\uff0cslave\u4e5f\u8981\u8fde\u63a5master\u3002\u4e4b\u540e\u518dformat\uff0c\u542f\u52a8hadoop\uff0cjps\u67e5\u770b\u8fdb\u7a0b \u6210\u529f\u542f\u52a8\u3002
\u4ece\u8fd9\u6b21\u642d\u5efa\u73af\u5883\u4e2d\uff0c\u5b66\u4f1a\u4e86\u8bd5\u7740\u5206\u6790\u65e5\u5fd7\u627e\u5230\u95ee\u9898\uff0c\u540c\u65f6\u901a\u8fc7\u4e00\u6b65\u6b65\u6392\u9664\u53ef\u80fd\u7684\u539f\u56e0\u5f97\u5230\u6700\u540e\u7684\u539f\u56e0\u3002
\u76f8\u5173\u9605\u8bfb\uff1a
Ubuntu 13.04\u4e0a\u642d\u5efaHadoop\u73af\u5883 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1\u7248\u672c\u96c6\u7fa4\u914d\u7f6e http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu\u4e0a\u642d\u5efaHadoop\u73af\u5883\uff08\u5355\u673a\u6a21\u5f0f+\u4f2a\u5206\u5e03\u6a21\u5f0f\uff09 http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu\u4e0bHadoop\u73af\u5883\u7684\u914d\u7f6e http://www.linuxidc.com/Linux/2012-11/74539.htm
\u5355\u673a\u7248\u642d\u5efaHadoop\u73af\u5883\u56fe\u6587\u6559\u7a0b\u8be6\u89e3 http://www.linuxidc.com/Linux/2012-02/53927.htm
\u642d\u5efaHadoop\u73af\u5883\uff08\u5728Winodws\u73af\u5883\u4e0b\u7528\u865a\u62df\u673a\u865a\u62df\u4e24\u4e2aUbuntu\u7cfb\u7edf\u8fdb\u884c\u642d\u5efa\uff09 http://www.linuxidc.com/Linux/2011-12/48894.htm
\u53ef\u80fd\u662f\u697c\u4e3b\u542f\u52a8\u96c6\u7fa4\u540e\uff0c\u53c8\u91cd\u590d\u683c\u5f0f\u5316namenode\u5bfc\u81f4\u7684\u3002
\u5982\u679c\u53ea\u662f\u6d4b\u8bd5\u5b66\u4e60\uff0c\u53ef\u4ee5\u4f7f\u7528\u5982\u4e0b\u89e3\u51b3\u65b9\u6cd5\uff1a
1\u3001\u9996\u5148kill\u638926755\u300121863\u548c26654\u51e0\u4e2a\u8fdb\u7a0b\u3002\u5982\u679ckill 26755\u4e0d\u884c\uff0c\u53ef\u4ee5kill -kill 26755\u3002
2\u3001\u624b\u52a8\u5220\u9664conf/hdfs-site.xml\u6587\u4ef6\u4e2d\u914d\u7f6e\u7684dfs.data.dir\u76ee\u5f55\u4e0b\u7684\u5185\u5bb9\u3002
3\u3001\u6267\u884c$HADOOP_HOME/bin/hadoop namenode -format
4\u3001\u542f\u52a8\u96c6\u7fa4$HADOOP_HOME/bin/start-all.sh
\u540e\u679c\uff1a
HDFS\u4e2d\u5185\u5bb9\u4f1a\u5168\u90e8\u4e22\u5931\u3002
1、首先通过网页http://hdfs:50030/查看一下状态显示，可能通过它看出有几个datanode联上了，有几个没联上，从而找出大致的问题在namenode还是datanode上。
1、首先通过netstat -tnp看一下namenode和datanode所使用的端口是否都已经正常开启
2、查看你的logs，不要只看namenode或某个datanode,而要全部查看，每一个结点的最后的log.
3、再就是查看hadoop中master,slavers还有ethX的配置是否正确。
4、如果出现看不懂的错误信息的话，把代码直接贴到百度或google可以给你一些意想不到的惊喜。
我的问题就是这么解决的，也没有老师指导，最后也搭成了，希望对你有帮助。
绛旓細鏉冮檺闂 璇风‘淇濆綋鍓嶇敤鎴峰hadoop瀹夎鐩綍鎷ユ湁鍏ㄩ儴鏉冮檺 鍒濆鑰呭缓璁娇鐢╮oot鐢ㄦ埛杩涜鎵鏈夊畨瑁呬互鍙婃搷浣 鍙互閬垮厤寰堝鏉冮檺闂
绛旓細浣犲ソ锛佸簲璇ユ槸瑕佺敤鎸囦护锛歞os2unix conf/hadoop-env.sh 灏唚indows瀛楃杞竴涓媢nix瀛楃鎵嶈锛屽叿浣撶櫨搴︹淲indows骞冲彴涓婂畨瑁Hadoop-0.20.203.0鐗堟湰鏂规硶鈥濄備綘璇曡瘯鍚э紝鎴戠殑鏄繖鏍疯В鍐充簡銆傛墦瀛椾笉鏄擄紝閲囩撼鍝︼紒
绛旓細鍒涘缓hadoop鐢ㄦ埛 sudo adduser -ingroup hadoop hadoop 鍥炶溅鍚庝細鎻愮ず杈撳叆鏂扮殑UNIX瀵嗙爜锛岃繖鏄柊寤虹敤鎴hadoop鐨瀵嗙爜锛岃緭鍏ュ洖杞﹀嵆鍙傚鏋滀笉杈撳叆瀵嗙爜锛屽洖杞﹀悗浼氶噸鏂版彁绀鸿緭鍏ュ瘑鐮侊紝鍗冲瘑鐮佷笉鑳戒负绌恒傛渶鍚庣‘璁や俊鎭槸鍚︽纭紝濡傛灉娌￠棶棰橈紝杈撳叆 Y锛屽洖杞﹀嵆鍙
绛旓細鍒氭帴瑙︾殑璇濆氨鎹㈡垚root鐢ㄦ埛璇曡瘯锛屽師鍥犳槸娌℃湁鎵ц鏉冮檺锛屾垨鑰呭皢hadoop瀹夎鐩綍鐨勬墍鏈夋潈闄愯祴浜堢粰褰撳墠鐢ㄦ埛
绛旓細鏈暀绋嬪熀浜庡師鐢 Hadoop 2锛屽湪 Hadoop 2.6.0 (stable) 鐗堟湰涓嬮獙璇侀氳繃锛屽彲閫傚悎浠讳綍 Hadoop 2.x.y 鐗堟湰锛屼緥濡 Hadoop 2.4.1銆侶adoop鐗堟湰 Hadoop 鏈変袱涓富瑕佺増鏈紝Hadoop 1.x.y 鍜 Hadoop 2.x.y 绯诲垪锛屾瘮杈冭佺殑鏁欐潗涓婄敤鐨勫彲鑳芥槸 0.20 杩欐牱鐨勭増鏈侶adoop 2.x 鐗堟湰鍦ㄤ笉鏂洿鏂帮紝鏈暀绋嬪潎鍙...
绛旓細hadoop涓鏈変竴浜涚壒鎬у彲浠ョ敤鏉ュ噺杞昏繖绉嶉棶棰橈細鍙互鍦ㄤ竴涓狫VM涓厑璁竧ask reuse锛屼互鏀寔鍦ㄤ竴涓狫VM涓繍琛屽涓猰ap task锛屼互姝ゆ潵鍑忓皯涓浜汮VM鐨鍚姩娑堣(閫氳繃璁剧疆mapred.job.reuse.jvm.num.tasks灞炴э紝榛樿涓1锛岋紞1涓烘棤闄愬埗)銆傚彟涓绉嶆柟娉曚负浣跨敤MultiFileInputSplit锛屽畠鍙互浣垮緱涓涓猰ap涓兘澶熷鐞嗗涓猻plit銆
绛旓細 32浣嶏細http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-i386.iso 64浣嶏細http://releases.ubuntu.com/16.04/ubuntu-16.04-desktop-amd64.iso 瑙ｅ喅鏂规锛氱洿鎺ュ垹闄amenode鐨勯厤缃枃浠剁洰褰,鍦ㄩ噸鏂癴ormat 1. cd /hadoop/hadoop-1.2.1/bin 2. stop-all.sh...
绛旓細瀵逛簬浼垎甯冨紡锛Hadoop浼氶噰鐢ㄤ笌闆嗙兢鐩稿悓鐨勫鐞嗘柟寮忥紝鍗充緷娆″簭鍚姩鏂囦欢conf/slaves涓杞界殑涓绘満涓婄殑杩涚▼锛屽彧涓嶈繃浼垎甯冨紡涓璼alve涓簂ocalhost(鍗充负鑷韩)锛屾墍浠ュ浜庝吉鍒嗗竷寮廐adoop锛孲SH涓鏍锋槸蹇呴』鐨勩備竴銆佸畨瑁匤DK 1.6 瀹夎JDK鐨勮繃绋嬪緢绠鍗曪紝涓嬮潰浠Ubuntu涓轰緥銆(1)涓嬭浇鍜屽畨瑁匤DK 纭繚鍙互杩炴帴鍒颁簰鑱旂綉锛岃緭鍏ュ懡浠...
绛旓細鍗囩骇鏈湴璧勬簮锛岀洿鎺hell绐楀彛涓緭鍏 update锛岀劧鍚庡嵏杞絪sh 閲嶈璇曡瘯
绛旓細7銆乵aster閰嶇疆hadoop,骞跺皢hadoop鏂囦欢浼犺緭鍒皀ode鑺傜偣 8銆侀厤缃幆澧冨彉閲,骞鍚姩hadoop,妫鏌ユ槸鍚﹀畨瑁呮垚鍔,鎵цwordcount妫鏌ユ槸鍚︽垚鍔熴 1.瀹夎铏氭嫙鏈 鍦╒M涓婂畨瑁呬笅杞藉ソ鐨Ubuntu鐨勭郴缁,鍏蜂綋杩囩▼鑷鐧惧害銆傚彲浠ュ畨瑁呭畬涓涓互鍚庡厠闅,浣嗘槸鏈汉瀹夎杩囩▼涓亣鍒板緢澶氶棶棰,缁忓父闇瑕佸垹闄よ櫄鎷熸満,閲嶆柊瀹夎,鑰岃鍏嬮殕鐨勮櫄鎷熸満涓嶈兘鍒犻櫎,鎵浠...
