我搭建Hadoop集群时，两个namenode节点都是Standby；而且datanode启动不成功，VERSION也没有namespaceID 完全分布式Hadoop集群namenode和datanode...
centos7\u642d\u5efahadoop\u96c6\u7fa43\u53f0\u673a\u5b50\u603b\u6709\u4e00\u4e2adatanode\u542f\u52a8\u5931\u8d25\u539f\u56e0\u662f\u4f60\u7684hserver2\u7684ssh\u8fde\u63a5\u4e0d\u901a\uff0c\u68c0\u67e5\u4e00\u4e0bssh\u4e92\u4fe1\u5173\u7cfb\u662f\u4e0d\u662f\u6ca1\u914d\u7f6e\u6b63\u786e\uff0c\u5148\u624b\u52a8ssh hserver2 date\u8bd5\u8bd5\u80fd\u4e0d\u80fd\u663e\u793a\u65e5\u671f
bin/hdfs fs -mkdir input
1、首先你要确定不用ha的时候你的hadoop集群是正常的，不然找错误的方向就偏离了2、如果都正常，配置ha 需要zookeeper，先要看看是不是zookeeper没有配置好的问题
3、如果都正常，在hadoop安装目录执行sbin/hadoop-daemon.sh start zkfc，这句是启动zookeeper选举制度，然后执行bin/hdfs haadmin -transitionToActive nn2 其中nn2是你的namenode中的一个
4、你在hadoop-env.sh中是需要配置JAVA_HOME的，但是不需要配置其他，HADOOP_HOME和PATH是需要配置在/etc/profile中的
绛旓細1. 鍒涘缓hadoop鐢ㄦ埛缁 sudo addgroup hadoop2. 鍒涘缓hadoop鐢ㄦ埛 sudo adduser -ingroup hadoop hadoop3. 缁檋adoop鐢ㄦ埛娣诲姞鏉冮檺,鎵撳紑/etc/sudoers鏂囦欢 sudo gedit /etc/sudoers 鎸夊洖杞﹂敭鍚庡氨浼氭墦寮/etc/sudoers鏂囦欢浜,缁檋adoop鐢ㄦ埛璧嬩簣root鐢ㄦ埛鍚屾牱鐨勬潈闄愬湪root ALL=(ALL:ALL) ALL涓嬫坊鍔爃adoop ALL=(ALL:ALL) ALL 4...
绛旓細slave:192.168.1.242 DataNode TaskTracker 鍐呭锛氭兂hadoop鏂囦欢绯荤粺涓笂浼犱竴涓ぇ鏂囦欢锛岄獙璇佹枃浠跺垎鍒垎甯冨湪192.168.1.241鑺傜偣鍜192.168.1.242鑺傜偣涓娿傜涓姝ワ細 鍓嶆湡宸ヤ綔锛鎼缓Hadoop闆嗙兢锛鍦╤dfs-site.xml涓殑閰嶇疆涓2.澶嶅埗浠ｇ爜 浠ｇ爜濡備笅:property...
绛旓細www.dnjsb.com ssh-keygen 閬囧埌鎻愮ず杈撳叆鏂囦欢鍚嶆垨鏄瘑鐮佺殑鍦版柟涓嶇敤绠★紝鍙渶鎸夊洖杞﹂敭鍗冲彲銆傚畬鎴愪箣鍚庯紝鍦/home/username(username鏄櫥褰曞悕)鐩綍涓嬩細鏈夌敓鎴 涓涓.ssh鐩綍锛宭s .ssh涔嬪悗浼氬彂鐜伴噷闈㈡湁涓や釜鏂囦欢锛屼竴涓槸id_rsa,鍙︿竴涓槸id_rsa.pub,鍓嶈呮槸绉侀挜锛屽悗鑰呮槸鍏挜銆傚湪缁堢杈撳叆 www.dnjsb.com cat...
绛旓細- 閰嶇疆SSH鏃犲瘑鐮佺櫥褰曪紝浠ヤ究鍦ㄨ妭鐐归棿鎵ц鍛戒护銆- 鍒涘缓蹇呰鐨勬枃浠剁洰褰曪紝涓篐adoop鍑嗗瀛樺偍绌洪棿銆2. 瀹夎Hadoop锛- 涓嬭浇Hadoop杞欢鍖呫- 閰嶇疆Hadoop鐨勭幆澧冨彉閲忥紝濡侶ADOOP_HOME鍜孭ATH銆- 淇敼Hadoop閰嶇疆鏂囦欢锛屽hdfs-site.xml鍜寉arn-site.xml銆3. 杩愯Hadoop闆嗙兢锛- 鍚姩HDFS鏈嶅姟锛岀‘淇漀ameNode鍜孌ataNode姝ｅ父宸...
绛旓細娉ㄦ剰鏂规硶鍋囪闆嗙兢鎵鐢ㄧ殑涓や釜鑺傜偣锛堟満鍣級閮戒綅浜庡悓涓涓眬鍩熺綉鍐呫傚鏋滀袱涓妭鐐逛娇鐢ㄧ殑鏄櫄鎷熸満瀹夎鐨凩inux绯荤粺锛岄偅涔堜袱鑰呴兘闇瑕佹洿鏀圭綉缁滆繛鎺ユ柟寮忎负鈥滄ˉ鎺ョ綉鍗♀濇ā寮忥紝鎵嶈兘瀹炵幇澶氫釜鑺傜偣浜掕繛锛屽涓嬪浘鎵绀恒傛澶栵紝涓瀹氳纭繚鍚勪釜鑺傜偣鐨凪ac鍦板潃涓嶈兘鐩稿悓锛屽惁鍒欎細鍑虹幇 IP鍐茬獊銆傚鏋滄槸閲囩敤瀵煎叆铏氭嫙鏈洪暅鍍忔枃浠剁殑鏂瑰紡瀹夎...
绛旓細鏈濂芥槸涓や釜鍋氭垚HA銆6T鐨勬暟鎹閲,鐪嬩綘鍓湰鏁伴噺璁剧疆鏄灏,涓鑸粯璁や负3,閭ｄ箞浠呰繖浜涘氨闇瑕18T纭洏,绋嶅井澶т竴鐐20T鍚;杩欎粎浠呮槸HDFS瀛樺偍锛(杩欓噷鎴戣鐨勬槸涓涓湀鐨,浣犳暟鎹繚瀛樺嚑涓湀,灏变箻鍑犲)銆傚鏋滀綘闆嗙兢涓婇潰瑕佽窇璁＄畻,MR璁＄畻鍑烘潵鐨勬暟鎹淇濆瓨HDFS鐨,鎵浠,杩樻槸瑕佹牴鎹綘鐨勭粨鏋滄暟鎹潵鍋氬垽鏂,澶у皬灏辩湅浣...
绛旓細涓嬮潰涓や釜琛ㄦ槸alvinhenrick/hadoop-mutinode椤圭洰涓庢垜鐨刱iwenlau/hadoop-cluster-docker椤圭洰鐨勫弬鏁板姣: 鍙煡,鎴戜富瑕佷紭鍖栦簡杩欐牱鍑犵偣: 鏇村皬鐨勯暅鍍忓ぇ灏 鏇村揩鐨勬瀯閫犳椂闂 鏇村皯鐨勯暅鍍忓眰鏁 鏇村揩鏇存柟渚垮湴鏀瑰彉Hadoop闆嗙兢鑺傜偣鏁扮洰 鍙﹀,alvinhenrick/hadoop-mutinode椤圭洰澧炲姞鑺傜偣鏃堕渶瑕佹墜鍔ㄤ慨鏀笻adoop閰嶇疆鏂囦欢鐒跺悗閲嶆柊鏋勫缓hadoop- nn...
绛旓細alvinhenrick/hadoop-mutinode椤圭洰澧炲姞鑺傜偣鏃堕渶瑕佹墜鍔ㄤ慨鏀笻adoop閰嶇疆鏂囦欢鐒跺悗閲嶆柊鏋勫缓hadoop- nn-dn 闀滃儚,鐒跺悗淇敼瀹瑰櫒鍚姩鑴氭湰锛屾墠鑳藉疄鐜板鍔犺妭鐐圭殑鍔熻兘銆傝屾垜閫氳繃shell鑴氭湰瀹炵幇鑷姩璇濓紝涓嶅埌1鍒嗛挓鍙互閲嶆柊鏋勫缓hadoop-master闀滃儚锛岀劧鍚 绔嬪嵆杩愯!鏈」鐩粯璁ゅ惎鍔3涓妭鐐圭殑Hadoop闆嗙兢锛鏀寔浠绘剰鑺傜偣鏁扮殑Hadoop闆嗙兢銆
绛旓細Puppet鏄疷nix/Linux涓嬬殑涓涓嚜鍔ㄥ寲绠＄悊寮曟搸锛屽畠鑳藉熀浜庝竴涓泦涓紡鐨勯厤缃墽琛屽鍔犵敤鎴枫佸畨瑁呰蒋浠跺寘銆佹洿鏂版湇鍔″櫒閰嶇疆绛夌鐞嗕换鍔°傛垜浠皢涓昏璁茶В濡備綍鍒╃敤Yum鍜孭uppet鏉ュ畨瑁匟adoop銆傚埄鐢╕um/Puppet鎼缓Hadoop闆嗙兢 瑕佸埄鐢≒uppet鎼缓Hadoop闆嗙兢锛棣栧厛瑕佺鍚堜互涓嬪墠缃潯浠讹細鍖呭惈鎵鏈夊繀闇Hadoop杞欢鐨勪腑澶粨搴 鐢ㄤ簬Hadoop閮ㄧ讲...
绛旓細锛1锛塲ournalnode锛氫娇涓や釜namenode涔嬮棿鐨勬暟鎹疄鐜板叡浜紙hadoop灞傞潰鐨勶級銆傜郴缁熷眰闈㈢殑鏄疦FS銆傦紙2锛墇ookeeper锛氬疄鐜皀amenode鐨勫垏鎹紝纭繚闆嗙兢鍙湁涓涓猘ctive 锛3)鏍煎紡鍖杬kfc,璁╁湪zookeeper涓敓鎴恏a鑺傜偣 (4)鏍煎紡鍖杗n:灏辨槸鏍煎紡鍖杊dfs.涓庢櫘閫氭枃浠剁郴缁熶竴鏍凤紝HDFS鏂囦欢绯荤粺蹇呴』瑕佸厛鏍煎紡鍖栵紝鍒涘缓鍏冩暟鎹暟鎹粨鏋...
