在HA模式下,HDFS里包含哪些组件？
在HA（高可用）模式下，HDFS（Hadoop分布式文件系统）包含以下几个关键组件：1. NameNode：NameNode是HDFS的主节点，负责管理文件系统的命名空间和元数据信息。它记录了文件和目录的层次结构、文件块的位置以及文件和目录的权限等。在HA模式下，存在两个NameNode：一个是活动的Active NameNode，另一个是备用的Standby NameNode。
2. JournalNode：JournalNode是一组节点，负责存储NameNode的编辑日志。在HA模式中，所有的NameNode都将编辑日志写入到共享的JournalNode集群中。这样可以确保即使其中一个节点发生故障，也能够保持元数据的一致性。
3. ZooKeeper：ZooKeeper是一个分布式协调服务，用于管理HDFS中的HA状态。ZooKeeper负责监测和维护NameNode的状态，并在必要时进行故障切换。它还用于选举Active NameNode，确保只有一个NameNode处于活动状态。
4. DataNode：DataNode是负责存储实际数据块的节点。它们负责处理客户端的读写请求，并将数据块存储在本地磁盘上。多个DataNode组成一个数据块复制的集群，以提供数据的冗余和容错能力。
5. Secondary NameNode（可选）：Secondary NameNode是一个辅助节点，负责定期合并和压缩NameNode的编辑日志，并生成新的检查点（checkpoint）。它帮助减轻NameNode的负载，并提供一种备份手段，但并不提供实时的HA功能。
这些组件在HDFS的HA模式中相互配合，以提供高可用性和容错能力，确保文件系统的稳定运行。
绛旓細鍦℉A锛堥珮鍙敤锛夋ā寮忎笅锛HDFS锛圚adoop鍒嗗竷寮忔枃浠剁郴缁燂級鍖呭惈浠ヤ笅鍑犱釜鍏抽敭缁勪欢锛1. NameNode锛歂ameNode鏄疕DFS鐨勪富鑺傜偣锛岃礋璐ｇ鐞嗘枃浠剁郴缁熺殑鍛藉悕绌洪棿鍜屽厓鏁版嵁淇℃伅銆傚畠璁板綍浜嗘枃浠跺拰鐩綍鐨勫眰娆＄粨鏋勩佹枃浠跺潡鐨勪綅缃互鍙婃枃浠跺拰鐩綍鐨勬潈闄愮瓑銆傚湪HA妯″紡涓嬶紝瀛樺湪涓や釜NameNode锛氫竴涓槸娲诲姩鐨凙ctive NameNode锛屽彟涓涓槸澶...
绛旓細褰卞搷HDFS闆嗙兢涓嶅彲鐢ㄤ富瑕鍖呮嫭浠ヤ笅涓ょ鎯呭喌锛歂ameNode鏈哄櫒瀹曟満锛屽皢瀵艰嚧闆嗙兢涓嶅彲鐢紝閲嶅惎NameNode涔嬪悗鎵嶅彲浣跨敤銆傝鍒掗渶瑕佸NameNode鑺傜偣杞欢鎴栫‖浠跺崌绾э紝瀵艰嚧闆嗙兢鍦ㄧ煭鏃堕棿鍐呬笉鍙敤銆備负浜嗚В鍐充笂杩伴棶棰橈紝Hadoop缁欏嚭浜咹DFS鐨 楂樺彲鐢 HA鏂规锛HDFS鐨凥A閫氬父鐢变袱涓狽ameNode缁勬垚锛屼竴涓浜 active 鐘舵侊紝鍙︿竴涓浜 standb...
绛旓細HDFS 锛圚adoop Distributed File System锛夋槸 Hadoop 鐨勬牳蹇冪粍浠朵箣涓锛 闈炲父閫備簬瀛樺偍澶у瀷鏁版嵁 (姣斿 TB 鍜 PB)锛 HDFS 浣跨敤澶氬彴璁＄畻鏈哄瓨鍌ㄦ枃浠讹紝骞朵笖鎻愪緵缁熶竴鐨勮闂帴鍙ｏ紝鍍忔槸璁块棶涓涓櫘閫氭枃浠剁郴缁熶竴鏍蜂娇鐢ㄥ垎甯冨紡鏂囦欢绯荤粺銆侶DFS鏄垎甯冨紡璁＄畻涓暟鎹瓨鍌ㄧ鐞嗙殑鍩虹锛屾槸鍩轰簬娴佹暟鎹妯″紡璁块棶鍜屽鐞嗚秴澶ф枃浠剁殑闇姹傝...
绛旓細杩欓噷瀛︿簡涓HDFS_DELEGATION_TOKEN 鐩稿叧鐨勭煡璇嗭紝鐒跺悗鍋氬嚭瑙ｇ瓟 鍦ㄤ笂杩 https://github.com/apache/spark/pull/9168 涓紝鎴戝皢闂鍘熷洜绠鍗曡В閲婁笅銆 鍦╤adoop HA妯″紡涓嬶紝鏈変笁绉峵okens 1銆乭a token 2銆乶amenode1 token 3銆乶amenode2 token Spark閫氳繃璋冪敤UserGroupInformation.getCurrentUser.add...
绛旓細HDFS鏄富浠庢灦鏋勩備竴涓狧DFS闆嗙兢鍖呭惈涓涓狽ameNode,涓涓鐞嗘枃浠剁郴缁熷懡鍚嶇┖闂村拰鎺у埗瀹㈡埛绔闂枃浠剁殑master server銆備互鍙,鑻ュ共鐨 DataNodes,閫氬父闆嗙兢鐨勬瘡涓猲ode涓涓,绠＄悊杩愯DataNode鐨勮妭鐐逛笂鐨勫瓨鍌ㄣ侶DFS 鍙戝竷涓涓枃浠剁郴缁熷懡鍚嶇┖闂,骞跺厑璁哥敤鎴锋暟鎹凡鏂囦欢鐨勫舰寮忓瓨鍌ㄥ湪涓婇潰銆傚唴閮,涓涓枃浠惰鍒嗘垚涓涓垨澶氫釜鍧,瀛樺偍鍦ㄤ竴缁凞ataN...
绛旓細HDFS鐨鏂囦欢鍐欏叆鍘熺悊锛屼富瑕鍖呮嫭浠ヤ笅鍑犱釜姝ラ锛歯amenode濡備綍閫夋嫨鍦ㄥ摢涓猟atanode 瀛樺偍鍓湰锛坮eplication锛夛紵杩欓噷闇瑕佸鍙潬鎬с佸啓鍏ュ甫瀹藉拰璇诲彇甯﹀杩涜鏉冭 銆侶adoop瀵筪atanode瀛樺偍鍓湰鏈夎嚜宸辩殑鍓湰绛栫暐锛屽湪鍏跺彂灞曡繃绋嬩腑涓鍏辨湁涓や釜鐗堟湰鐨勫壇鏈瓥鐣ワ紝鍒嗗埆濡備笅鎵绀 杩欐牱鍋氱殑濂藉灏辨槸褰揘N鍐呭瓨鍙楅檺鏃讹紝鑳芥墿灞曞唴瀛橈紝瑙ｅ喅鍐呭瓨...
绛旓細瑙ｅ喅鏂规 锛氬湪鍚屼竴涓HDFS闆嗙兢锛岃繍琛屼袱涓簰涓轰富澶囩殑NameNode鑺傜偣銆備竴鍙颁负涓籒amenode鑺傜偣锛屽浜嶢ctive鐘舵侊紝涓鍙颁负澶嘚ameNode鑺傜偣锛屽浜嶴tandby鐘舵併傚叾涓彧鏈堿ctive NameNode瀵瑰鎻愪緵璇诲啓鏈嶅姟锛孲tandby NameNode浼氭牴鎹瓵ctive NameNode鐨勭姸鎬佸彉鍖栵紝鍦ㄥ繀瑕佹椂鍒囨崲鎴怉ctive鐘舵併傘怤ameNode HA鏋舵瀯鍥俱慔ealthMonitor...
绛旓細绗竴浠adoop鍖呭惈涓変釜澶х増鏈紝鍒嗗埆鏄0.20.x锛0.21.x鍜0.22.x锛屽叾涓紝0.20.x鏈鍚庢紨鍖栨垚1.0.x锛屽彉鎴愪簡绋冲畾鐗堬紝鑰0.21.x鍜0.22.x鍒橬ameNode HA绛夋柊鐨勯噸澶х壒鎬с傜浜屼唬Hadoop鍖呭惈涓や釜鐗堟湰锛屽垎鍒槸0.23.x鍜2.x锛屽畠浠畬鍏ㄤ笉鍚屼簬Hadoop 1.0锛屾槸涓濂楀叏鏂扮殑鏋舵瀯锛屽潎鍖呭惈HDFS Federation鍜...
绛旓細姣忔鍑虹幇璇ュ紓甯革紝閲嶅惎HDFS闆嗙兢锛屽氨鍙互鎭㈠姝ｅ父銆備絾鐢熶骇鐜鑲畾涓嶈兘涓夊ぉ涓ゅご閲嶅惎闆嗙兢銆備簬鏄皾璇旽A鏈哄埗涓嬫粴鍔ㄩ噸鍚傜郴缁熺殑NameNode宸茬粡寮鍚簡HA妯″紡锛鍗充富澶囨ā寮忋傛渶寮濮嬶紝鐢变簬寮傚父鍙戠敓鍦∟ameNode涓昏妭鐐癸紝璁や负鏄富鑺傜偣checkpoint鍙戠敓寮傚父锛屾晠閲嶅惎涓昏妭鐐癸紝棰勬湡浼氫骇鐢熶富澶囧垏鎹紝浣嗛噸鍚箣鍚庯紝骞舵湭鍙戠敓涓诲鍒囨崲锛屼富...
绛旓細 3.鍚姩journode锛寊kServer锛宖ormat namenode 4.鍚姩hdfs浠ュ強yarn闆嗙兢 5.妫楠宧dfs浠ュ強yarn 鍓嶅洓姝ヤ竴鍒囬『鍒╋紝鐒跺悗鍒颁簡鏈鍚庝竴姝ワ紝鍚慼dfs put鐨勬椂鍊欙紝鎶ヤ簡unknownhost寮傚父锛屾壘涓嶅埌ns锛堟垜閰嶇疆core-site.xml涓殑fs.defaultFS鐨勫瓧娈典负...
