大数据要哪些技术
大数据技术是以数据为本质的新一代革命性的信息技术，在数据挖潜过程中，能够带动理念、模式、技术及应用实践的创新。本书系统性地介绍了大数据的概念、发展历程、市场价值、大数据相关技术，以及大数据对中国信息化建设、智慧城市、广告、媒体等领域的核心支撑作用，并对对数据科学理论做了初步探索。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。
绛旓細1銆佺紪绋嬭瑷锛氭兂瑕佸涔犲ぇ鏁版嵁鎶鏈锛岄鍏堣鎺屾彙涓闂ㄥ熀纭缂栫▼璇█銆侸a缂栫▼璇█鐨勪娇鐢ㄧ巼杈冨箍娉涳紝鍥犳灏变笟鏈轰細浼氭洿澶氫竴浜涳紝鑰孭ython缂栫▼璇█姝ｅ湪楂橀熸帹骞垮簲鐢ㄤ腑锛屽悓鏃跺涔燩ython鐨勫氨涓氭柟鍚戜細鏇村涓浜涖2銆丩inux锛氬涔犲ぇ鏁版嵁涓瀹氳鎺屾彙涓瀹氱殑Linux鎶鏈煡璇嗭紝涓嶈姹傛妧鏈按骞宠揪鍒板氨涓氱殑灞傛锛屼絾鏄竴瀹氳鎺屾彙Linux绯荤粺鐨勫熀鏈...
绛旓細澶ф暟鎹渶瑕佺殑鎶鏈寘鎷細鏁版嵁瀛樺偍鎶鏈佹暟鎹鐞嗘妧鏈佹暟鎹垎鏋愬拰鎸栨帢鎶鏈紝浠ュ強鏁版嵁瀹夊叏鍜岄殣绉佷繚鎶ゆ妧鏈銆傛暟鎹瓨鍌ㄦ妧鏈富瑕佹槸鐢ㄤ簬楂樻晥鍦板瓨鍌ㄥぇ閲忔暟鎹紝浠ヤ繚璇佹暟鎹兘澶熻蹇熷湴璁块棶鍜屾寔涔呭湴淇濆瓨銆傚ぇ鏁版嵁鎶鏈腑鎵閲囩敤鐨勬暟鎹瓨鍌ㄦ妧鏈寘鎷垎甯冨紡鏂囦欢绯荤粺锛屽Hadoop HDFS绛夛紝杩樻湁鏁版嵁搴撴妧鏈NoSQL鏁版嵁搴撶瓑銆傝繖浜涙妧鏈兘澶...
绛旓細澶ф暟鎹娇鐢ㄥ埌鐨勬妧鏈寘鎷細浜戣绠楁妧鏈佸垎甯冨紡瀛樺偍鎶鏈佹暟鎹寲鎺樻妧鏈佹暟鎹垎鏋愭妧鏈銆備竴銆佷簯璁＄畻鎶鏈 浜戣绠楁槸澶ф暟鎹妧鏈殑閲嶈鏀拺銆傚ぇ鏁版嵁鐨勫瓨鍌ㄥ拰澶勭悊闇瑕佸法澶х殑璁＄畻鑳藉姏锛屼簯璁＄畻閫氳繃鍒嗗竷寮忚绠椼佽櫄鎷熷寲绛夋妧鏈紝灏嗚绠楄祫婧愭睜鍖栵紝鎸夐渶涓虹敤鎴锋彁渚涘脊鎬х殑璁＄畻鏈嶅姟銆傝繖鏍凤紝澶ф暟鎹殑澶勭悊涓嶅啀鍙楅檺浜庣‖浠惰澶囩殑鎬ц兘锛屽彲...
绛旓細涓銆佸垎甯冨紡澶勭悊鎶鏈 鍒嗗竷寮忓鐞嗘妧鏈娇寰楀鍙拌绠楁満閫氳繃缃戠粶杩炴帴锛屽叡鍚屽畬鎴愪俊鎭鐞嗕换鍔°傝繖绉嶆妧鏈兘澶熷皢鏁版嵁鍜岃绠椾换鍔″垎鏁ｅ埌涓嶅悓鐨勫湴鐐瑰拰璁惧涓婏紝鎻愰珮澶勭悊鏁堢巼銆備緥濡傦紝Hadoop灏辨槸涓涓祦琛岀殑鍒嗗竷寮忓鐞嗘鏋躲備簩銆佷簯鎶鏈 浜戞妧鏈负澶ф暟鎹垎鏋愭彁渚涗簡寮哄ぇ鐨勮绠楄兘鍔涖傚畠閫氳繃灏嗘暟鎹拰璁＄畻浠诲姟鍒嗗竷鍒板ぇ閲忕殑璁＄畻鏈轰笂锛屽疄...
绛旓細澶ф暟鎹寘鍚殑鎶鏈湁锛氫簯璁＄畻鎶鏈佹暟鎹寲鎺樻妧鏈佹暟鎹泦鎴愭妧鏈佸垎甯冨紡澶勭悊鎶鏈佹暟鎹疄鏃跺垎鏋愭妧鏈瓑銆備簯璁＄畻鎶鏈 浜戣绠楁槸澶ф暟鎹妧鏈殑閲嶈鏀拺銆備簯璁＄畻鍙互灏嗘暟鎹瓨鍌ㄣ佸鐞嗗拰鍒嗘瀽浠诲姟鍒嗗竷鍒板ぇ閲忕殑鍒嗗竷寮忚绠楁満涓婏紝浠ユ杈惧埌鏁版嵁澶勭悊鐨勮秴澶ц妯℃у拰蹇熸с傚埄鐢ㄤ簯璁＄畻锛岀敤鎴峰彲浠ュ湪浠讳綍鍦版柟璁块棶澶ф暟鎹祫婧愶紝杩涜楂樻晥...
绛旓細澶ф暟鎹渶瑕瀛鍝簺鎶鏈 1銆丣ava鈥斺擩ava鍙互缂栧啓妗岄潰搴旂敤绋嬪簭銆乄eb搴旂敤绋嬪簭銆佸垎甯冨紡绯荤粺鍜屽祵鍏ュ紡绯荤粺搴旂敤绋嬪簭锛屾槸澶ф暟鎹涔犵殑鍩虹;2銆丩inux鈥斺斿ぇ鏁版嵁寮鍙戦氬父鍦↙inux鐜涓嬭繘琛;3銆丠adoop鈥斺斿垎甯冨紡绯荤粺鍩虹鏋舵瀯锛岀敤鎴峰彲浠ュ厖鍒嗗埄鐢ㄩ泦缇ょ殑濞佸姏杩涜楂橀熻繍绠楀拰瀛樺偍;4銆丄vro涓嶱rotobuf鈥斺旀暟鎹簭鍒楀寲绯荤粺锛屽彲浠ユ彁渚...
绛旓細2銆佹暟鎹簱鎶鏈細鍖呮嫭鏁版嵁寤烘ā銆佹暟鎹鐞嗐鏁版嵁鎸栨帢绛夋柟闈㈢殑鎶鏈紝浜哄伐鏅鸿兘鎶鏈細鍖呮嫭鏈哄櫒瀛︿範銆佽嚜鐒惰瑷澶勭悊銆佸浘鍍忚瘑鍒瓑鏂归潰鐨勬妧鏈紝浜戣绠楁妧鏈锛氬寘鎷簯璁＄畻鏋舵瀯銆佷簯瀛樺偍銆佷簯瀹夊叏绛夋柟闈㈢殑鎶鏈3銆佺墿鑱旂綉鎶鏈細鍖呮嫭浼犳劅鍣ㄦ妧鏈佸祵鍏ュ紡绯荤粺銆佹櫤鑳藉灞呯瓑鏂归潰鐨勬妧鏈紝澶ф暟鎹妧鏈細鍖呮嫭鏁版嵁閲囬泦銆佹暟鎹瓨鍌ㄣ佹暟鎹...
绛旓細涓銆澶ф暟鎹閲囬泦鎶鏈 澶ф暟鎹噰闆嗘秹鍙婇氳繃RFID銆佷紶鎰熷櫒銆佺ぞ浜ょ綉缁滀氦浜掍互鍙婄Щ鍔ㄤ簰鑱旂綉绛夊绉嶆柟寮忚幏鍙栫粨鏋勫寲銆佸崐缁撴瀯鍖栧拰闈炵粨鏋勫寲鐨勬捣閲忔暟鎹傝繖浜涙暟鎹槸澶ф暟鎹煡璇嗘湇鍔℃ā鍨嬬殑鍩虹銆闇瑕绐佺牬鍖呮嫭鍒嗗竷寮忛珮閫熼珮鍙潬鏁版嵁閲囬泦銆侀珮閫熸暟鎹叏鏄犲儚绛夋妧鏈紝骞惰璁℃暟鎹川閲忚瘎浼版ā鍨嬶紝寮鍙戞暟鎹川閲忔妧鏈備簩銆佸ぇ鏁版嵁棰勫鐞嗘妧鏈 棰...
绛旓細1銆佹暟鎹噰闆嗭細ETL宸ュ叿璐熻矗灏嗗垎甯冪殑銆佸紓鏋勬暟鎹簮涓殑鏁版嵁濡傚叧绯绘暟鎹佸钩闈㈡暟鎹枃浠剁瓑鎶藉彇鍒颁复鏃朵腑闂村眰鍚庤繘琛屾竻娲椼佽浆鎹侀泦鎴愶紝鏈鍚庡姞杞藉埌鏁版嵁浠撳簱鎴栨暟鎹泦甯備腑锛屾垚涓鸿仈鏈哄垎鏋愬鐞嗐鏁版嵁鎸栨帢鐨勫熀纭銆2銆佹暟鎹瓨鍙栵細鍏崇郴鏁版嵁搴撱丯OSQL銆丼QL绛夈3銆佸熀纭鏋舵瀯锛氫簯瀛樺偍銆佸垎甯冨紡鏂囦欢瀛樺偍绛夈4銆佹暟鎹鐞嗭細鑷劧璇█...
绛旓細澶ф暟鎹浉鍏虫妧鏈寘鎷互涓嬪嚑涓柟闈細鏁版嵁瀛樺偍鎶鏈锛氬ぇ鏁版嵁瀵瑰瓨鍌ㄧ殑瑕佹眰杈冮珮锛屼负浜嗘弧瓒冲叾楂樺苟鍙戣闂殑闇姹傦紝瀛樺偍鎶鏈繀椤昏兘澶熷鐞嗗ぇ閲忕殑鏁版嵁骞朵繚璇佹暟鎹殑鍙潬鎬с傝繖鍖呮嫭鍒嗗竷寮忔枃浠剁郴缁熷Hadoop HDFS绛夛紝浠ュ強NoSQL鏁版嵁搴撴妧鏈紝濡侻ongoDB绛夐敭鍊煎瓨鍌ㄦ妧鏈傝繖浜涙妧鏈彲浠ユ湁鏁堝湴绠＄悊澶ц妯℃暟鎹泦鐨勫瓨鍌ㄥ拰妫绱傛暟鎹鐞嗗拰...
