揭秘大数据的产生，什么是大数据
“大数据”是指以多元形式，许多来源搜集而来的庞大数据组，往往具有实时性。大数据(big
data,mega
data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity（真实性）。
第一，Volume(大量)，数据体量巨大。从TB级别，跃升到PB级别。
第二，Variety(多样)，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。
第三，Value(价值密度)，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。
第四，Velocity(高速)，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。
所以通俗来说，大数据就是通过各种不同渠道收集到的大量数据，堆积起来帮助做决策分析的数据组
绛旓細澶ф暟鎹殑涓昏鐗瑰緛濡備笅锛1銆侀噺澶э細澶ф暟鎹殑鏈鏄捐憲鐗瑰緛鏄暟鎹殑鏁伴噺宸ㄥぇ銆傞殢鐫淇℃伅鎶鏈殑鍙戝睍锛屽悇绉嶄紶鎰熷櫒銆佽澶囧拰浜掕仈缃戝簲鐢ㄤ骇鐢熶簡娴烽噺鐨勬暟鎹紝鍖呮嫭缁撴瀯鍖栨暟鎹紙濡傛暟鎹簱璁板綍锛夊拰闈炵粨鏋勫寲鏁版嵁锛堝鏂囨湰銆佸浘鍍忋侀煶棰戝拰瑙嗛绛夛級銆2銆侀熷害蹇細澶ф暟鎹殑浜х敓鍜屾祦鍔ㄩ熷害闈炲父蹇傛暟鎹互楂橀熺巼浜х敓鍜屼紶杈擄紝闇瑕佸疄鏃舵垨杩...
绛旓細鐢变簬鐗╄仈缃戝拰鏅鸿兘鍙┛鎴寸殑鏅強锛岀敓浜х嚎涓婃櫘閫氱殑钃濋鍛樺伐锛屽墠鍙扮數璇濆憳锛岀瓑浼佷笟鍐呯殑浣庨樁鍛樺伐涔熸垚涓浜х敓澶ф暟鎹殑鏁版嵁鍐呭鐨勪竴閮ㄥ垎銆傚ぇ鏁版嵁鐨勫簲鐢ㄨ寖鍥村箍娉涳紝鍖呮嫭閲囪喘绠＄悊銆佽储鍔＄鐞嗐佷汉鍔涜祫婧愮鐞嗐佸鎴锋湇鍔°侀厤閿绠＄悊绛夈傞棶棰樹笁锛浠涔堟槸鈥滃ぇ鏁版嵁鈥濈殑鐪熸鍚箟锛熷ぇ鏁版嵁锛坆ig data锛夋槸鎸囨棤娉曞湪涓瀹氭椂闂磋寖鍥村唴鐢ㄥ父瑙...
绛旓細3銆佹暟鎹浜х敓鍜屽鐞嗛熷害蹇 澶ф暟鎹殑楂橀熺壒寰佷笌娴烽噺鏁版嵁鏈夊叧锛岃屽ぇ鏁版嵁瀵瑰鐞嗘暟鎹殑鍝嶅簲閫熷害鏈夋洿涓ユ牸鐨勮姹傘傚疄鏃跺垎鏋愯岄潪鎵归噺鍒嗘瀽鑳藉瀹炵幇蹇熷鐞嗭紝鍑犱箮鏃犲欢杩熴傚洜姝锛屽ぇ鏁版嵁鐨楂橀熷鐞嗛熷害鏄ぇ鏁版嵁鐨閲嶈鐗瑰緛涔嬩竴銆4銆佹暟鎹噺澶 澶ф暟鎹殑鐗瑰緛涔嬩竴鏄暟鎹噺澶с傞殢鐫淇℃伅鎶鏈殑鍙戝睍锛屼簰鑱旂綉鐨勮妯′笉鏂墿澶э紝姣忎釜浜...
绛旓細鍏充簬澶ф暟鎹椂浠ｇ殑璐ㄩ噺淇℃伅锛屾弿杩颁笉姝ｇ‘鐨勬槸鏁版嵁淇℃伅闅惧埄鐢ㄣ傚ぇ鏁版嵁鏃朵唬鐨勮川閲忎俊鎭壒鐐规槸鏁版嵁閲忔瘮杈冨ぇ锛屾暟鎹瘮杈冨鏍峰寲锛屾暟鎹珮閫熶紶杈擄紝鏁版嵁鐨勪环鍊间篃姣旇緝楂橈紝骞挎硾鐨勬暟鎹潵婧愶紝鍐冲畾浜嗗ぇ鏁版嵁褰㈠紡鐨勫鏍锋锛屽ぇ鏁版嵁鐨勪骇鐢闈炲父杩呴燂紝涓昏閫氳繃浜掕仈缃戜紶杈擄紝鐜板疄涓栫晫鎵浜х敓鐨鏁版嵁涓紝鏈変环鍊肩殑鏁版嵁鎵鍗犳瘮渚嬪緢灏忥紝澶ф暟鎹渶澶...
绛旓細涓銆浠涔堟槸澶ф暟鎹?浠涔堟槸澶ф暟鎹椂浠?澶ф暟鎹(bigdata,megadata)锛屾垨绉板法閲忚祫鏂欙紝鎸囩殑鏄渶瑕佹柊澶勭悊妯″紡鎵嶈兘鍏锋湁鏇村己鐨勫喅绛栧姏銆佹礊瀵熷姏鍜屾祦绋嬩紭鍖栬兘鍔涚殑娴烽噺銆侀珮澧為暱鐜囧拰澶氭牱鍖栫殑淇℃伅璧勪骇銆傚ぇ鏁版嵁鏃朵唬鍒欐槸鐢ㄥ畠鏉ユ弿杩板拰瀹氫箟淇℃伅鐖嗙偢鏃朵唬浜х敓鐨勬捣閲忔暟澶ф暟鎹椂浠ｆ潵涓达紝骞跺懡鍚嶄笌涔嬬浉鍏崇殑鎶鏈彂灞曚笌鍒涙柊銆備簩銆佸澶ф暟鎹...
绛旓細澶ф暟鎹殑鈥滈熷害蹇濆己璋冧簡鏁版嵁鐨勫疄鏃舵у拰蹇熺敓鎴愮殑鐗圭偣銆傚湪浼犵粺鏁版嵁澶勭悊涓紝鏁版嵁鍙兘鏄壒閲忕敓鎴愬拰澶勭悊鐨勶紝鑰屽ぇ鏁版嵁瑕佹眰瀵规暟鎹殑鍗虫椂鍝嶅簲锛屼互婊¤冻瀹炴椂鍐崇瓥鍜屽垎鏋愮殑闇姹傘傝繖灏遍渶瑕侀噰鐢ㄦ祦寮忓鐞嗗拰瀹炴椂鍒嗘瀽鐨勬妧鏈墜娈点傗滃鏍锋р濇寚鐨鏄ぇ鏁版嵁鍖呭惈鍚勭绫诲瀷銆佹牸寮忓拰缁撴瀯鐨勬暟鎹傞櫎浜嗙粨鏋勫寲鏁版嵁锛堝鏁版嵁搴撲腑鐨勮〃鏍...
绛旓細3. 澶勭悊閫熷害鐨勮姹 澶ф暟鎹殑绗笁涓壒鐐规槸澶勭悊閫熷害蹇傚湪澶ф暟鎹椂浠锛屾暟鎹殑浜х敓鏄瀹炴椂鐨勶紝瑕佹眰鏁版嵁澶勭悊鍜屽垎鏋愪篃鑳藉疄鏃惰繘琛岋紝浠ヤ究蹇熷仛鍑哄喅绛栧拰鍝嶅簲銆傝繖灏遍渶瑕侀珮鏁堢殑鏁版嵁澶勭悊鎶鏈拰寮哄ぇ鐨勮绠楄兘鍔涖4. 浠峰煎瘑搴﹂珮 灏界鏁版嵁閲忓法澶э紝浣嗘暟鎹腑鐪熸鏈変环鍊笺佷笌涓氬姟鍐崇瓥鐩稿叧鐨勯儴鍒嗗線寰鍙崰涓灏忛儴鍒嗐傚ぇ鏁版嵁鎶鏈殑...
绛旓細姝ゅ锛屼汉宸ユ櫤鑳芥妧鏈殑鍙戝睍涔熷湪淇冭繘鐫澶ф暟鎹殑浜х敓銆傝繖浜涙暟鎹互澶氱褰㈠紡瀛樺湪锛屽寘鎷粨鏋勫寲鏁版嵁銆佸崐缁撴瀯鍖栨暟鎹拰闈炵粨鏋勫寲鏁版嵁銆傝繖浜涙暟鎹殑鍒嗘瀽鍜屽埄鐢ㄥ浜庢斂搴溿佷紒涓氬拰涓汉鏉ヨ閮藉叿鏈夐噸瑕佹剰涔夈備簰鑱旂綉鍜岀ぞ浜ゅ獟浣撲笉浠鏄ぇ鏁版嵁鐨勯噸瑕佹潵婧愶紝鑰屼笖涔熸槸鏈蹇熷闀跨殑鏁版嵁绫诲瀷涔嬩竴銆傛瘡澶╅兘鏈夊ぇ閲忔柊鏁版嵁鐢熸垚锛屽寘鎷ぞ浜ゅ獟浣撲笂...
绛旓細澶ф暟鎹殑瀹氫箟 澶ф暟鎹紙Bigdata锛夐氬父鐢ㄦ潵褰㈠涓涓叕鍙稿垱閫犵殑澶ч噺闈炵粨鏋勫寲鍜屽崐缁撴瀯鍖栨暟鎹紝杩欎簺鏁版嵁鍦ㄤ笅杞藉埌鍏崇郴鍨嬫暟鎹簱鐢ㄤ簬鍒嗘瀽鏃朵細鑺辫垂杩囧鏃堕棿鍜岄噾閽便傚ぇ鏁版嵁鍒嗘瀽甯稿拰浜戣绠楄仈绯诲埌涓璧凤紝鍥犱负瀹炴椂鐨勫ぇ鍨嬫暟鎹泦鍒嗘瀽闇瑕佸儚MapReduce涓鏍风殑妗嗘灦鏉ュ悜鏁板崄銆佹暟鐧炬垨鐢氳嚦鏁板崈鐨勭數鑴戝垎閰嶅伐浣溿傚ぇ鏁版嵁鐨勭壒鐐 鏁版嵁閲...
绛旓細闅忕潃绉戞妧鐨勪笉鏂彂灞曪紝澶ф暟鎹凡鎴愪负涓涓儹闂ㄨ瘽棰樸傞偅涔锛屼粈涔堟槸澶ф暟鎹锛熷畠鏈夊摢浜涚壒鐐瑰憿锛熷ぇ鏁版嵁鏄寚瑙勬ā鏋佸ぇ銆佸鏉傚害楂樸佸鐞嗛熷害蹇殑鏁版嵁闆嗗悎銆傝繖浜涙暟鎹氬父鏉ヨ嚜浜庡悇绉嶄笉鍚岀殑鏉ユ簮锛屼緥濡傜ぞ浜ゅ獟浣撱佷紶鎰熷櫒銆佷氦鏄撹褰曠瓑銆備笌浼犵粺鏁版嵁鐩告瘮锛屽ぇ鏁版嵁鍏锋湁浠ヤ笅鍑犱釜鏄捐憲鐗圭偣锛1. 瑙勬ā澶э細澶ф暟鎹泦鍚堥氬父鎷ユ湁闈炲父搴炲ぇ鐨勬暟鎹...
