大数据是什么，是怎么带动经济发展的
大数据的概念
概念：难以用常规的数据库工具获取、存储、管理、分析的数据集合。
特征：
1、数据量大：起始单位是PB级的。
1KB=1024B
1MB=1024KB
1GB=1024MB
1TB=1024GB
1PB=1024TB
1EB=1024PB
1ZB=1024EB
2、类型多：
结构化、板结构化、非结构化：网诺日志、音频、视频、图片、地理位置等信息混杂。
3、价值密度低：
获取数据的价值就像是淘金一般。
4、速度快时效高：
数据呈指数倍增长，时效性要求高，比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能的完成实时推荐。
5、永远在线：
大数据时代的数据是永远在线的，随时应用计算，这也是区别于传统的数据的最大特征。
大数据从哪来
1、搜索引擎服务
百度数据量1000PB，每天响应138个国家数十亿次请求，每日新增10TB
2、电子商务
3、社交网络
QQ：8.5亿用户，用4400台服务器存储用户产生的信息，压缩后的数据100PB，每天新增200~300TB
4、音视频在线服务
5、个人数据业务
6、地理信息数据
7、传统企业
8、公共机构
智慧城市：摄像头拍摄的图片，1080P高清网络摄像机一月产生1.8TB数据，大点的城市50万个摄像头，一个月3PB的数据量。
医疗、中国的气象系统。
大数据的存储与计算模式
存储：
面临的问题：数据量大、类型复杂（结构化、非结构化、半结构化）
关键技术：
1、分布式文件系统（高效元数据管理技术、系统弹性扩展技术、存储层级内的优化、针对应用和负载的存储优化技术、针对存储器件的优化技术）
2、分布式数据库
事务性数据库技术：NoSQL：（支持非关系数据库、具有多个节点分割和复制数据的能力、用最终一致性机制解决并发读操作与控制问题、充分利用分布式索引及内存提高性能）代表有：BigTable、HBase、MongoDB、Dynamo。
分析型的数据库技术：Hive 、Impala
3、大数据索引和查询技术
4、实时流式大数据存储与处理技术
计算：
面临的问题：数据结构特征、并行计算（以分布式文件为基础的Hadoop\以分布式内存缓存为基础的Spark）、数据获取（批处理\流处理）、数据处理类型（传统查询\数据挖掘分析计算）、实时响应性能、迭代计算、数据关联性（先map一下再reduce一下）。
关键技术：
1、大数据查询分析计算模式与技术：HBase、Hive、Cassandra、Impala
2、批处理计算：Hadoop MapReduce、Spark
3、流式计算：Storm、Spark Steaming
4、图计算：Giraph、GraphX
5、内存计算：Spark、Hana（SAP公司全内存式分布式数据库系统）、Dremel
应用领域
1、智慧医疗（临床数据、公共卫生数据、移动医疗健康数据）（共享疾病案例，基因分类参考）
2、智慧农业（主要指依据商业需求进行农产品生产，降低菜残伤农概率）
3、金融行业：
精准的营销：根据可与习惯进行推销
风险管控：根据用户的交易流水实施反欺诈
决策支持：抵押贷款这一块，实施产业信贷的风险控制。
效率提升：加快内部数据处理。
产品设计：根据客户的投资行为设计满足客户需求的金融产品。
4、零售行业（对零售商来说：精准营销（降低营销成本，扩大营销额）；对厂商：降低产品过剩）
5、电子商务行业
6、电子政务
希望对您有所帮助！~
绛旓細1. 淇冭繘鍏钩绔炰簤锛氭暟瀛楃粡娴庣殑鍙戝睍寰寰浼撮殢鐫缃戠粶鏁堝簲鍜岃妯＄粡娴锛岃繖鍙兘瀵艰嚧甯傚満闆嗕腑銆傚洜姝わ紝缁忔祹娉曞簲寮哄寲鍙嶅瀯鏂拰鍙嶄笉姝ｅ綋绔炰簤娉曡锛岀‘淇濆競鍦轰腑浼佷笟鐨勫叕骞崇珵浜夛紝闃叉甯傚満鍑虹幇鍨勬柇鐜拌薄銆2. 鍔犲己鏁版嵁淇濇姢锛氬湪澶ф暟鎹拰浜哄伐鏅鸿兘鏃朵唬锛屾暟鎹垚涓哄叧閿殑缁忔祹璧勬簮銆傜粡娴庢硶闇瑕佸畬鍠勬暟鎹繚鎶ゆ硶寰嬫硶瑙勶紝鍖呮嫭瀵逛釜浜洪殣绉佺殑淇濇姢...
绛旓細1. 淇冭繘鍏钩绔炰簤: 鏁板瓧缁忔祹鍏锋湁缃戠粶鏁堝簲鍜岃妯℃晥搴锛屽洜姝ら渶瑕佷繚鎶ゅ叕骞崇珵浜夛紝闃叉鍨勬柇銆傜粡娴庢硶鍙互鍔犲己鍙嶅瀯鏂硶鍜屽弽涓嶆褰撶珵浜夋硶锛岀‘淇濅紒涓氫箣闂寸殑绔炰簤鍏钩銆佸叕姝ｃ2. 鍔犲己鏁版嵁淇濇姢: 闅忕潃澶ф暟鎹拰浜哄伐鏅鸿兘鎶鏈殑鍙戝睍锛屾暟鎹垚涓洪噸瑕佺殑缁忔祹璧勬簮銆傜粡娴庢硶闇瑕佸姞寮烘暟鎹繚鎶ゆ硶瑙勶紝鍖呮嫭涓汉闅愮淇濇姢锛岄槻姝㈡暟鎹硠闇插拰婊ョ敤銆
绛旓細鏁板瓧缁忔祹澶ф暟鎹槸鎸囧湪鏃ュ父鐢熸椿涓骇鐢熺殑鍚勭鏁板瓧淇℃伅锛屾棤璁烘槸浜轰滑鐨勭ぞ浜ゅ獟浣撴暟鎹佺綉缁滀氦鏄撴暟鎹佸崼鏄熼仴鎰熸暟鎹佽繕鏄斂搴溿佷紒涓氬拰鐮旂┒鏈烘瀯鐨勫叕鍏变俊鎭紝閮藉彲浠ヨ绉颁负鏁板瓧缁忔祹澶ф暟鎹傝繖浜涙暟鎹氬父鏄敱鏁颁互浜胯鐨勭敤鎴峰拰璁惧鐢熸垚鐨勶紝鍏锋湁楂橀熴侀珮绮惧害鍜岄珮杩為氭х殑鐗圭偣锛屾槸鎺ㄥ姩鐜颁唬绀句細缁忔祹鍙戝睍鐨勯噸瑕佽祫婧愩傛暟瀛楃粡娴...
绛旓細澶ф暟鎹兘鍋氬涓嬶細涓銆佸淇℃伅鐨勭悊瑙銆備綘鍙戠殑姣忎竴寮犲浘鐗囥佹瘡涓涓柊闂汇佹瘡涓涓箍鍛婏紝杩欎簺閮芥槸淇℃伅锛屼綘瀵硅繖涓俊鎭殑鐞嗚В鏄ぇ鏁版嵁閲嶈鐨勯鍩熴備簩銆佺敤鎴风殑鐞嗚В銆傛瘡涓汉鐨勫熀鏈壒寰侊紝浣犵殑娼滃湪鐨勭壒寰侊紝姣忎釜鐢ㄦ埛涓婄綉鐨勪範鎯瓑绛夛紝杩欎簺閮芥槸瀵圭敤鎴风殑鐞嗚В銆備笁銆佸叧绯汇傚叧绯绘墠鏄垜浠殑鏍稿績锛屼俊鎭笌淇℃伅涔嬮棿鐨勫叧绯伙紝涓鏉...
绛旓細澶ф暟鎹槸鎸囧湪涓瀹氭椂闂村唴锛屽父瑙勮蒋浠跺伐鍏锋棤娉曟崟鎹夈佺鐞嗗拰澶勭悊鐨勬暟鎹泦鍚銆傚畠鏄竴绉嶆捣閲忋侀珮澧為暱銆佸鍏冨寲鐨勪俊鎭祫浜э紝闇瑕佷竴绉嶆柊鐨勫鐞嗘ā寮忥紝浠ュ叿澶囨洿寮虹殑鍐崇瓥銆佹礊瀵熷拰娴佺▼浼樺寲鑳藉姏銆傚ぇ鏁版嵁鎶鏈殑鎴樼暐鎰忎箟涓嶅湪浜庢帉鎻″簽澶х殑鏁版嵁淇℃伅锛岃屽湪浜庡杩欎簺鏈夋剰涔夌殑鏁版嵁杩涜涓撲笟鐨勫鐞嗐傛崲鍙ヨ瘽璇达紝濡傛灉鎶婂ぇ鏁版嵁姣斾綔涓涓涓...
绛旓細澶ф暟鎹槸涓绉嶈妯″ぇ鍒板湪鑾峰彇銆佸瓨鍌ㄣ佺鐞嗐佸垎鏋愭柟闈㈠ぇ澶ц秴鍑轰簡浼犵粺鏁版嵁搴撹蒋浠跺伐鍏疯兘鍔涜寖鍥寸殑鏁版嵁闆嗗悎锛屽叿鏈夋捣閲忕殑鏁版嵁瑙勬ā銆佸揩閫熺殑鏁版嵁娴佽浆銆佸鏍风殑鏁版嵁绫诲瀷鍜屼环鍊煎瘑搴︿綆鍥涘ぇ鐗瑰緛銆備粠鎶鏈笂鐪嬶紝澶ф暟鎹笌浜戣绠楃殑鍏崇郴灏卞儚涓鏋氱‖甯佺殑姝ｅ弽闈竴鏍峰瘑涓嶅彲鍒嗐傚ぇ鏁版嵁蹇呯劧鏃犳硶鐢ㄥ崟鍙扮殑璁＄畻鏈鸿繘琛屽鐞嗭紝蹇呴』閲囩敤鍒嗗竷寮忔灦鏋...
绛旓細浣犲ソ锛屽ぇ鏁版嵁鏄鎸囧法閲忕殑鏁版嵁锛屾寚鐨勬槸闇瑕佹柊澶勭悊妯″紡鎵嶈兘鍏锋湁鏇村己鐨勫喅绛栧姏銆佹礊瀵熷姏鍜屾祦绋嬩紭鍖栬兘鍔涚殑娴烽噺銆侀珮澧為暱鐜囧拰澶氭牱鍖栫殑淇℃伅璧勪骇銆傚綋涓嬶紝澶ф暟鎹妧鏈綔涓烘柊鍏存妧鏈璁稿浜掕仈缃戝ぇ鍘傛墍闇锛屼互鍗庝负涓轰緥銆1銆佸崕涓轰簯鎺ㄥ嚭澶ф暟鎹ń鏍告柟妗堣В鍐冲伔閫冭垂 寰堝鏈嬪弸鍙兘鍙戠幇,閮ㄥ垎鐪佺晫鏀惰垂绔欏彉灏戣孍TC閫氶亾鍦ㄥ鍔,楂橀熷叕璺...
绛旓細澶ф暟鎹(big data,mega data),鎴栫О宸ㄩ噺璧勬枡,鎸囩殑鏄渶瑕佹柊澶勭悊妯″紡鎵嶈兘鍏锋湁鏇村己鐨勫喅绛栧姏銆佹礊瀵熷姏鍜屾祦绋嬩紭鍖栬兘鍔涚殑娴烽噺銆侀珮澧為暱鐜囧拰澶氭牱鍖栫殑淇℃伅璧勪骇銆 鍦ㄧ淮鍏嬫墭路杩堝皵-鑸嶆仼浼牸鍙婅偗灏兼柉路搴撳厠鑰剁紪鍐欑殑銆婂ぇ鏁版嵁鏃朵唬銆 涓ぇ鏁版嵁鎸囦笉鐢ㄩ殢鏈哄垎鏋愭硶(鎶芥牱璋冩煡)杩欐牱鐨勬嵎寰,鑰岄噰鐢ㄦ墍鏈夋暟鎹繘琛屽垎鏋愬鐞嗐傚ぇ鏁版嵁鐨4V鐗圭偣:Volume(澶...
绛旓細鈥滀粖骞存斂搴滃伐浣滄姤鍛婁腑鎻愬埌锛屾繁鍖澶ф暟鎹銆佷汉宸ユ櫤鑳界瓑鐮斿彂搴旂敤锛屽．澶ф暟瀛缁忔祹锛鍐嶆鏄庣‘鏁板瓧缁忔祹鐨勪俊蹇冦傗濆叏鍥戒汉澶т唬琛ㄣ佹氮娼泦鍥㈣懀浜嬮暱瀛欎笗鎭曡锛屽浠婏紝浜戣绠椼佸ぇ鏁版嵁銆佷汉宸ユ櫤鑳界瓑涓轰唬琛ㄧ殑鏂扮粡娴庢鑼佸．鎴愰暱锛屽叾涓庝紶缁熶骇涓氳瀺鍚堝垱鏂帮紝灏嗗鏃ф湁缁忔祹妯″紡杩涜棰犺鍜岄噸濉戯紝涓哄疄浣撶粡娴庢彃涓娾滅繀鑶鈥锛屽甫鍔鏁板瓧缁忔祹蹇...
绛旓細2銆佹暟瀛缁忔祹鏄尟鍏村疄浣撶粡娴庣殑绮惧叺鍒╁櫒 鏁板瓧缁忔祹鐗垫墜浼犵粺鍒堕狅紝灏嗘帹鍔ㄤ紶缁熷伐涓氬揩閫熷悜鏁板瓧鍖栥佺綉缁滃寲銆佹櫤鑳藉寲鍗囩骇锛屼互宸ヤ笟浜戙佹暟瀛楀伐鍘傘佹満鍣ㄤ汉鎶鏈瓑涓轰唬琛ㄧ殑鈥滄櫤鑳藉埗閫犫濆皢淇冭繘鎴戝浗宸ヤ笟瑁呭姘村钩澶у箙鎻愬崌銆佽嚜涓诲垱鏂拌兘鍔涙樉钁楀寮恒傛暟瀛楃粡娴庝篃鍦ㄥ紩棰嗗啘涓氱幇浠ｅ寲銆傛帹杩涙垜鍥芥暟瀛楃粡娴庡彂灞曡娉ㄩ噸鍔犲己缃戠粶璁炬柦寤鸿锛屽く瀹...
