请问大数据的关键技术有哪些？ 大数据的关键技术有哪些
\u5927\u6570\u636e\u5173\u952e\u6280\u672f\u6709\u54ea\u4e9b\u5927\u6570\u636e\u5173\u952e\u6280\u672f\u6db5\u76d6\u6570\u636e\u5b58\u50a8\u3001\u5904\u7406\u3001\u5e94\u7528\u7b49\u591a\u65b9\u9762\u7684\u6280\u672f\uff0c\u6839\u636e\u5927\u6570\u636e\u7684\u5904\u7406\u8fc7\u7a0b\uff0c\u53ef\u5c06\u5176\u5206\u4e3a\u5927\u6570\u636e\u91c7\u96c6\u3001\u5927\u6570\u636e\u9884\u5904\u7406\u3001\u5927\u6570\u636e\u5b58\u50a8\u53ca\u7ba1\u7406\u3001\u5927\u6570\u636e\u5904\u7406\u3001\u5927\u6570\u636e\u5206\u6790\u53ca\u6316\u6398\u3001\u5927\u6570\u636e\u5c55\u793a\u7b49\u3002
1\u3001\u5927\u6570\u636e\u91c7\u96c6\u6280\u672f
\u5927\u6570\u636e\u91c7\u96c6\u6280\u672f\u662f\u6307\u901a\u8fc7 RFID \u6570\u636e\u3001\u4f20\u611f\u5668\u6570\u636e\u3001\u793e\u4ea4\u7f51\u7edc\u4ea4\u4e92\u6570\u636e\u53ca\u79fb\u52a8\u4e92\u8054\u7f51\u6570\u636e\u7b49\u65b9\u5f0f\u83b7\u5f97\u5404\u79cd\u7c7b\u578b\u7684\u7ed3\u6784\u5316\u3001\u534a\u7ed3\u6784\u5316\u53ca\u975e\u7ed3\u6784\u5316\u7684\u6d77\u91cf\u6570\u636e\u3002
\u56e0\u4e3a\u6570\u636e\u6e90\u591a\u79cd\u591a\u6837\uff0c\u6570\u636e\u91cf\u5927\uff0c\u4ea7\u751f\u901f\u5ea6\u5feb\uff0c\u6240\u4ee5\u5927\u6570\u636e\u91c7\u96c6\u6280\u672f\u4e5f\u9762\u4e34\u7740\u8bb8\u591a\u6280\u672f\u6311\u6218\uff0c\u5fc5\u987b\u4fdd\u8bc1\u6570\u636e\u91c7\u96c6\u7684\u53ef\u9760\u6027\u548c\u9ad8\u6548\u6027\uff0c\u8fd8\u8981\u907f\u514d\u91cd\u590d\u6570\u636e\u3002
2\u3001\u5927\u6570\u636e\u9884\u5904\u7406\u6280\u672f
\u5927\u6570\u636e\u9884\u5904\u7406\u6280\u672f\u4e3b\u8981\u662f\u6307\u5b8c\u6210\u5bf9\u5df2\u63a5\u6536\u6570\u636e\u7684\u8fa8\u6790\u3001\u62bd\u53d6\u3001\u6e05\u6d17\u3001\u586b\u8865\u3001\u5e73\u6ed1\u3001\u5408\u5e76\u3001\u89c4\u683c\u5316\u53ca\u68c0\u67e5\u4e00\u81f4\u6027\u7b49\u64cd\u4f5c\u3002
\u56e0\u83b7\u53d6\u7684\u6570\u636e\u53ef\u80fd\u5177\u6709\u591a\u79cd\u7ed3\u6784\u548c\u7c7b\u578b\uff0c\u6570\u636e\u62bd\u53d6\u7684\u4e3b\u8981\u76ee\u7684\u662f\u5c06\u8fd9\u4e9b\u590d\u6742\u7684\u6570\u636e\u8f6c\u5316\u4e3a\u5355\u4e00\u7684\u6216\u8005\u4fbf\u4e8e\u5904\u7406\u7684\u7ed3\u6784\uff0c\u4ee5\u8fbe\u5230\u5feb\u901f\u5206\u6790\u5904\u7406\u7684\u76ee\u7684\u3002
3\u3001\u5927\u6570\u636e\u5b58\u50a8\u53ca\u7ba1\u7406\u6280\u672f
\u5927\u6570\u636e\u5b58\u50a8\u53ca\u7ba1\u7406\u7684\u4e3b\u8981\u76ee\u7684\u662f\u7528\u5b58\u50a8\u5668\u628a\u91c7\u96c6\u5230\u7684\u6570\u636e\u5b58\u50a8\u8d77\u6765\uff0c\u5efa\u7acb\u76f8\u5e94\u7684\u6570\u636e\u5e93\uff0c\u5e76\u8fdb\u884c\u7ba1\u7406\u548c\u8c03\u7528\u3002
4\u3001\u5927\u6570\u636e\u5904\u7406
\u5927\u6570\u636e\u7684\u5e94\u7528\u7c7b\u578b\u5f88\u591a\uff0c\u4e3b\u8981\u7684\u5904\u7406\u6a21\u5f0f\u53ef\u4ee5\u5206\u4e3a\u6d41\u5904\u7406\u6a21\u5f0f\u548c\u6279\u5904\u7406\u6a21\u5f0f\u4e24\u79cd\u3002\u6279\u5904\u7406\u662f\u5148\u5b58\u50a8\u540e\u5904\u7406\uff0c\u800c\u6d41\u5904\u7406\u5219\u662f\u76f4\u63a5\u5904\u7406\u3002
\u6269\u5c55\u8d44\u6599\uff1a
\u5927\u6570\u636e\u65e0\u5904\u4e0d\u5728\uff0c\u5927\u6570\u636e\u5e94\u7528\u4e8e\u5404\u4e2a\u884c\u4e1a\uff0c\u5305\u62ec\u91d1\u878d\u3001\u6c7d\u8f66\u3001\u9910\u996e\u3001\u7535\u4fe1\u3001\u80fd\u6e90\u3001\u4f53\u80fd\u548c\u5a31\u4e50\u7b49\u5728\u5185\u7684\u793e\u4f1a\u5404\u884c\u5404\u4e1a\u90fd\u5df2\u7ecf\u878d\u5165\u4e86\u5927\u6570\u636e\u7684\u5370\u8ff9\u3002
1\u3001\u5236\u9020\u4e1a\uff0c\u5229\u7528\u5de5\u4e1a\u5927\u6570\u636e\u63d0\u5347\u5236\u9020\u4e1a\u6c34\u5e73\uff0c\u5305\u62ec\u4ea7\u54c1\u6545\u969c\u8bca\u65ad\u4e0e\u9884\u6d4b\u3001\u5206\u6790\u5de5\u827a\u6d41\u7a0b\u3001\u6539\u8fdb\u751f\u4ea7\u5de5\u827a\uff0c\u4f18\u5316\u751f\u4ea7\u8fc7\u7a0b\u80fd\u8017\u3001\u5de5\u4e1a\u4f9b\u5e94\u94fe\u5206\u6790\u4e0e\u4f18\u5316\u3001\u751f\u4ea7\u8ba1\u5212\u4e0e\u6392\u7a0b\u3002
2\u3001\u91d1\u878d\u884c\u4e1a\uff0c\u5927\u6570\u636e\u5728\u9ad8\u9891\u4ea4\u6613\u3001\u793e\u4ea4\u60c5\u7eea\u5206\u6790\u548c\u4fe1\u8d37\u98ce\u9669\u5206\u6790\u4e09\u5927\u91d1\u878d\u521b\u65b0\u9886\u57df\u53d1\u6325\u91cd\u5927\u4f5c\u7528\u3002
3\u3001\u6c7d\u8f66\u884c\u4e1a\uff0c\u5229\u7528\u5927\u6570\u636e\u548c\u7269\u8054\u7f51\u6280\u672f\u7684\u65e0\u4eba\u9a7e\u9a76\u6c7d\u8f66\uff0c\u5728\u4e0d\u8fdc\u7684\u672a\u6765\u5c06\u8d70\u5165\u6211\u4eec\u7684\u65e5\u5e38\u751f\u6d3b\u3002
4\u3001\u4e92\u8054\u7f51\u884c\u4e1a\uff0c\u501f\u52a9\u4e8e\u5927\u6570\u636e\u6280\u672f\uff0c\u53ef\u4ee5\u5206\u6790\u5ba2\u6237\u884c\u4e3a\uff0c\u8fdb\u884c\u5546\u54c1\u63a8\u8350\u548c\u9488\u5bf9\u6027\u5e7f\u544a\u6295\u653e\u3002
5\u3001\u7535\u4fe1\u884c\u4e1a\uff0c\u5229\u7528\u5927\u6570\u636e\u6280\u672f\u5b9e\u73b0\u5ba2\u6237\u79bb\u7f51\u5206\u6790\uff0c\u53ca\u65f6\u638c\u63e1\u5ba2\u6237\u79bb\u7f51\u503e\u5411\uff0c\u51fa\u53f0\u5ba2\u6237\u633d\u7559\u63aa\u65bd\u3002
\u53c2\u8003\u8d44\u6599\u6765\u6e90\uff1a\u767e\u5ea6\u767e\u79d1\u2014\u2014\u5927\u6570\u636e
\u5927\u6570\u636e\u5904\u7406\u5173\u952e\u6280\u672f\u4e00\u822c\u5305\u62ec\uff1a\u5927\u6570\u636e\u91c7\u96c6\u3001\u5927\u6570\u636e\u9884\u5904\u7406\u3001\u5927\u6570\u636e\u5b58\u50a8\u53ca\u7ba1\u7406\u3001\u5927\u6570\u636e\u5206\u6790\u53ca\u6316\u6398\u3001\u5927\u6570\u636e\u5c55\u73b0\u548c\u5e94\u7528\uff08\u5927\u6570\u636e\u68c0\u7d22\u3001\u5927\u6570\u636e\u53ef\u89c6\u5316\u3001\u5927\u6570\u636e\u5e94\u7528\u3001\u5927\u6570\u636e\u5b89\u5168\u7b49\uff09\u3002
\u4e00\u3001\u5927\u6570\u636e\u91c7\u96c6\u6280\u672f
\u6570\u636e\u662f\u6307\u901a\u8fc7RFID\u5c04\u9891\u6570\u636e\u3001\u4f20\u611f\u5668\u6570\u636e\u3001\u793e\u4ea4\u7f51\u7edc\u4ea4\u4e92\u6570\u636e\u53ca\u79fb\u52a8\u4e92\u8054\u7f51\u6570\u636e\u7b49\u65b9\u5f0f\u83b7\u5f97\u7684\u5404\u79cd\u7c7b\u578b\u7684\u7ed3\u6784\u5316\u3001\u534a\u7ed3\u6784\u5316\uff08\u6216\u79f0\u4e4b\u4e3a\u5f31\u7ed3\u6784\u5316\uff09\u53ca\u975e\u7ed3\u6784\u5316\u7684\u6d77\u91cf\u6570\u636e\uff0c\u662f\u5927\u6570\u636e\u77e5\u8bc6\u670d\u52a1\u6a21\u578b\u7684\u6839\u672c\u3002
\u4e8c\u3001\u5927\u6570\u636e\u9884\u5904\u7406\u6280\u672f
\u4e3b\u8981\u5b8c\u6210\u5bf9\u5df2\u63a5\u6536\u6570\u636e\u7684\u8fa8\u6790\u3001\u62bd\u53d6\u3001\u6e05\u6d17\u7b49\u64cd\u4f5c\u30021\uff09\u62bd\u53d6\uff1a\u56e0\u83b7\u53d6\u7684\u6570\u636e\u53ef\u80fd\u5177\u6709\u591a\u79cd\u7ed3\u6784\u548c\u7c7b\u578b\uff0c\u6570\u636e\u62bd\u53d6\u8fc7\u7a0b\u53ef\u4ee5\u5e2e\u52a9\u6211\u4eec\u5c06\u8fd9\u4e9b\u590d\u6742\u7684\u6570\u636e\u8f6c\u5316\u4e3a\u5355\u4e00\u7684\u6216\u8005\u4fbf\u4e8e\u5904\u7406\u7684\u6784\u578b\uff0c\u4ee5\u8fbe\u5230\u5feb\u901f\u5206\u6790\u5904\u7406\u7684\u76ee\u7684\u30022\uff09\u6e05\u6d17\uff1a\u5bf9\u4e8e\u5927\u6570\u636e\uff0c\u5e76\u4e0d\u5168\u662f\u6709\u4ef7\u503c\u7684\uff0c\u6709\u4e9b\u6570\u636e\u5e76\u4e0d\u662f\u6211\u4eec\u6240\u5173\u5fc3\u7684\u5185\u5bb9\uff0c\u800c\u53e6\u4e00\u4e9b\u6570\u636e\u5219\u662f\u5b8c\u5168\u9519\u8bef\u7684\u5e72\u6270\u9879\uff0c\u56e0\u6b64\u8981\u5bf9\u6570\u636e\u901a\u8fc7\u8fc7\u6ee4\u201c\u53bb\u566a\u201d\u4ece\u800c\u63d0\u53d6\u51fa\u6709\u6548\u6570\u636e\u3002
\u4e09\u3001\u5927\u6570\u636e\u5b58\u50a8\u53ca\u7ba1\u7406\u6280\u672f
\u5927\u6570\u636e\u5b58\u50a8\u4e0e\u7ba1\u7406\u8981\u7528\u5b58\u50a8\u5668\u628a\u91c7\u96c6\u5230\u7684\u6570\u636e\u5b58\u50a8\u8d77\u6765\uff0c\u5efa\u7acb\u76f8\u5e94\u7684\u6570\u636e\u5e93\uff0c\u5e76\u8fdb\u884c\u7ba1\u7406\u548c\u8c03\u7528\u3002\u91cd\u70b9\u89e3\u51b3\u590d\u6742\u7ed3\u6784\u5316\u3001\u534a\u7ed3\u6784\u5316\u548c\u975e\u7ed3\u6784\u5316\u5927\u6570\u636e\u7ba1\u7406\u4e0e\u5904\u7406\u6280\u672f\u3002\u4e3b\u8981\u89e3\u51b3\u5927\u6570\u636e\u7684\u53ef\u5b58\u50a8\u3001\u53ef\u8868\u793a\u3001\u53ef\u5904\u7406\u3001\u53ef\u9760\u6027\u53ca\u6709\u6548\u4f20\u8f93\u7b49\u51e0\u4e2a\u5173\u952e\u95ee\u9898\u3002
\u56db\u3001\u5927\u6570\u636e\u5206\u6790\u53ca\u6316\u6398\u6280\u672f
\u5927\u6570\u636e\u5206\u6790\u6280\u672f\u3002\u6539\u8fdb\u5df2\u6709\u6570\u636e\u6316\u6398\u548c\u673a\u5668\u5b66\u4e60\u6280\u672f\uff1b\u5f00\u53d1\u6570\u636e\u7f51\u7edc\u6316\u6398\u3001\u7279\u5f02\u7fa4\u7ec4\u6316\u6398\u3001\u56fe\u6316\u6398\u7b49\u65b0\u578b\u6570\u636e\u6316\u6398\u6280\u672f\uff1b\u7a81\u7834\u57fa\u4e8e\u5bf9\u8c61\u7684\u6570\u636e\u8fde\u63a5\u3001\u76f8\u4f3c\u6027\u8fde\u63a5\u7b49\u5927\u6570\u636e\u878d\u5408\u6280\u672f\uff1b\u7a81\u7834\u7528\u6237\u5174\u8da3\u5206\u6790\u3001\u7f51\u7edc\u884c\u4e3a\u5206\u6790\u3001\u60c5\u611f\u8bed\u4e49\u5206\u6790\u7b49\u9762\u5411\u9886\u57df\u7684\u5927\u6570\u636e\u6316\u6398\u6280\u672f\u3002
\u516d\u3001\u5927\u6570\u636e\u5c55\u73b0\u4e0e\u5e94\u7528\u6280\u672f
\u5927\u6570\u636e\u6280\u672f\u80fd\u591f\u5c06\u9690\u85cf\u4e8e\u6d77\u91cf\u6570\u636e\u4e2d\u7684\u4fe1\u606f\u548c\u77e5\u8bc6\u6316\u6398\u51fa\u6765\uff0c\u4e3a\u4eba\u7c7b\u7684\u793e\u4f1a\u7ecf\u6d4e\u6d3b\u52a8\u63d0\u4f9b\u4f9d\u636e\uff0c\u4ece\u800c\u63d0\u9ad8\u5404\u4e2a\u9886\u57df\u7684\u8fd0\u884c\u6548\u7387\uff0c\u5927\u5927\u63d0\u9ad8\u6574\u4e2a\u793e\u4f1a\u7ecf\u6d4e\u7684\u96c6\u7ea6\u5316\u7a0b\u5ea6\u3002\u5728\u6211\u56fd\uff0c\u5927\u6570\u636e\u5c06\u91cd\u70b9\u5e94\u7528\u4e8e\u4ee5\u4e0b\u4e09\u5927\u9886\u57df\uff1a\u5546\u4e1a\u667a\u80fd\u3001\u653f\u5e9c\u51b3\u7b56\u3001\u516c\u5171\u670d\u52a1\u3002\u4f8b\u5982\uff1a\u5546\u4e1a\u667a\u80fd\u6280\u672f\uff0c\u653f\u5e9c\u51b3\u7b56\u6280\u672f\uff0c\u7535\u4fe1\u6570\u636e\u4fe1\u606f\u5904\u7406\u4e0e\u6316\u6398\u6280\u672f\uff0c\u7535\u7f51\u6570\u636e\u4fe1\u606f\u5904\u7406\u4e0e\u6316\u6398\u6280\u672f\uff0c\u6c14\u8c61\u4fe1\u606f\u5206\u6790\u6280\u672f\uff0c\u73af\u5883\u76d1\u6d4b\u6280\u672f\uff0c\u8b66\u52a1\u4e91\u5e94\u7528\u7cfb\u7edf\uff08\u9053\u8def\u76d1\u63a7\u3001\u89c6\u9891\u76d1\u63a7\u3001\u7f51\u7edc\u76d1\u63a7\u3001\u667a\u80fd\u4ea4\u901a\u3001\u53cd\u7535\u4fe1\u8bc8\u9a97\u3001\u6307\u6325\u8c03\u5ea6\u7b49\u516c\u5b89\u4fe1\u606f\u7cfb\u7edf\uff09\u672c\u56de\u7b54\u6839\u636e\u767e\u5ea6\u6587\u5e93\u8d44\u6599\u6574\u7406\uff0c\u539f\u6587\u8bf7\u53c2\u89c1\u300a\u5927\u6570\u636e\u5173\u952e\u6280\u672f\u300b
分布式计算，非结构化数据库，分类、聚类等算法。
大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示：企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。
扩展资料：
大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。
大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
参考资料来源：百度百科-大数据
大数据开发涉及到的关键技术：
大数据采集技术
大数据采集技术是指通过 RFID 数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。
大数据预处理技术
大数据预处理技术主要是指完成对已接收数据的辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作。
大数据存储及管理技术
大数据存储及管理的主要目的是用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。
大数据处理技术
大数据的应用类型很多，主要的处理模式可以分为流处理模式和批处理模式两种。批处理是先存储后处理，而流处理则是直接处理。
大数据分析及挖掘技术
大数据处理的核心就是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。
大数据展示技术
在大数据时代下，数据井喷似地增长，分析人员将这些庞大的数据汇总并进行分析，而分析出的成果如果是密密麻麻的文字，那么就没有几个人能理解，所以我们就需要将数据可视化。
数据可视化技术主要指的是技术上较为高级的技术方法，这些技术方法通过表达、建模，以及对立体、表面、属性、动画的显示，对数据加以可视化解释。
随着大数据分析市场快速渗透到各行各业，哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数，这里给出最热的十个大数据技术。
预测分析：预测分析是一种统计或数据挖掘解决方案，包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。随着现在硬件和软件解决方案的成熟，许多公司利用大数据技术来收集海量数据、训练模型、优化模型，并发布预测模型来提高业务水平或者避免风险;当前最流行的预测分析工具当属IBM公司的SPSS,SPSS这个软件大家都已经很熟悉了，它集数据录入、整理、分析功能于一身。用户可以根据实际需要和计算机的功能选择模块，SPSS的分析结果清晰、直观、易学易用，而且可以直接读取EXCEL及DBF数据文件，现已推广到多种各种操作系统的计算机上。
NoSQL数据库：非关系型数据库包括Key-value型(Redis)数据库、文档型(MonogoDB)数据库、图型(Neo4j)数据库;虽然NoSQL流行语火起来才短短一年的时间，但是不可否认，现在已经开始了第二代运动。尽管早期的堆栈代码只能算是一种实验，然而现在的系统已经更加的成熟、稳定。
搜索和认知商业：当今时代大数据与分析已经发展到一个新的高度，那就是认知时代，认知时代不再是简单的数据分析与展示，它更多的是上升到一个利用数据来支撑人机交互的一种模式，例如前段时间的围棋大战，就是一个很好的应用、现已经逐步推广到机器人的应用上面，也就是下一个经济爆发点——人工智能，互联网人都比较熟悉国内的BAT，以及国外的apple、google、facebook、IBM、微软、亚马逊等等;可以大致看一下他们的商业布局，未来全是往人工智能方向发展，当然目前在认知商业这一块IBM当属领头羊，特别是当前主推的watson这个产品，以及取得了非常棒的效果。
流式分析：目前流式计算是业界研究的一个热点，最近Twitter、LinkedIn等公司相继开源了流式计算系统Storm、Kafka等，加上Yahoo!之前开源的S4，流式计算研究在互联网领域持续升温，流式分析可以对多个高吞吐量的数据源进行实时的清洗、聚合和分析;对存在于社交网站、博客、电子邮件、视频、新闻、电话记录、传输数据、电子感应器之中的数字格式的信息流进行快速处理并反馈的需求。目前大数据流分析平台有很多、如开源的spark，以及ibm的 streams 。
内存数据结构：通过动态随机内存访问(DRAM)、Flash和SSD等分布式存储系统提供海量数据的低延时访问和处理;
分布式存储系统：分布式存储是指存储节点大于一个、数据保存多副本以及高性能的计算网络;利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。当前开源的HDFS还是非常不错，有需要的朋友可以深入了解一下。
数据可视化：数据可视化技术是指对各类型数据源(包括hadoop上的海量数据以及实时和接近实时的分布式数据)进行显示;当前国内外数据分析展示的产品很多，如果是企业单位以及政府单位建议使用 cognos ，安全、稳定、功能强大、支持大数据、非常不错的选择。
数据整合：通过亚马逊弹性MR(EMR)、Hive、Pig、Spark、MapReduce、Couchbase、Hadoop和MongoDB等软件进行业务数据整合;
数据预处理：数据整合是指对数据源进行清洗、裁剪，并共享多样化数据来加快数据分析;
数据校验：对分布式存储系统和数据库上的海量、高频率数据集进行数据校验，去除非法数据，补全缺失。
数据整合、处理、校验在目前已经统称为 ETL ，ETL过程可以把结构化数据以及非结构化数据进行清洗、抽取、转换成你需要的数据、同时还可以保障数据的安全性以及完整性、关于ETL的产品推荐使用 datastage就行、对于任何数据源都可以完美处理。
1.分布式存储系统(HDFS)。2.MapReduce分布式计算框架。3.YARN资源管理平台。4.Sqoop数据迁移工具。5.Mahout数据挖掘算法库。6.HBase分布式数据库。7.Zookeeper分布式协调服务。8.Hive基于Hadoop的数据仓库。9.Flume日志收集工具。
分布式计算，非结构化数据库，分类、聚类等算法
绛旓細E.鏂板瀷鏁版嵁鎸栨帢鍜屽垎鏋愭妧鏈 姝ｇ‘绛旀锛欰BCDE
绛旓細澶ф暟鎹叧閿妧鏈兜鐩栨暟鎹瓨鍌ㄣ佸鐞嗐佸簲鐢ㄧ瓑澶氭柟闈㈢殑鎶鏈锛屾牴鎹ぇ鏁版嵁鐨勫鐞嗚繃绋嬶紝鍙皢鍏跺垎涓哄ぇ鏁版嵁閲囬泦銆佸ぇ鏁版嵁棰勫鐞嗐佸ぇ鏁版嵁瀛樺偍鍙婄鐞嗐佸ぇ鏁版嵁澶勭悊銆佸ぇ鏁版嵁鍒嗘瀽鍙婃寲鎺樸佸ぇ鏁版嵁灞曠ず绛夈1銆佸ぇ鏁版嵁閲囬泦鎶鏈 澶ф暟鎹噰闆嗘妧鏈槸鎸囬氳繃 RFID 鏁版嵁銆佷紶鎰熷櫒鏁版嵁銆佺ぞ浜ょ綉缁滀氦浜掓暟鎹強绉诲姩浜掕仈缃戞暟鎹瓑鏂瑰紡鑾峰緱鍚勭绫诲瀷鐨勭粨鏋...
绛旓細澶ф暟鎹鐞嗗叧閿妧鏈竴鑸寘鎷細澶ф暟鎹噰闆嗐佸ぇ鏁版嵁棰勫鐞嗐佸ぇ鏁版嵁瀛樺偍鍙婄鐞嗐佸ぇ鏁版嵁鍒嗘瀽鍙婃寲鎺樸佸ぇ鏁版嵁灞曠幇鍜屽簲鐢紙澶ф暟鎹绱佸ぇ鏁版嵁鍙鍖栥佸ぇ鏁版嵁搴旂敤銆佸ぇ鏁版嵁瀹夊叏绛锛夈備竴銆佸ぇ鏁版嵁閲囬泦鎶鏈 鏁版嵁鏄寚閫氳繃RFID灏勯鏁版嵁銆佷紶鎰熷櫒鏁版嵁銆佺ぞ浜ょ綉缁滀氦浜掓暟鎹強绉诲姩浜掕仈缃戞暟鎹瓑鏂瑰紡鑾峰緱鐨勫悇绉嶇被鍨嬬殑缁撴瀯鍖栥佸崐缁撴瀯鍖栵紙鎴栫О...
绛旓細1. 澶ф暟鎹噰闆嗘妧鏈細杩欎竴鎶鏈氳繃 RFID 鏁版嵁銆佷紶鎰熷櫒鏁版嵁銆佺ぞ浜ょ綉缁滀氦浜掓暟鎹強绉诲姩浜掕仈缃戞暟鎹瓑鏂瑰紡锛屽疄鐜板缁撴瀯鍖栥佸崐缁撴瀯鍖栧強闈炵粨鏋勫寲鐨勬捣閲忔暟鎹殑鑾峰彇銆2. 澶ф暟鎹澶勭悊鎶鏈細璇ユ妧鏈殑涓昏浠诲姟鏄閲囬泦鍒扮殑鏁版嵁杩涜杈ㄦ瀽銆佹娊鍙栥佹竻娲椼佸～琛ャ佸钩婊戙佸悎骞躲佽鏍煎寲鍙婃鏌ヤ竴鑷存х瓑鎿嶄綔锛屼互纭繚鏁版嵁鐨勮川閲忋3....
绛旓細3銆佸ぇ鏁版嵁鐨勫叧閿妧鏈 1.鍒嗗竷寮忓瓨鍌ㄧ郴缁(HDFS)銆2.MapReduce鍒嗗竷寮忚绠楁鏋躲3.YARN璧勬簮绠＄悊骞冲彴銆4.Sqoop鏁版嵁杩佺Щ宸ュ叿銆5.Mahout鏁版嵁鎸栨帢绠楁硶搴撱6.HBase鍒嗗竷寮忔暟鎹簱銆7.Zookeeper鍒嗗竷寮忓崗璋冩湇鍔°8.Hive鍩轰簬Hadoop鐨勬暟鎹粨搴撱9.Flume鏃ュ織鏀堕泦宸ュ叿銆
绛旓細澶ф暟鎹妧鏈殑鍏抽敭棰嗗煙鍖呮嫭鏁版嵁瀛樺偍銆佸鐞嗗拰搴旂敤绛夊涓柟闈傛牴鎹ぇ鏁版嵁鐨勫鐞嗘祦绋嬶紝鍙互灏嗗叾鍏抽敭鎶鏈垎涓哄ぇ鏁版嵁閲囬泦銆侀澶勭悊銆佸瓨鍌ㄥ強绠＄悊銆佸鐞嗐佸垎鏋愬拰鎸栨帢銆佷互鍙婃暟鎹睍绀虹瓑鏂归潰銆1. 澶ф暟鎹噰闆嗘妧鏈 澶ф暟鎹噰闆嗘妧鏈秹鍙婇氳繃RFID銆佷紶鎰熷櫒銆佺ぞ浜ょ綉缁滃拰绉诲姩浜掕仈缃戠瓑澶氱娓犻亾鏀堕泦缁撴瀯鍖栥佸崐缁撴瀯鍖栧拰闈炵粨鏋勫寲鐨勬捣閲...
绛旓細澶ф暟鎹凡缁忛愭笎鏅強,澶ф暟鎹鐞嗗叧閿妧鏈竴鑸寘鎷:澶ф暟鎹噰闆銆佸ぇ鏁版嵁棰勫鐞嗐佸ぇ鏁版嵁瀛樺偍鍙婄鐞嗐佸ぇ鏁版嵁鍒嗘瀽鍙婃寲鎺樸佸ぇ鏁版嵁灞曠幇鍜屽簲鐢(澶ф暟鎹绱佸ぇ鏁版嵁鍙鍖栥佸ぇ鏁版嵁搴旂敤銆佸ぇ鏁版嵁瀹夊叏绛)銆備竴銆佹暟鎹噰闆嗗浣曚粠澶ф暟鎹腑閲囬泦鍑烘湁鐢ㄧ殑淇℃伅宸茬粡鏄ぇ鏁版嵁鍙戝睍鐨勫叧閿洜绱犱箣涓銆傚洜姝ゅ湪澶ф暟鎹椂浠ｈ儗鏅笅,濡備綍浠庡ぇ鏁版嵁涓噰闆嗗嚭鏈夌敤鐨勪俊鎭凡...
绛旓細澶ф暟鎹叧閿妧鏈兜鐩鏁版嵁瀛樺偍銆佸鐞嗐佸簲鐢绛夊鏂归潰鐨勬妧鏈紝鏍规嵁澶ф暟鎹殑澶勭悊杩囩▼锛屽彲灏嗗叾鍒嗕负澶ф暟鎹噰闆嗐佸ぇ鏁版嵁棰勫鐞嗐佸ぇ鏁版嵁瀛樺偍鍙婄鐞嗐佸ぇ鏁版嵁澶勭悊绛夈傚闇瀛︿範澶ф暟鎹缓璁壘涓瀹朵笓涓氱殑鍩硅鏈烘瀯锛屾帹鑽愰夋嫨銆愯揪鍐呮暀鑲层戙1銆澶ф暟鎹噰闆嗘妧鏈澶ф暟鎹噰闆嗘妧鏈槸鎸囬氳繃RFID鏁版嵁銆佷紶鎰熷櫒鏁版嵁銆佺ぞ浜ょ綉缁滀氦浜掓暟鎹強绉诲姩浜掕仈...
绛旓細鍒嗗竷寮忚绠楋紝闈炵粨鏋勫寲鏁版嵁搴擄紝鍒嗙被銆佽仛绫荤瓑绠楁硶銆澶ф暟鎹寘鎷缁撴瀯鍖栥佸崐缁撴瀯鍖栧拰闈炵粨鏋勫寲鏁版嵁锛岄潪缁撴瀯鍖栨暟鎹秺鏉ヨ秺鎴愪负鏁版嵁鐨涓昏閮ㄥ垎銆傛嵁IDC鐨勮皟鏌ユ姤鍛婃樉绀猴細浼佷笟涓80%鐨勬暟鎹兘鏄潪缁撴瀯鍖栨暟鎹紝杩欎簺鏁版嵁姣忓勾閮芥寜鎸囨暟澧為暱60%銆
绛旓細澶ф暟鎹妧鏈紝灏辨槸浠庡悇绉嶇被鍨嬬殑鏁版嵁涓揩閫熻幏寰楁湁浠峰间俊鎭殑鎶鏈傚ぇ鏁版嵁棰嗗煙宸茬粡娑岀幇鍑轰簡澶ч噺鏂扮殑鎶鏈紝瀹冧滑鎴愪负澶ф暟鎹噰闆銆佸瓨鍌ㄣ佸鐞嗗拰鍛堢幇鐨勬湁鍔涙鍣ㄣ傛櫤鑳借亴娑紙bigdata-job)鎬荤粨浜嗗ぇ鏁版嵁澶勭悊鍏抽敭鎶鏈竴鑸寘鎷細澶ф暟鎹噰闆嗐佸ぇ鏁版嵁棰勫鐞嗐佸ぇ鏁版嵁瀛樺偍鍙婄鐞嗐佸ぇ鏁版嵁鍒嗘瀽鍙婃寲鎺樸佸ぇ鏁版嵁灞曠幇鍜屽簲鐢紙澶ф暟鎹绱...
