大数据技术包括哪些 大数据包括哪些？
\u5927\u6570\u636e\u6280\u672f\u5305\u62ec\u54ea\u4e9b\uff1f\u5927\u6570\u636e\u5904\u7406\u5173\u952e\u6280\u672f\u4e00\u822c\u5305\u62ec\uff1a\u5927\u6570\u636e\u91c7\u96c6\u3001\u5927\u6570\u636e\u9884\u5904\u7406\u3001\u5927\u6570\u636e\u5b58\u50a8\u53ca\u7ba1\u7406\u3001\u5927\u6570\u636e\u5206\u6790\u53ca\u6316\u6398\u3001\u5927\u6570\u636e\u5c55\u73b0\u548c\u5e94\u7528\uff08\u5927\u6570\u636e\u68c0\u7d22\u3001\u5927\u6570\u636e\u53ef\u89c6\u5316\u3001\u5927\u6570\u636e\u5e94\u7528\u3001\u5927\u6570\u636e\u5b89\u5168\u7b49\uff09\u3002
\u7b80\u5355\u6765\u8bf4\uff0c\u4ece\u5927\u6570\u636e\u7684\u751f\u547d\u5468\u671f\u6765\u770b\uff0c\u65e0\u5916\u4e4e\u56db\u4e2a\u65b9\u9762\uff1a\u5927\u6570\u636e\u91c7\u96c6\u3001\u5927\u6570\u636e\u9884\u5904\u7406\u3001\u5927\u6570\u636e\u5b58\u50a8\u3001\u5927\u6570\u636e\u5206\u6790\uff0c\u5171\u540c\u7ec4\u6210\u4e86\u5927\u6570\u636e\u751f\u547d\u5468\u671f\u91cc\u6700\u6838\u5fc3\u7684\u6280\u672f\uff0c\u4e0b\u9762\u5206\u5f00\u6765\u8bf4\uff1a
\u4e00\u3001\u5927\u6570\u636e\u91c7\u96c6
\u5927\u6570\u636e\u91c7\u96c6\uff0c\u5373\u5bf9\u5404\u79cd\u6765\u6e90\u7684\u7ed3\u6784\u5316\u548c\u975e\u7ed3\u6784\u5316\u6d77\u91cf\u6570\u636e\uff0c\u6240\u8fdb\u884c\u7684\u91c7\u96c6\u3002
\u6570\u636e\u5e93\u91c7\u96c6\uff1a\u6d41\u884c\u7684\u6709Sqoop\u548cETL\uff0c\u4f20\u7edf\u7684\u5173\u7cfb\u578b\u6570\u636e\u5e93MySQL\u548cOracle \u4e5f\u4f9d\u7136\u5145\u5f53\u7740\u8bb8\u591a\u4f01\u4e1a\u7684\u6570\u636e\u5b58\u50a8\u65b9\u5f0f\u3002\u5f53\u7136\u4e86\uff0c\u76ee\u524d\u5bf9\u4e8e\u5f00\u6e90\u7684Kettle\u548cTalend\u672c\u8eab\uff0c\u4e5f\u96c6\u6210\u4e86\u5927\u6570\u636e\u96c6\u6210\u5185\u5bb9\uff0c\u53ef\u5b9e\u73b0hdfs\uff0chbase\u548c\u4e3b\u6d41Nosq\u6570\u636e\u5e93\u4e4b\u95f4\u7684\u6570\u636e\u540c\u6b65\u548c\u96c6\u6210\u3002
\u7f51\u7edc\u6570\u636e\u91c7\u96c6\uff1a\u4e00\u79cd\u501f\u52a9\u7f51\u7edc\u722c\u866b\u6216\u7f51\u7ad9\u516c\u5f00API\uff0c\u4ece\u7f51\u9875\u83b7\u53d6\u975e\u7ed3\u6784\u5316\u6216\u534a\u7ed3\u6784\u5316\u6570\u636e\uff0c\u5e76\u5c06\u5176\u7edf\u4e00\u7ed3\u6784\u5316\u4e3a\u672c\u5730\u6570\u636e\u7684\u6570\u636e\u91c7\u96c6\u65b9\u5f0f\u3002
\u6587\u4ef6\u91c7\u96c6\uff1a\u5305\u62ec\u5b9e\u65f6\u6587\u4ef6\u91c7\u96c6\u548c\u5904\u7406\u6280\u672fflume\u3001\u57fa\u4e8eELK\u7684\u65e5\u5fd7\u91c7\u96c6\u548c\u589e\u91cf\u91c7\u96c6\u7b49\u7b49\u3002
\u4e8c\u3001\u5927\u6570\u636e\u9884\u5904\u7406
\u5927\u6570\u636e\u9884\u5904\u7406\uff0c\u6307\u7684\u662f\u5728\u8fdb\u884c\u6570\u636e\u5206\u6790\u4e4b\u524d\uff0c\u5148\u5bf9\u91c7\u96c6\u5230\u7684\u539f\u59cb\u6570\u636e\u6240\u8fdb\u884c\u7684\u8bf8\u5982\u201c\u6e05\u6d17\u3001\u586b\u8865\u3001\u5e73\u6ed1\u3001\u5408\u5e76\u3001\u89c4\u683c\u5316\u3001\u4e00\u81f4\u6027\u68c0\u9a8c\u201d\u7b49\u4e00\u7cfb\u5217\u64cd\u4f5c\uff0c\u65e8\u5728\u63d0\u9ad8\u6570\u636e\u8d28\u91cf\uff0c\u4e3a\u540e\u671f\u5206\u6790\u5de5\u4f5c\u5960\u5b9a\u57fa\u7840\u3002\u6570\u636e\u9884\u5904\u7406\u4e3b\u8981\u5305\u62ec\u56db\u4e2a\u90e8\u5206\uff1a\u6570\u636e\u6e05\u7406\u3001\u6570\u636e\u96c6\u6210\u3001\u6570\u636e\u8f6c\u6362\u3001\u6570\u636e\u89c4\u7ea6\u3002
\u6570\u636e\u6e05\u7406\uff1a\u6307\u5229\u7528ETL\u7b49\u6e05\u6d17\u5de5\u5177\uff0c\u5bf9\u6709\u9057\u6f0f\u6570\u636e(\u7f3a\u5c11\u611f\u5174\u8da3\u7684\u5c5e\u6027)\u3001\u566a\u97f3\u6570\u636e(\u6570\u636e\u4e2d\u5b58\u5728\u7740\u9519\u8bef\u3001\u6216\u504f\u79bb\u671f\u671b\u503c\u7684\u6570\u636e)\u3001\u4e0d\u4e00\u81f4\u6570\u636e\u8fdb\u884c\u5904\u7406\u3002
\u6570\u636e\u96c6\u6210\uff1a\u662f\u6307\u5c06\u4e0d\u540c\u6570\u636e\u6e90\u4e2d\u7684\u6570\u636e\uff0c\u5408\u5e76\u5b58\u653e\u5230\u7edf\u4e00\u6570\u636e\u5e93\u7684\uff0c\u5b58\u50a8\u65b9\u6cd5\uff0c\u7740\u91cd\u89e3\u51b3\u4e09\u4e2a\u95ee\u9898\uff1a\u6a21\u5f0f\u5339\u914d\u3001\u6570\u636e\u5197\u4f59\u3001\u6570\u636e\u503c\u51b2\u7a81\u68c0\u6d4b\u4e0e\u5904\u7406\u3002
\u6570\u636e\u8f6c\u6362\uff1a\u662f\u6307\u5bf9\u6240\u62bd\u53d6\u51fa\u6765\u7684\u6570\u636e\u4e2d\u5b58\u5728\u7684\u4e0d\u4e00\u81f4\uff0c\u8fdb\u884c\u5904\u7406\u7684\u8fc7\u7a0b\u3002\u5b83\u540c\u65f6\u5305\u542b\u4e86\u6570\u636e\u6e05\u6d17\u7684\u5de5\u4f5c\uff0c\u5373\u6839\u636e\u4e1a\u52a1\u89c4\u5219\u5bf9\u5f02\u5e38\u6570\u636e\u8fdb\u884c\u6e05\u6d17\uff0c\u4ee5\u4fdd\u8bc1\u540e\u7eed\u5206\u6790\u7ed3\u679c\u51c6\u786e\u6027\u3002
\u6570\u636e\u89c4\u7ea6\uff1a\u662f\u6307\u5728\u6700\u5927\u9650\u5ea6\u4fdd\u6301\u6570\u636e\u539f\u8c8c\u7684\u57fa\u7840\u4e0a\uff0c\u6700\u5927\u9650\u5ea6\u7cbe\u7b80\u6570\u636e\u91cf\uff0c\u4ee5\u5f97\u5230\u8f83\u5c0f\u6570\u636e\u96c6\u7684\u64cd\u4f5c\uff0c\u5305\u62ec\uff1a\u6570\u636e\u65b9\u805a\u96c6\u3001\u7ef4\u89c4\u7ea6\u3001\u6570\u636e\u538b\u7f29\u3001\u6570\u503c\u89c4\u7ea6\u3001\u6982\u5ff5\u5206\u5c42\u7b49\u3002
\u4e09\u3001\u5927\u6570\u636e\u5b58\u50a8
\u5927\u6570\u636e\u5b58\u50a8\uff0c\u6307\u7528\u5b58\u50a8\u5668\uff0c\u4ee5\u6570\u636e\u5e93\u7684\u5f62\u5f0f\uff0c\u5b58\u50a8\u91c7\u96c6\u5230\u7684\u6570\u636e\u7684\u8fc7\u7a0b\uff0c\u5305\u542b\u4e09\u79cd\u5178\u578b\u8def\u7ebf\uff1a
1\u3001\u57fa\u4e8eMPP\u67b6\u6784\u7684\u65b0\u578b\u6570\u636e\u5e93\u96c6\u7fa4
\u91c7\u7528Shared Nothing\u67b6\u6784\uff0c\u7ed3\u5408MPP\u67b6\u6784\u7684\u9ad8\u6548\u5206\u5e03\u5f0f\u8ba1\u7b97\u6a21\u5f0f\uff0c\u901a\u8fc7\u5217\u5b58\u50a8\u3001\u7c97\u7c92\u5ea6\u7d22\u5f15\u7b49\u591a\u9879\u5927\u6570\u636e\u5904\u7406\u6280\u672f\uff0c\u91cd\u70b9\u9762\u5411\u884c\u4e1a\u5927\u6570\u636e\u6240\u5c55\u5f00\u7684\u6570\u636e\u5b58\u50a8\u65b9\u5f0f\u3002\u5177\u6709\u4f4e\u6210\u672c\u3001\u9ad8\u6027\u80fd\u3001\u9ad8\u6269\u5c55\u6027\u7b49\u7279\u70b9\uff0c\u5728\u4f01\u4e1a\u5206\u6790\u7c7b\u5e94\u7528\u9886\u57df\u6709\u7740\u5e7f\u6cdb\u7684\u5e94\u7528\u3002
\u8f83\u4e4b\u4f20\u7edf\u6570\u636e\u5e93\uff0c\u5176\u57fa\u4e8eMPP\u4ea7\u54c1\u7684PB\u7ea7\u6570\u636e\u5206\u6790\u80fd\u529b\uff0c\u6709\u7740\u663e\u8457\u7684\u4f18\u8d8a\u6027\u3002\u81ea\u7136\uff0cMPP\u6570\u636e\u5e93\uff0c\u4e5f\u6210\u4e3a\u4e86\u4f01\u4e1a\u65b0\u4e00\u4ee3\u6570\u636e\u4ed3\u5e93\u7684\u6700\u4f73\u9009\u62e9\u3002
2\u3001\u57fa\u4e8eHadoop\u7684\u6280\u672f\u6269\u5c55\u548c\u5c01\u88c5
\u57fa\u4e8eHadoop\u7684\u6280\u672f\u6269\u5c55\u548c\u5c01\u88c5\uff0c\u662f\u9488\u5bf9\u4f20\u7edf\u5173\u7cfb\u578b\u6570\u636e\u5e93\u96be\u4ee5\u5904\u7406\u7684\u6570\u636e\u548c\u573a\u666f\uff08\u9488\u5bf9\u975e\u7ed3\u6784\u5316\u6570\u636e\u7684\u5b58\u50a8\u548c\u8ba1\u7b97\u7b49\uff09\uff0c\u5229\u7528Hadoop\u5f00\u6e90\u4f18\u52bf\u53ca\u76f8\u5173\u7279\u6027\uff08\u5584\u4e8e\u5904\u7406\u975e\u7ed3\u6784\u3001\u534a\u7ed3\u6784\u5316\u6570\u636e\u3001\u590d\u6742\u7684ETL\u6d41\u7a0b\u3001\u590d\u6742\u7684\u6570\u636e\u6316\u6398\u548c\u8ba1\u7b97\u6a21\u578b\u7b49\uff09\uff0c\u884d\u751f\u51fa\u76f8\u5173\u5927\u6570\u636e\u6280\u672f\u7684\u8fc7\u7a0b\u3002
\u4f34\u968f\u7740\u6280\u672f\u8fdb\u6b65\uff0c\u5176\u5e94\u7528\u573a\u666f\u4e5f\u5c06\u9010\u6b65\u6269\u5927\uff0c\u76ee\u524d\u6700\u4e3a\u5178\u578b\u7684\u5e94\u7528\u573a\u666f\uff1a\u901a\u8fc7\u6269\u5c55\u548c\u5c01\u88c5 Hadoop\u6765\u5b9e\u73b0\u5bf9\u4e92\u8054\u7f51\u5927\u6570\u636e\u5b58\u50a8\u3001\u5206\u6790\u7684\u652f\u6491\uff0c\u5176\u4e2d\u6d89\u53ca\u4e86\u51e0\u5341\u79cdNoSQL\u6280\u672f\u3002
3\u3001\u5927\u6570\u636e\u4e00\u4f53\u673a
\u8fd9\u662f\u4e00\u79cd\u4e13\u4e3a\u5927\u6570\u636e\u7684\u5206\u6790\u5904\u7406\u800c\u8bbe\u8ba1\u7684\u8f6f\u3001\u786c\u4ef6\u7ed3\u5408\u7684\u4ea7\u54c1\u3002\u5b83\u7531\u4e00\u7ec4\u96c6\u6210\u7684\u670d\u52a1\u5668\u3001\u5b58\u50a8\u8bbe\u5907\u3001\u64cd\u4f5c\u7cfb\u7edf\u3001\u6570\u636e\u5e93\u7ba1\u7406\u7cfb\u7edf\uff0c\u4ee5\u53ca\u4e3a\u6570\u636e\u67e5\u8be2\u3001\u5904\u7406\u3001\u5206\u6790\u800c\u9884\u5b89\u88c5\u548c\u4f18\u5316\u7684\u8f6f\u4ef6\u7ec4\u6210\uff0c\u5177\u6709\u826f\u597d\u7684\u7a33\u5b9a\u6027\u548c\u7eb5\u5411\u6269\u5c55\u6027\u3002
\u56db\u3001\u5927\u6570\u636e\u5206\u6790\u6316\u6398
\u4ece\u53ef\u89c6\u5316\u5206\u6790\u3001\u6570\u636e\u6316\u6398\u7b97\u6cd5\u3001\u9884\u6d4b\u6027\u5206\u6790\u3001\u8bed\u4e49\u5f15\u64ce\u3001\u6570\u636e\u8d28\u91cf\u7ba1\u7406\u7b49\u65b9\u9762\uff0c\u5bf9\u6742\u4e71\u65e0\u7ae0\u7684\u6570\u636e\uff0c\u8fdb\u884c\u8403\u53d6\u3001\u63d0\u70bc\u548c\u5206\u6790\u7684\u8fc7\u7a0b\u3002
1\u3001\u53ef\u89c6\u5316\u5206\u6790
\u53ef\u89c6\u5316\u5206\u6790\uff0c\u6307\u501f\u52a9\u56fe\u5f62\u5316\u624b\u6bb5\uff0c\u6e05\u6670\u5e76\u6709\u6548\u4f20\u8fbe\u4e0e\u6c9f\u901a\u4fe1\u606f\u7684\u5206\u6790\u624b\u6bb5\u3002\u4e3b\u8981\u5e94\u7528\u4e8e\u6d77\u91cf\u6570\u636e\u5173\u8054\u5206\u6790\uff0c\u5373\u501f\u52a9\u53ef\u89c6\u5316\u6570\u636e\u5206\u6790\u5e73\u53f0\uff0c\u5bf9\u5206\u6563\u5f02\u6784\u6570\u636e\u8fdb\u884c\u5173\u8054\u5206\u6790\uff0c\u5e76\u505a\u51fa\u5b8c\u6574\u5206\u6790\u56fe\u8868\u7684\u8fc7\u7a0b\u3002\u5177\u6709\u7b80\u5355\u660e\u4e86\u3001\u6e05\u6670\u76f4\u89c2\u3001\u6613\u4e8e\u63a5\u53d7\u7684\u7279\u70b9\u3002
2\u3001\u6570\u636e\u6316\u6398\u7b97\u6cd5
\u6570\u636e\u6316\u6398\u7b97\u6cd5\uff0c\u5373\u901a\u8fc7\u521b\u5efa\u6570\u636e\u6316\u6398\u6a21\u578b\uff0c\u800c\u5bf9\u6570\u636e\u8fdb\u884c\u8bd5\u63a2\u548c\u8ba1\u7b97\u7684\uff0c\u6570\u636e\u5206\u6790\u624b\u6bb5\u3002\u5b83\u662f\u5927\u6570\u636e\u5206\u6790\u7684\u7406\u8bba\u6838\u5fc3\u3002
\u6570\u636e\u6316\u6398\u7b97\u6cd5\u591a\u79cd\u591a\u6837\uff0c\u4e14\u4e0d\u540c\u7b97\u6cd5\u56e0\u57fa\u4e8e\u4e0d\u540c\u7684\u6570\u636e\u7c7b\u578b\u548c\u683c\u5f0f\uff0c\u4f1a\u5448\u73b0\u51fa\u4e0d\u540c\u7684\u6570\u636e\u7279\u70b9\u3002\u4f46\u4e00\u822c\u6765\u8bb2\uff0c\u521b\u5efa\u6a21\u578b\u7684\u8fc7\u7a0b\u5374\u662f\u76f8\u4f3c\u7684\uff0c\u5373\u9996\u5148\u5206\u6790\u7528\u6237\u63d0\u4f9b\u7684\u6570\u636e\uff0c\u7136\u540e\u9488\u5bf9\u7279\u5b9a\u7c7b\u578b\u7684\u6a21\u5f0f\u548c\u8d8b\u52bf\u8fdb\u884c\u67e5\u627e\uff0c\u5e76\u7528\u5206\u6790\u7ed3\u679c\u5b9a\u4e49\u521b\u5efa\u6316\u6398\u6a21\u578b\u7684\u6700\u4f73\u53c2\u6570\uff0c\u5e76\u5c06\u8fd9\u4e9b\u53c2\u6570\u5e94\u7528\u4e8e\u6574\u4e2a\u6570\u636e\u96c6\uff0c\u4ee5\u63d0\u53d6\u53ef\u884c\u6a21\u5f0f\u548c\u8be6\u7ec6\u7edf\u8ba1\u4fe1\u606f\u3002
3\u3001\u9884\u6d4b\u6027\u5206\u6790
\u9884\u6d4b\u6027\u5206\u6790\uff0c\u662f\u5927\u6570\u636e\u5206\u6790\u6700\u91cd\u8981\u7684\u5e94\u7528\u9886\u57df\u4e4b\u4e00\uff0c\u901a\u8fc7\u7ed3\u5408\u591a\u79cd\u9ad8\u7ea7\u5206\u6790\u529f\u80fd\uff08\u7279\u522b\u7edf\u8ba1\u5206\u6790\u3001\u9884\u6d4b\u5efa\u6a21\u3001\u6570\u636e\u6316\u6398\u3001\u6587\u672c\u5206\u6790\u3001\u5b9e\u4f53\u5206\u6790\u3001\u4f18\u5316\u3001\u5b9e\u65f6\u8bc4\u5206\u3001\u673a\u5668\u5b66\u4e60\u7b49\uff09\uff0c\u8fbe\u5230\u9884\u6d4b\u4e0d\u786e\u5b9a\u4e8b\u4ef6\u7684\u76ee\u7684\u3002
\u5e2e\u52a9\u5206\u7528\u6237\u6790\u7ed3\u6784\u5316\u548c\u975e\u7ed3\u6784\u5316\u6570\u636e\u4e2d\u7684\u8d8b\u52bf\u3001\u6a21\u5f0f\u548c\u5173\u7cfb\uff0c\u5e76\u8fd0\u7528\u8fd9\u4e9b\u6307\u6807\u6765\u9884\u6d4b\u5c06\u6765\u4e8b\u4ef6\uff0c\u4e3a\u91c7\u53d6\u63aa\u65bd\u63d0\u4f9b\u4f9d\u636e\u3002
4\u3001\u8bed\u4e49\u5f15\u64ce
\u8bed\u4e49\u5f15\u64ce\uff0c\u6307\u901a\u8fc7\u4e3a\u5df2\u6709\u6570\u636e\u6dfb\u52a0\u8bed\u4e49\u7684\u64cd\u4f5c\uff0c\u63d0\u9ad8\u7528\u6237\u4e92\u8054\u7f51\u641c\u7d22\u4f53\u9a8c\u3002
5\u3001\u6570\u636e\u8d28\u91cf\u7ba1\u7406
\u6307\u5bf9\u6570\u636e\u5168\u751f\u547d\u5468\u671f\u7684\u6bcf\u4e2a\u9636\u6bb5\uff08\u8ba1\u5212\u3001\u83b7\u53d6\u3001\u5b58\u50a8\u3001\u5171\u4eab\u3001\u7ef4\u62a4\u3001\u5e94\u7528\u3001\u6d88\u4ea1\u7b49\uff09\u4e2d\u53ef\u80fd\u5f15\u53d1\u7684\u5404\u7c7b\u6570\u636e\u8d28\u91cf\u95ee\u9898\uff0c\u8fdb\u884c\u8bc6\u522b\u3001\u5ea6\u91cf\u3001\u76d1\u63a7\u3001\u9884\u8b66\u7b49\u64cd\u4f5c\uff0c\u4ee5\u63d0\u9ad8\u6570\u636e\u8d28\u91cf\u7684\u4e00\u7cfb\u5217\u7ba1\u7406\u6d3b\u52a8\u3002
\u4ee5\u4e0a\u662f\u4ece\u5927\u7684\u65b9\u9762\u6765\u8bb2\uff0c\u5177\u4f53\u6765\u8bf4\u5927\u6570\u636e\u7684\u6846\u67b6\u6280\u672f\u6709\u5f88\u591a\uff0c\u8fd9\u91cc\u5217\u4e3e\u5176\u4e2d\u4e00\u4e9b\uff1a
\u6587\u4ef6\u5b58\u50a8\uff1aHadoop HDFS\u3001Tachyon\u3001KFS
\u79bb\u7ebf\u8ba1\u7b97\uff1aHadoop MapReduce\u3001Spark
\u6d41\u5f0f\u3001\u5b9e\u65f6\u8ba1\u7b97\uff1aStorm\u3001Spark Streaming\u3001S4\u3001Heron
K-V\u3001NOSQL\u6570\u636e\u5e93\uff1aHBase\u3001Redis\u3001MongoDB
\u8d44\u6e90\u7ba1\u7406\uff1aYARN\u3001Mesos
\u65e5\u5fd7\u6536\u96c6\uff1aFlume\u3001Scribe\u3001Logstash\u3001Kibana
\u6d88\u606f\u7cfb\u7edf\uff1aKafka\u3001StormMQ\u3001ZeroMQ\u3001RabbitMQ
\u67e5\u8be2\u5206\u6790\uff1aHive\u3001Impala\u3001Pig\u3001Presto\u3001Phoenix\u3001SparkSQL\u3001Drill\u3001Flink\u3001Kylin\u3001Druid
\u5206\u5e03\u5f0f\u534f\u8c03\u670d\u52a1\uff1aZookeeper
\u96c6\u7fa4\u7ba1\u7406\u4e0e\u76d1\u63a7\uff1aAmbari\u3001Ganglia\u3001Nagios\u3001Cloudera Manager
\u6570\u636e\u6316\u6398\u3001\u673a\u5668\u5b66\u4e60\uff1aMahout\u3001Spark MLLib
\u6570\u636e\u540c\u6b65\uff1aSqoop
\u4efb\u52a1\u8c03\u5ea6\uff1aOozie
\u00b7\u00b7\u00b7\u00b7\u00b7\u00b7
\u60f3\u8981\u5b66\u4e60\u66f4\u591a\u5173\u4e8e\u5927\u6570\u636e\u7684\u77e5\u8bc6\u53ef\u4ee5\u52a0\u7fa4\u548c\u5fd7\u540c\u9053\u5408\u7684\u4eba\u4e00\u8d77\u4ea4\u6d41\u4e00\u4e0b\u554a[https://sourl.cn/d9wRmb ]
大数据技术包括数据收集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现。
1、数据收集：在大数据的生命周期中，数据采集处于第一个环节。根据MapReduce产生数据的应用系统分类，大数据的采集主要有4种来源：管理信息系统、Web信息系统、物理信息系统、科学实验系统。
2、数据存取：大数据的存去采用不同的技术路线，大致可以分为3类。第1类主要面对的是大规模的结构化数据。第2类主要面对的是半结构化和非结构化数据。第3类面对的是结构化和非结构化混合的大数据，
3、基础架构：云存储、分布式文件存储等。
4、数据处理：对于采集到的不同的数据集，可能存在不同的结构和模式，如文件、XML 树、关系表等，表现为数据的异构性。对多个异构的数据集，需要做进一步集成处理或整合处理，将来自不同数据集的数据收集、整理、清洗、转换后，生成到一个新的数据集，为后续查询和分析处理提供统一的数据视图。
5、统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。
6、数据挖掘：目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
7、模型预测：预测模型、机器学习、建模仿真。
8、结果呈现：云计算、标签云、关系图等。
大数据可以简单理解为：
"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。
给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
想要成为炙手可热的大数据技术人才，这些大数据的核心技术一定要知晓！
一、大数据基础阶段
大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoop mapreduce hdfs yarn等。
1、Linux命令
对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础操作命令
2、 Redis
Redis是一个key-value存储系统，其出现很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。
二、大数据存储阶段
大数据存储阶段需掌握的技术有：hbase、hive、sqoop等。
1、HBase
HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。
2、Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。
三、大数据架构设计阶段
大数据架构设计阶段需掌握的技术有：Flume分布式、Zookeeper、Kafka等。
1、Kafka
Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现！
2、Flume
Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。
3、ZooKeeper
ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。
四、大数据实时计算阶段
大数据实时计算阶段需掌握的技术有：Mahout、Spark、storm。
1、Spark
Spark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。
2、storm
Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm用于实时处理，就好比 Hadoop 用于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群中，每秒可以处理数以百万计的消息。
五、大数据数据采集阶段
大数据数据采集阶段需掌握的技术有：Python、Scala。
1、Python与数据分析
Python是面向对象的编程语言，拥有丰富的库，使用简单，应用广泛，在大数据领域也有所应用，主要可用于数据采集、数据分析以及数据可视化等，因此，大数据开发需学习一定的Python知识。
2、Scala
Scala是一门多范式的编程语言，大数据开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需掌握Scala编程基础知识！
以上只是一些简单的大数据核心技术总结，比较零散，想要学习大数据的同学，还是要按照一定到的技术路线图学习！
大数据开发涉及到的关键技术：
大数据采集技术
大数据采集技术是指通过 RFID 数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。
大数据预处理技术
大数据预处理技术主要是指完成对已接收数据的辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作。
大数据存储及管理技术
大数据存储及管理的主要目的是用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。
大数据处理技术
大数据的应用类型很多，主要的处理模式可以分为流处理模式和批处理模式两种。批处理是先存储后处理，而流处理则是直接处理。
大数据分析及挖掘技术
大数据处理的核心就是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。
大数据展示技术
在大数据时代下，数据井喷似地增长，分析人员将这些庞大的数据汇总并进行分析，而分析出的成果如果是密密麻麻的文字，那么就没有几个人能理解，所以我们就需要将数据可视化。
数据可视化技术主要指的是技术上较为高级的技术方法，这些技术方法通过表达、建模，以及对立体、表面、属性、动画的显示，对数据加以可视化解释。
大数据技术主要涵盖哪些内容，具体如下：
一、流处理
伴随着业务发展的步调，以及业务流程的复杂化，我们的注意力越来越集中在“数据流”而非“数据集”上面。
决策者感兴趣的是紧扣其组织机构的命脉，并获取实时的结果。他们需要的是能够处理随时发生的数据流的架构，当前的数据库技术并不适合数据流处理。
例如，计算一组数据的平均值，可以使用一个传统的脚本实现。但对于移动数据平均值的计算，不论是到达、增长还是一个又一个的单元，有更高效的算法。如果你想构建数据仓库，并执行任意的数据分析、统计，开源的产品R或者类似于SAS的商业产品就可以实现。但是你想创建的是一个数据流统计集，对此逐步添加或移除数据块，进行移动平均计算，而且数据库不存在或者尚不成熟。
数据流周边的生态系统有欠发达。换言之，如果你正在与一家供应商洽谈一个大数据项目，那么你必须知道数据流处理对你的项目而言是否重要，并且供应商是否有能力提供。
二、并行化
大数据的定义有许多种，以下这种相对有用。“小数据”的情形类似于桌面环境，磁盘存储能力在1GB到10GB之间，“中数据”的数据量在100GB到1TB之间，“大数据”分布式的存储在多台机器上，包含1TB到多个PB的数据。
如果你在分布式数据环境中工作，并且想在很短的时间内处理数据，这就需要分布式处理。
并行处理在分布式数据中脱颖而出，Hadoop是一个分布式/并行处理领域广为人知的例子。Hadoop包含一个大型分布式的文件系统，支持分布式/并行查询。
三、摘要索引
摘要索引是一个对数据创建预计算摘要，以加速查询运行的过程。摘要索引的问题是，你必须为要执行的查询做好计划，因此它有所限制。
数据增长飞速，对摘要索引的要求远不会停止，不论是长期考虑还是短期，供应商必须对摘要索引的制定有一个确定的策略。
四、数据可视化
可视化工具有两大类。
探索性可视化描述工具可以帮助决策者和分析师挖掘不同数据之间的联系，这是一种可视化的洞察力。类似的工具有Tableau、TIBCO和QlikView，这是一类。
叙事可视化工具被设计成以独特的方式探索数据。例如，如果你想以可视化的方式在一个时间序列中按照地域查看一个企业的销售业绩，可视化格式会被预先创建。数据会按照地域逐月展示，并根据预定义的公式排序。供应商Perceptive Pixel就属于这一类。
五、生态系统战略
许多最大最成功的公司都花费大量资金构建围绕它们产品的生态系统。这些生态系统被产品特性和商务模型所支持，并与合作伙伴的产品和技术协同工作。如果一个产品没有一个富有战略的生态系统，是很难适应客户的要求的。
绛旓細3銆佺墿鑱旂綉鎶鏈細鍖呮嫭浼犳劅鍣ㄦ妧鏈佸祵鍏ュ紡绯荤粺銆佹櫤鑳藉灞呯瓑鏂归潰鐨勬妧鏈紝澶ф暟鎹妧鏈細鍖呮嫭鏁版嵁閲囬泦銆佹暟鎹瓨鍌ㄣ佹暟鎹垎鏋愮瓑鏂归潰鐨勬妧鏈锛岃櫄鎷熺幇瀹炴妧鏈細鍖呮嫭铏氭嫙鐜板疄璁惧銆佽櫄鎷熺幇瀹炲簲鐢ㄧ瓑鏂归潰鐨勬妧鏈
绛旓細1. 澶ф暟鎹噰闆嗘妧鏈 澶ф暟鎹噰闆嗘妧鏈秹鍙婇氳繃RFID銆佷紶鎰熷櫒銆佺ぞ浜ょ綉缁滀氦浜掍互鍙婄Щ鍔ㄤ簰鑱旂綉绛夊绉嶆柟寮忚幏鍙栫粨鏋勫寲銆佸崐缁撴瀯鍖栧拰闈炵粨鏋勫寲鐨勬捣閲忔暟鎹傝繖浜涙暟鎹槸澶ф暟鎹煡璇嗘湇鍔℃ā鍨嬬殑鍩虹銆傛妧鏈獊鐮村寘鎷珮閫熸暟鎹埇鍙栥佹暟鎹暣鍚堟妧鏈互鍙婃暟鎹川閲忚瘎浼版ā鍨嬪紑鍙戙2. 澶ф暟鎹澶勭悊鎶鏈 棰勫鐞嗘妧鏈富瑕佸閲囬泦鍒扮殑鏁版嵁杩涜杈ㄨ瘑銆...
绛旓細澶ф暟鎹叧閿妧鏈湁鏁版嵁瀛樺偍銆佸鐞嗐佸簲鐢ㄧ瓑澶氭柟闈㈢殑鎶鏈锛屾牴鎹ぇ鏁版嵁鐨勫鐞嗚繃绋嬶紝鍙皢鍏跺垎涓哄ぇ鏁版嵁閲囬泦銆佸ぇ鏁版嵁棰勫鐞嗐佸ぇ鏁版嵁瀛樺偍鍙婄鐞嗐佸ぇ鏁版嵁澶勭悊銆佸ぇ鏁版嵁鍒嗘瀽鍙婃寲鎺樸佸ぇ鏁版嵁灞曠ず绛夈1銆佸ぇ鏁版嵁閲囬泦鎶鏈 澶ф暟鎹噰闆嗘妧鏈槸鎸囬氳繃RFID鏁版嵁銆佷紶鎰熷櫒鏁版嵁銆佺ぞ浜ょ綉缁滀氦浜掓暟鎹強绉诲姩浜掕仈缃戞暟鎹瓑鏂瑰紡鑾峰緱鍚勭绫诲瀷鐨勭粨鏋勫寲銆...
绛旓細澶ф暟鎹妧鏈寘鎷暟鎹敹闆嗐佹暟鎹瓨鍙栥佸熀纭鏋舵瀯銆佹暟鎹鐞嗐佺粺璁″垎鏋愩佹暟鎹寲鎺樸佹ā鍨嬮娴嬨佺粨鏋滃憟鐜銆1銆佹暟鎹敹闆嗭細鍦ㄥぇ鏁版嵁鐨勭敓鍛藉懆鏈熶腑锛屾暟鎹噰闆嗗浜庣涓涓幆鑺傘傛牴鎹甅apReduce浜х敓鏁版嵁鐨勫簲鐢ㄧ郴缁熷垎绫伙紝澶ф暟鎹殑閲囬泦涓昏鏈4绉嶆潵婧愶細绠＄悊淇℃伅绯荤粺銆乄eb淇℃伅绯荤粺銆佺墿鐞嗕俊鎭郴缁熴佺瀛﹀疄楠岀郴缁熴2銆佹暟鎹瓨鍙栵細澶ф暟鎹...
绛旓細5. 澶ф暟鎹垎鏋愬強鎸栨帢鎶鏈細澶ф暟鎹鐞嗙殑鏍稿績鏄澶ф暟鎹繘琛屽垎鏋锛岄氳繃鍒嗘瀽鑾峰彇鏅鸿兘鐨勩佹繁鍏ョ殑銆佹湁浠峰肩殑淇℃伅銆6. 澶ф暟鎹睍绀烘妧鏈細鍦ㄥぇ鏁版嵁鏃朵唬锛屾暟鎹噺宸ㄥぇ锛屽垎鏋愪汉鍛橀渶瑕佸皢杩欎簺鏁版嵁姹囨诲苟杩涜鍒嗘瀽锛岃屾暟鎹彲瑙嗗寲鎶鏈垯鍙互灏嗗垎鏋愮粨鏋滀互鏇寸洿瑙傜殑鏂瑰紡灞曠ず鍑烘潵锛屽府鍔╀汉浠洿濂藉湴鐞嗚В鍜屽埄鐢ㄦ暟鎹
绛旓細澶ф暟鎹妧鏈彲浠ュ垎涓哄绉嶇被鍨嬶紝鍏蜂綋濡備笅锛1. 鏁版嵁鏀堕泦锛氳繖鏄ぇ鏁版嵁澶勭悊鐨勭涓姝ワ紝鍖呮嫭浠庝笉鍚屾潵婧愰噰闆嗘暟鎹紝濡傜鐞嗕俊鎭郴缁熴乄eb淇℃伅绯荤粺銆佺墿鐞嗕俊鎭郴缁熷拰绉戝瀹為獙绯荤粺銆2. 鏁版嵁瀛樺彇鎶鏈細杩欎簺鎶鏈牴鎹暟鎹被鍨嬬殑涓嶅悓鑰屾湁鎵鍖哄埆锛屼富瑕佸垎涓轰笁绫伙細閽堝澶ц妯＄粨鏋勫寲鏁版嵁鐨勬妧鏈侀拡瀵瑰崐缁撴瀯鍖栧拰闈炵粨鏋勫寲鏁版嵁鐨...
绛旓細1. 澶ф暟鎹妧鏈娑电洊浜嗘暟鎹噰闆嗐佹暟鎹瓨鍌ㄧ鐞嗐佹暟鎹垎鏋愩佹暟鎹彲瑙嗗寲銆佹暟鎹畨鍏ㄧ瓑澶氫釜鏂归潰銆2. 鏁版嵁鍒嗘瀽鐨勬牳蹇冨湪浜庢満鍣ㄥ涔狅紝鍚屾椂涔熸秹鍙婃繁搴﹀涔犮佸己鍖栧涔犲拰澶ц妯℃満鍣ㄥ涔狅紝浠ュ強鑷劧璇█澶勭悊銆佸浘褰笌缃戠粶鍒嗘瀽绛夐鍩熴
绛旓細澶ф暟鎹宸茬粡閫愭笎鏅強,澶ф暟鎹鐞嗗叧閿鎶鏈涓鑸鍖呮嫭:澶ф暟鎹噰闆嗐佸ぇ鏁版嵁棰勫鐞嗐佸ぇ鏁版嵁瀛樺偍鍙婄鐞嗐佸ぇ鏁版嵁鍒嗘瀽鍙婃寲鎺樸佸ぇ鏁版嵁灞曠幇鍜屽簲鐢(澶ф暟鎹绱佸ぇ鏁版嵁鍙鍖栥佸ぇ鏁版嵁搴旂敤銆佸ぇ鏁版嵁瀹夊叏绛)銆備竴銆佹暟鎹噰闆嗗浣曚粠澶ф暟鎹腑閲囬泦鍑烘湁鐢ㄧ殑淇℃伅宸茬粡鏄ぇ鏁版嵁鍙戝睍鐨勫叧閿洜绱犱箣涓銆傚洜姝ゅ湪澶ф暟鎹椂浠ｈ儗鏅笅,濡備綍浠庡ぇ鏁版嵁涓噰闆嗗嚭鏈夌敤鐨勪俊鎭凡...
绛旓細澶ф暟鎹鐞嗗叧閿妧鏈竴鑸寘鎷細澶ф暟鎹噰闆嗐佸ぇ鏁版嵁棰勫鐞嗐佸ぇ鏁版嵁瀛樺偍鍙婄鐞嗐佸ぇ鏁版嵁鍒嗘瀽鍙婃寲鎺樸佸ぇ鏁版嵁灞曠幇鍜屽簲鐢紙澶ф暟鎹绱佸ぇ鏁版嵁鍙鍖栥佸ぇ鏁版嵁搴旂敤銆佸ぇ鏁版嵁瀹夊叏绛夛級銆涓銆佸ぇ鏁版嵁閲囬泦鎶鏈 鏁版嵁鏄寚閫氳繃RFID灏勯鏁版嵁銆佷紶鎰熷櫒鏁版嵁銆佺ぞ浜ょ綉缁滀氦浜掓暟鎹強绉诲姩浜掕仈缃戞暟鎹瓑鏂瑰紡鑾峰緱鐨勫悇绉嶇被鍨嬬殑缁撴瀯鍖栥佸崐缁撴瀯鍖栵紙鎴栫О...
绛旓細澶ф暟鎹妧鏈涓昏鍖呮嫭鏁版嵁閲囬泦涓庨澶勭悊銆佹暟鎹瓨鍌ㄥ拰绠＄悊銆佹暟鎹鐞嗕笌鍒嗘瀽銆佹暟鎹粨鏋滃憟鐜扮瓑鍑犱釜灞傞潰鐨勫唴瀹广1銆佹暟鎹噰闆嗕笌棰勫鐞 鍦ㄥぇ鏁版嵁鐢熷懡鍛ㄦ湡褰撲腑锛屾暟鎹噰闆嗗浜庣涓涓幆鑺傘傚埄鐢‥TL宸ュ叿灏嗗垎甯冪殑锛屽紓鏋勬暟鎹簮涓殑鏁版嵁锛屾娊鍙栧埌涓存椂鐨勪腑闂村眰鍚庤繘琛屾竻娲椼佽浆鎹侀泦鎴愶紝鏈鍚庡姞杞藉埌鏁版嵁浠撳簱鎴栨暟鎹泦甯備腑锛屽苟杩涜...
