大数据时代发展历程是什么？ 互联网的发展分为哪几个阶段
\u4e2d\u56fd\u4e92\u8054\u7f51\u53d1\u5c55\u5386\u7a0b\u7b2c\u4e00\u6b21\u4e92\u8054\u7f51\u5927\u6d6a\u6f6e1994\u5e74\u20142000\u5e74
\u4ece\u56db\u5927\u95e8\u6237\u5230\u641c\u7d22
1994\u5e74\u6b63\u5f0f\u63a5\u5165\u56fd\u9645\u4e92\u8054\u7f51.
1997\u5e746\u6708\uff0c\u4e01\u78ca\u521b\u7acb\u7f51\u6613\u516c\u53f8;
1998\u5e74\u5f20\u671d\u9633\u6b63\u5f0f\u6210\u7acb\u641c\u72d0\u7f51;
1998\u5e74 \u90ae\u7bb1\u666e\u53ca&\u7b2c\u4e00\u5355\u7f51\u4e0a\u652f\u4ed8\u5b8c\u6210
1998\u5e7411\u6708\u817e\u8baf\u6210\u7acb \uff0c\u7531\u9a6c\u5316\u817e\u3001\u5f20\u5fd7\u4e1c\u7b49\u4e94\u4f4d\u521b\u59cb\u4eba\u521b\u7acb\u3002
1998\u5e7412\u6708\uff0c\u7531\u738b\u5fd7\u4e1c\u5148\u751f\u521b\u7acb\u65b0\u6d6a
1999\u5e74 \u804a\u5929\u8f6f\u4ef6QQ\u51fa\u73b0,\u5f53\u65f6\u53eb OICQ\uff0c\u540e\u6539\u540d\u817e\u8bafQQ\u98ce\u9761\u5168\u56fd\u3002
1999\u5e749\u67089\u65e5\u9a6c\u4e91\u5e26\u9886\u4e0b\u768418\u4f4d\u521b\u59cb\u4eba\u5728\u676d\u5dde\u6b63\u5f0f\u6210\u7acb\u4e86\u963f\u91cc\u5df4\u5df4\u96c6\u56e2
2000\u5e741\u67081\u65e5\u674e\u5f66\u5b8f\u5728\u4e2d\u5173\u6751\u521b\u5efa\u4e86\u767e\u5ea6\u516c\u53f8
\u7b2c\u4e8c\u6b21\u4e92\u8054\u7f51\u5927\u6d6a\u6f6e\uff082001\u5e74\u20142008\u5e74\uff09
\u4ece\u641c\u7d22\u5230\u793e\u4ea4\u5316\u7f51\u7edc
(\u535a\u5ba2\u3001sns\u3001\u8bba\u575b\u3001\u5fae\u535a)
2001\u5e74\u4e2d\u56fd\u4e92\u8054\u7f51\u534f\u4f1a\u6210\u7acb
2002\u5e74\uff0c\u535a\u5ba2\u7f51\u6210\u7acb
2002\u5e74\uff0c\u4e2a\u4eba\u95e8\u6237\u5174\u8d77\uff0c\u4e92\u8054\u7f51\u95e8\u6237\u8fdb\u51652.0\u65f6\u4ee3\u3002
2003\u5e74 \u6dd8\u5b9d\u7f51\u4e0a\u7ebf,\u540e\u6765\u6210\u4e3a\u5168\u7403\u6700\u5927C2C\u7535\u5546\u5e73\u53f0\uff1b\u4e0b\u534a\u5e74\uff0c\u963f\u91cc\u5df4\u5df4\u63a8\u51fa\u652f\u4ed8\u5b9d\u3002
2004\u5e74 \u7f51\u6e38\u5e02\u573a\u98ce\u8d77\u4e91\u6d8c
2005\u5e74\u535a\u5ba2\u5143\u5e74
2006\u5e74\u718a\u732b\u70e7\u9999\u75c5\u6bd2\u6cdb\u6ee5,\u540d\u4e3a\u201c\u718a\u732b\u70e7\u9999\u201d\u7684\u8ba1\u7b97\u673a\u8815\u866b\u75c5\u6bd2\u611f\u67d3\u6570\u767e\u4e07\u53f0\u8ba1\u7b97\u673a
2007\u5e74 \u7535\u5546\u670d\u52a1\u4e1a\u786e\u5b9a\u4e3a\u56fd\u5bb6\u91cd\u8981\u65b0\u5174\u4ea7\u4e1a
2008\u5e74 \u4e2d\u56fd\u7f51\u6c11\u9996\u6b21\u8d85\u8fc7\u7f8e\u56fd
\u7b2c\u4e09\u6b21\u4e92\u8054\u7f51\u5927\u6d6a\u6f6e\uff082009\u5e74\u20142014\u5e74\uff09
PC\u4e92\u8054\u7f51\u5230\u79fb\u52a8\u4e92\u8054\u7f51
(\u5165\u53e3\u4ece\u641c\u7d22\u5230\u5404\u79cd\u5404\u6837app\u5206\u6d41)
2009\u5e74 SNS\u793e\u4ea4\u7f51\u7ad9\u6d3b\u8dc3,\u4eba\u4eba\u7f51\uff08\u6821\u5185\u7f51\uff09\u3001\u5f00\u5fc3\u7f51\u3001QQ\u3001\u7b49SNS\u5e73\u53f0\u4e3a\u4ee3\u8868
2010\u5e74\u56e2\u8d2d\u7f51\u7ad9\u5174\u8d77,\u6570\u91cf\u8d85\u8fc71700\u5bb6\uff0c\u56e2\u8d2d\u6210\u4e3a\u57ce\u5e02\u4e00\u65cf\u6700\u6f6e\u7684\u6d88\u8d39\u548c\u751f\u6d3b\u65b9\u5f0f\u3002
2011\u5e74\u5fae\u535a\u8fc5\u731b\u53d1\u5c55\u5bf9\u793e\u4f1a\u751f\u6d3b\u7684\u6e17\u900f\u65e5\u76ca\u6df1\u5165\uff0c\u653f\u52a1\u5fae\u535a\u3001\u4f01\u4e1a\u5fae\u535a\u7b49\u51fa\u73b0\u4e95\u55b7\u5f0f\u53d1\u5c55\u3002
2012\u5e74\u624b\u673a\u7f51\u6c11\u89c4\u6a21\u9996\u6b21\u8d85\u8fc7\u53f0\u5f0f&\u5fae\u4fe1\u670b\u53cb\u5708\u4e0a\u7ebf
2012\u5e743\u6708\u4eca\u65e5\u5934\u6761\u4e0a\u7ebf
2012\u5e74\u53cc11\u963f\u91cc\u5929\u732b\u4e0e\u6dd8\u5b9d\u7684\u603b\u9500\u552e\u989d\u8fbe\u5230191\u4ebf
\u88ab\u4e1a\u5185\u79f0\u4e3a\u53cc\u5341\u4e00\u7684\u7206\u53d1\u70b9\uff0c\u8fd9\u4e00\u5e74\u6dd8\u5b9d\u5546\u57ce\u6b63\u5f0f\u66f4\u540d\u4e3a\u5929\u732b\u30022012\u5e74\u53cc\u5341\u4e00\u5f53\u65e5\uff0c\u5929\u732b\u4e0e\u6dd8\u5b9d\u7684\u603b\u9500\u552e\u989d\u8fbe\u5230191\u4ebf\uff0c\u5176\u4e2d\u5929\u732b\u8fbe\u5230132\u4ebf\u6dd8\u5b9d\u4e5f\u670959\u4ebf\u3002
2013\u5e74\u4f59\u989d\u5b9d\u4e0a\u7ebf
2013\u5e74\u6dd8\u5b9d\u53cc\u5341\u4e00\u9500\u552e\u989d\uff1a350\u4ebf\u5143
2014\u5e74 \u6253\u8f66\u8f6f\u4ef6\u70e7\u94b1\u53d1\u7ea2\u5305,\u6ef4\u6ef4\u5feb\u7684\u5de8\u8d44\u7ea2\u5305\u62a2\u7528\u6237\uff0c\u201c\u4e92\u8054\u7f51+\u4ea4\u901a\u201d\u51fa\u884c.
2014\u5e74\u963f\u91cc\u4e0a\u5e02\u4e4b\u540e\u7684\u7b2c\u4e00\u4e2a\u53cc\u5341\u4e00\uff1a571\u4ebf\u5143
2015\u5e74 \u9996\u6b21\u63d0\u51fa\u201c\u4e92\u8054\u7f51+\u201d;
2015\u5e74\u963f\u91cc\u5df4\u5df4\u96c6\u56e2\u5ba3\u5e03\u5f53\u65e5\u53cc\u5341\u4e00\u9500\u552e\u989d\u8fbe\u5230\uff1a912\u4ebf\u5143
2016\u5e74\uff0c\u4e92\u8054\u7f51\u76f4\u64ad\u3001\u7f51\u7ea2\u7b49\u70ed\u8bcd\u201c\u98ce\u9761\u5168\u56fd\u201d, \u77ed\u89c6\u9891\u9020\u5c31\u7b2c\u4e00\u7f51\u7ea2papi\u9171\uff01
2017\u5e74\u81ea\u5a92\u4f53\u767e\u5bb6\u4e89\u9e23,\u4e92\u8054\u7f51BAT\u7b2c\u4e00\u68af\u961f,\u7b2c\u4e8c\u68af\u961f\u7b49\u7eb7\u7eb7\u7838\u91d1\u538b\u81ea\u5a92\u4f53\u5e73\u53f0,(\u767e\u5bb6\u53f7,\u641c\u72d0\u53f7,\u7f51\u6613\u53f7,\u5927yu\u53f7\u3001\u4eac\u4e1c\u53f7\u3001\u8fc5\u96f7\u53f7\u7b49)
2016\u5e74\u5929\u732b\u53cc\u5341\u4e00\u72c2\u6b22\u8282\u6210\u4ea4\u989d 1207\u4ebf\u5143 \u4eba\u6c11\u5e01
2016\u5e7412\u67083\u65e5\u77e5\u8bc6\u4ed8\u8d39\u6398\u8d77,
2016\u5e7412\u67083\u65e5\uff0c\u559c\u9a6c\u62c9\u96c5FM\u4e2d\u56fd\u7b2c\u4e00\u4e2a\u77e5\u8bc6\u5185\u5bb9\u72c2\u6b22\u8282\uff0c\u79f0\u4e3a\u201c123\u77e5\u8bc6\u72c2\u6b22\u8282\u201d,\u6d88\u8d39\u8d85\u8fc75000\u4e07.
2017\u5e74\u5fae\u4fe1\u63a8\u51fa\u770b\u4e00\u770b,\u641c\u4e00\u641c.
\u6269\u5c55\u8d44\u6599\uff1a
\u4e92\u8054\u7f51\u53d1\u5c55\u7684\u8d8b\u52bf\u548c\u7279\u70b9\uff1a
1\u3001\u624b\u673a\u4e0a\u7f51\u6bd4\u4f8b\u9996\u8d85\u4f20\u7edfPC\u4e0a\u7f51\u6bd4\u4f8b\uff0c\u79fb\u52a8\u4e92\u8054\u7f51\u5e26\u52a8\u6574\u4f53\u4e92\u8054\u7f51\u53d1\u5c55
2\u3001\u4e92\u8054\u7f51\u53d1\u5c55\u4ece\u201c\u5e7f\u201d\u5230\u201c\u6df1\u201d\uff0c\u7f51\u6c11\u751f\u6d3b\u5168\u9762\u201c\u4e92\u8054\u7f51\u5316\u201d
3\u3001\u652f\u4ed8\u7c7b\u5e94\u7528\u9886\u6da8\uff0c\u63a8\u52a8\u7535\u5546\u57fa\u56e0\u6e17\u900f\u66f4\u591a\u7ebf\u4e0b\u6d88\u8d39\u573a\u666f
4\u3001\u624b\u673a\u6e38\u620f\u5f02\u519b\u7a81\u8d77\uff0c\u5e26\u52a8\u6574\u4f53\u7f51\u7edc\u6e38\u620f\u4f7f\u7528\u7387\u9006\u8f6c\u589e\u957f
5\u3001\u4e92\u8054\u7f51\u7406\u8d22\u7528\u6237\u521d\u5177\u89c4\u6a21\uff0c\u7f51\u7edc\u91d1\u878d\u670d\u52a1\u521b\u65b0\u6f6e\u6d8c
6\u3001\u793e\u4ea4\u7f51\u7ad9\u4f7f\u7528\u7387\u6301\u7eed\u4e0b\u6ed1\uff0c\u793e\u4ea4\u5143\u7d20\u4e0e\u5176\u4ed6\u5e94\u7528\u7684\u878d\u5408\u5df2\u6210\u5e38\u6001
\u53c2\u8003\u8d44\u6599\uff1a
\u767e\u5ea6\u767e\u79d1-\u4e2d\u56fd\u4e92\u8054\u7f51
\u4e92\u8054\u7f51\u7684\u53d1\u5c55\u5927\u81f4\u5206\u4e3a\u4e09\u4e2a\u9636\u6bb5\uff1a
\u7b2c\u4e00\u9636\u6bb5\uff1a\u4ece\u5355\u4e2a\u7f51\u7edcAPPANET\u5411\u4e92\u8054\u7f51\u53d1\u5c55\uff1bTCP/IP\u534f\u8bae\u7684\u521d\u6b65\u6210\u578b\uff1b
1969\u5e74\u7f8e\u56fd\u56fd\u9632\u90e8\u521b\u5efa\u7684\u7b2c\u4e00\u4e2a\u5206\u7ec4\u4ea4\u6362\u7f51ARPANET\u6700\u521d\u53ea\u662f\u4e00\u4e2a\u5355\u4e2a\u7684\u5206\u7ec4\u4ea4\u6362\u7f51\uff08\u5e76\u4e0d\u662f\u4e00\u4e2a\u4e92\u8fde\u7684\u7f51\u7edc\uff09\u3002\u6240\u6709\u8981\u8fde\u63a5\u7684\u5728ARPANET\u4e0a\u7684\u4e3b\u673a\u90fd\u76f4\u63a5\u4e0e\u5c31\u8fd1\u7684\u7ed3\u70b9\u4ea4\u6362\u673a\u76f8\u8fde\u3002
\u4e3a\u4e86\u6253\u7834\u8fd9\u4e2a\u95ee\u9898\uff0c\u4e8e\u662fARPA\u5f00\u59cb\u7814\u7a76\u591a\u79cd\u7f51\u7edc\uff08\u5982\u5206\u7ec4\u65e0\u7ebf\u7535\u7f51\u7edc\uff09\u4e92\u8fde\u7684\u6280\u672f\uff0c\u8fd9\u5c31\u5bfc\u81f4\u540e\u6765\u4e92\u8054\u7f51\u7684\u51fa\u73b0\uff0c\u6210\u4e3a\u4e86\u73b0\u5728\u56e0\u7279\u7f51\u7684\u96cf\u5f62\u3002
1983\u5e74TCP/IP\u534f\u8bae\u6210\u4e3aARPANET\u4e0a\u7684\u6807\u51c6\u534f\u8bae\uff0c\u4f7f\u5f97\u6240\u6709\u4f7f\u7528TCP/IP\u534f\u8bae\u7684\u8ba1\u7b97\u673a\u90fd\u80fd\u5229\u7528\u4e92\u8054\u7f51\u8fdb\u884c\u901a\u4fe1\uff0c\u56e0\u800c\u4eba\u4eec\u5c061983\u5e74\u4f5c\u4e3a\u56e0\u7279\u7f51\u7684\u8bde\u751f\u4e4b\u95f4\u3002
1990\u5e74ARPANET\u6b63\u5f0f\u5ba3\u5e03\u7ed3\u675f\uff0c\u56e0\u4e3a\u5b83\u7684\u5b9e\u9a8c\u4efb\u52a1\u5df2\u7ecf\u5b8c\u6210\u3002
\u7b2c\u4e8c\u9636\u6bb5\uff1a\u5efa\u6210\u4e09\u7ea7\u7ed3\u6784\u7684Internet\uff1b\u5206\u4e3a\u4e3b\u5e72\u7f51\u3001\u5730\u533a\u7f51\u548c\u6821\u56ed\u7f51\uff1b
\u4e4b\u540e\u7f8e\u56fd\u653f\u5e9c\u673a\u6784\u8ba4\u8bc6\u5230\uff0c\u56e0\u7279\u7f51\u5fc5\u5c06\u6269\u5927\u5176\u4f7f\u7528\u8303\u56f4\uff0c\u4e0d\u5e94\u5c40\u9650\u4e8e\u5927\u5b66\u548c\u7814\u7a76\u673a\u6784\uff0c\u4e4b\u540e\u968f\u7740\u4e16\u754c\u4e0a\u7684\u8bb8\u591a\u516c\u53f8\u7eb7\u7eb7\u63a5\u5165\u5230\u56e0\u7279\u7f51\uff0c\u662f\u7f51\u7edc\u4e0a\u7684\u901a\u4fe1\u91cf\u6025\u5267\u589e\u5927\u3002
\u4e8e\u662f\u7f8e\u56fd\u653f\u5e9c\u51b3\u5b9a\u5c06\u56e0\u7279\u7f51\u7684\u4e3b\u5e72\u7f51\u8f6c\u4ea4\u7ed9\u79c1\u4eba\u516c\u53f8\u6765\u7ecf\u8425\u3002
\u7b2c\u4e09\u9636\u6bb5\uff1a\u5f62\u6210\u591a\u5c42\u6b21ISP\u7ed3\u6784\u7684Internet\uff1bISP\u9996\u6b21\u51fa\u73b0\u3002
\u4ece1993\u5e74\u5f00\u59cb\uff0c\u7531\u7f8e\u56fd\u653f\u5e9c\u8d44\u52a9\u7684NSFNET\u9010\u6e10\u88ab\u82e5\u5e72\u4e2a\u5546\u7528\u7684\u56e0\u7279\u7f51\u4e3b\u5e72\u7f51\u66ff\u4ee3\u3002
\u5c31\u8fd9\u4e00\u51fa\u73b0\u4e86\u4e00\u4e2a\u65b0\u7684\u540d\u8bcd\uff1a\u56e0\u7279\u7f51\u670d\u52a1\u63d0\u4f9b\u8005\uff0c\u7b80\u79f0ISP\uff08Internet Service Provider\uff09\u3002
ISP\u53ef\u4ee5\u4ece\u56e0\u7279\u7f51\u7ba1\u7406\u673a\u6784\u7533\u8bf7\u5f97\u5230\u591a\u4e2aIP\u5730\u5740\uff0c\u540c\u65f6\u62e5\u6709\u901a\u4fe1\u7ebf\u8def\u53ca\u8def\u7531\u5668\u7b49\u8054\u7f51\u8bbe\u5907\u3002\u7528\u6237\u53ea\u9700\u8981\u5411ISP\u4ea4\u7eb3\u89c4\u5b9a\u8d39\u7528\uff0c\u5c31\u53ef\u4ee5\u4eceISP\u5f97\u5230\u6240\u9700\u7684IP\u5730\u5740\uff0c\u5e76\u901a\u8fc7\u8be5ISP\u63a5\u5165\u5230\u56e0\u7279\u7f51\u3002
\u6269\u5c55\u8d44\u6599
\u73b0\u5728\uff0c\u5f88\u591a\u4eba\u90fd\u77e5\u9053\u4e92\u8054\u7f51\u7684\u7279\u70b9\uff1a\u5e73\u7b49\u3001\u81ea\u7531\u3002
\u4f46\u7f8e\u56fd\u4e00\u76f4\u4ee5\u6765\u90fd\u53cd\u5bf9\u4e2d\u56fd\u52a0\u5165\u4e92\u8054\u7f51\u7edc\u30021991\u5e7410\u6708\u7684\u4e2d\u7f8e\u9ad8\u80fd\u7269\u7406\u7814\u7a76\u4f1a\u4e0a\uff0c\u7f8e\u65b9\u53d1\u8a00\u4eba\u6c83\u5c14\u7279.\u6258\u57fa(Walter Toki)\u518d\u6b21\u63d0\u51fa\u628a\u4e2d\u56fd\u7eb3\u5165\u4e92\u8054\u7f51\u7edc\u3002
\u7ecf\u8fc7\u6258\u6c0f\u7684\u52aa\u529b\uff0c\u4f1a\u540e\u53cc\u65b9\u8fbe\u6210\u4e00\u9879\u534f\u8bae\uff1a\u7f8e\u65b9\u8d44\u52a9\u4e2d\u56fd\u8054\u7f51\u6240\u9700\u7684\u4e00\u534a\u7ecf\u8d39\uff0c\u53e6\u4e00\u534a\u7531\u9ad8\u80fd\u6240\u81ea\u9009\u89e3\u51b3\u3002\u7136\u800c\uff0c\u901a\u5f80Internet\u8346\u68d8\u4e4b\u8def\u5e76\u672a\u56e0\u6b64\u800c\u53d8\u5f97\u5e73\u5766\u3002
\u5f53\u65f6\u5317\u4eac\u51fa\u53e3\u6240\u8fde\u63a5\u7684\u6bcf\u6761\u7ebf\u8def\u90fd\u8981\u7ecf\u8fc7\u4ed4\u7ec6\u5730\u68c0\u67e5\u3002\u7f8e\u56fd\u8fd8\u9650\u5236\u5bf9\u4e2d\u56fd\u51fa\u4e2d\u8def\u7531\u5668\u3002
\u7ecf\u8fc7\u91cd\u91cd\u6ce2\u6298\uff0c\u4e2d\u56fd\u7ec8\u4e8e\u57281993\u5e743\u6708\u4e0e\u4e92\u8054\u7f51\u7edc\u8fde\u901a\u3002
\u53c2\u8003\u8d44\u6599\uff1a \u767e\u5ea6\u767e\u79d1\uff0d\u8ba1\u7b97\u673a\u7f51\u7edc
大数据技术发展史：大数据的前世今生
今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。
你知道，搜索引擎主要就做两件事情，一个是网页抓取，一个是索引构建，而在这个过程中，有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的，你从介绍中也能看出来，一个文件系统、一个计算框架、一个数据库系统。
现在你听到分布式、大数据之类的词，肯定一点儿也不陌生。但你要知道，在2004年那会儿，整个互联网还处于懵懂时代，Google发布的论文实在是让业界为之一振，大家恍然大悟，原来还可以这么玩。
因为那个时间段，大多数公司的关注点其实还是聚焦在单机上，在思考如何提升单机的性能，寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群，通过分布式的方式将海量数据存储在这个集群上，然后利用集群上的所有机器进行数据计算。 这样，Google其实不需要买很多很贵的服务器，它只要把这些普通的机器组织到一起，就非常厉害了。
当时的天才程序员，也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch，阅读了Google的论文后，他非常兴奋，紧接着就根据论文原理初步实现了类似GFS和MapReduce的功能。
两年后的2006年，Doug Cutting将这些大数据相关的功能从Nutch中分离了出来，然后启动了一个独立的项目专门开发维护大数据技术，这就是后来赫赫有名的Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。
当我们回顾软件开发的历史，包括我们自己开发的软件，你会发现，有的软件在开发出来以后无人问津或者寥寥数人使用，这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业，每年创造数百亿美元的价值，创造百万计的就业岗位，这些软件曾经是Windows、Linux、Java，而现在这个名单要加上Hadoop的名字。
如果有时间，你可以简单浏览下Hadoop的代码，这个纯用Java编写的软件其实并没有什么高深的技术难点，使用的也都是一些最基础的编程技巧，也没有什么出奇之处，但是它却给社会带来巨大的影响，甚至带动一场深刻的科技革命，推动了人工智能的发展与进步。
我觉得，我们在做软件开发的时候，也可以多思考一下，我们所开发软件的价值点在哪里？真正需要使用软件实现价值的地方在哪里？你应该关注业务、理解业务，有价值导向，用自己的技术为公司创造真正的价值，进而实现自己的人生价值。而不是整天埋头在需求说明文档里，做一个没有思考的代码机器人。
Hadoop发布之后，Yahoo很快就用了起来。大概又过了一年到了2007年，百度和阿里巴巴也开始使用Hadoop进行大数据存储与计算。
2008年，Hadoop正式成为Apache的顶级项目，后来Doug Cutting本人也成为了Apache基金会的主席。自此，Hadoop作为软件开发领域的一颗明星冉冉升起。
同年，专门运营Hadoop的商业公司Cloudera成立，Hadoop得到进一步的商业支持。
这个时候，Yahoo的一些人觉得用MapReduce进行大数据编程太麻烦了，于是便开发了Pig。Pig是一种脚本语言，使用类SQL的语法，开发者可以用Pig脚本描述要对大数据集上进行的操作，Pig经过编译后会生成MapReduce程序，然后在Hadoop上运行。
编写Pig脚本虽然比直接MapReduce编程容易，但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算，比如说你可以写个Select语句进行数据查询，然后Hive会把SQL语句转化成MapReduce的计算程序。
这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度，迅速得到开发者和企业的追捧。据说，2011年的时候，Facebook大数据平台上运行的作业90%都来源于Hive。
随后，众多Hadoop周边产品开始出现，大数据生态体系逐渐形成，其中包括：专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop；针对大规模日志进行分布式收集、聚合和传输的Flume；MapReduce工作流调度引擎Oozie等。
在Hadoop早期，MapReduce既是一个执行引擎，又是一个资源调度框架，服务器集群的资源调度管理由MapReduce自己完成。但是这样不利于资源复用，也使得MapReduce非常臃肿。于是一个新项目启动了，将MapReduce执行引擎和资源调度分离开来，这就是Yarn。2012年，Yarn成为一个独立的项目开始运营，随后被各类大数据产品支持，成为大数据平台上最主流的资源调度系统。
同样是在2012年，UC伯克利AMP实验室（Algorithms、Machine和People的缩写）开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapReduce进行机器学习计算的时候性能非常差，因为机器学习算法通常需要进行很多次的迭代计算，而MapReduce每执行一次Map和Reduce计算都需要重新启动一次作业，带来大量的无谓消耗。还有一点就是MapReduce主要使用磁盘作为存储介质，而2012年的时候，内存已经突破容量和成本限制，成为数据运行过程中主要的存储介质。Spark一经推出，立即受到业界的追捧，并逐步替代MapReduce在企业应用中的地位。
一般说来，像MapReduce、Spark这类计算框架处理的业务场景都被称作批处理计算，因为它们通常针对以“天”为单位产生的数据进行一次计算，然后得到需要的结果，这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据，而是历史数据，所以这类计算也被称为大数据离线计算。
而在大数据领域，还有另外一类应用场景，它们需要对实时产生的大量数据进行即时计算，比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算，相应地，有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据，所以这类计算也被称为大数据实时计算。
在典型的大数据的业务场景下，数据业务最通用的做法是，采用批处理的技术处理历史全量数据，采用流式计算处理实时新增数据。而像Flink这样的计算引擎，可以同时支持流式计算和批处理计算。
除了大数据批处理和流处理，NoSQL系统处理的主要也是大规模海量数据的存储与访问，所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆，涌现出HBase、Cassandra等许多优秀的产品，其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。
我们回顾软件发展的历史会发现，差不多类似功能的软件，它们出现的时间都非常接近，比如Linux和Windows都是在90年代初出现，Java开发中的各类MVC框架也基本都是同期出现，Android和iOS也是前脚后脚问世。2011年前后，各种NoSQL数据库也是层出不群，我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。
事物发展有自己的潮流和规律，当你身处潮流之中的时候，要紧紧抓住潮流的机会，想办法脱颖而出，即使没有成功，也会更加洞悉时代的脉搏，收获珍贵的知识和经验。而如果潮流已经退去，这个时候再去往这个方向上努力，只会收获迷茫与压抑，对时代、对自己都没有什么帮助。
但是时代的浪潮犹如海滩上的浪花，总是一浪接着一浪，只要你站在海边，身处这个行业之中，下一个浪潮很快又会到来。你需要敏感而又深刻地去观察，略去那些浮躁的泡沫，抓住真正潮流的机会，奋力一搏，不管成败，都不会遗憾。
正所谓在历史前进的逻辑中前进，在时代发展的潮流中发展。通俗的说，就是要在风口中飞翔。
上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成；数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等，内置了主要的机器学习和数据挖掘算法。
此外，大数据要存入分布式文件系统（HDFS），要有序调度MapReduce和Spark作业执行，并能把执行结果写入到各个应用系统的数据库中，还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。
图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系，我将会在专栏后面逐个分析，帮你能够对大数据技术原理和应用算法构建起完整的知识体系，进可以专职从事大数据开发，退可以在自己的应用开发中更好地和大数据集成，掌控自己的项目。
希望对您有所帮助！~
第一阶段，运营式系统阶段。在上世纪七八十年代，用户购物时产生的记录一条条输入数据库，当时都是由这些运营系统生成这些数据的。
第二阶段，由用户原创内容阶段。2002年的时候，开始有了博客，后来发展成微博，到后来出现的微信，这些让每个网民都成了自媒体，都可以自己随心所欲地向网络发布相关的信息，这个时候数据产生的速度要远远大于之前的仅仅由运营系统产生的数据。
第三阶段，感知式系统阶段。真正让大数据时代由量变到质变是因为数据产生的方式到了第三个阶段——感知式系统阶段。
感知式系统阶段也就是物联网的大规模普及，物联网的迅速发展让大数据时代最终到来。
大数据是互联网发展到一定阶段的必然产物：
由于互联网在资源整合方面的能力在不断增强，互联网本身必须通过数据来体现出自身的价值，所以从这个角度来看，大数据正在充当互联网价值的体现者。
随着更多的社会资源进行网络化和数据化改造，大数据所能承载的价值也必将不断提到提高，大数据的应用边界也会不断得到拓展，所以在未来的网络化时代，大数据自身不仅能够代表价值，大数据自身更是能够创造价值。
可按照时间点划分大数据的发展历程。
互联网时代的来临，简易的说是海量信息同极致数学计算融合的结果。除此以外是移动互联、物联网技术造成了大量的数据信息，互联网大数据建筑科学极致地解决了海量信息的搜集、储存、测算、剖析的难题。互联网时代打开人类社会运用数据价值的另一个时期。
互联网大数据（BigData）又称之为大量材料，便是数据信息大、数据来源宽阔（系统日志、视频、声频），大到PB级别，目前的架构便是以便处理
PB级别的数据信息；到目前为止，人们生产制造的全部印刷耗材的信息量也但是200PB；阿里巴巴、京东商城、苏宁易购基础都沉定了PB级别；等于一家BAT企业（百度搜索、阿里巴巴、腾迅）顶过去全部人们时期生产制造的包装印刷材料
互联网大数据便是解决海量信息的，工作中便是储存,清理,查寻,导出来,必须SQL句子和编程工具脚本制作适用
互联网大数据一般用于描述一个企业造就的很多非结构型和半非结构化数据，这种数据信息在免费下载到关联型数据库查询用以剖析时候花销过多时间和钱财。数据分析常和云计算技术联络到一起，由于即时的大中型数据剖析必须像MapReduce一样的架构来向数十、百余或乃至千余的电脑上分派工作中。
依据《大数据时代》中常说，互联网大数据并不是一个准确的定义，大量的是一种将会的方法。“互联网大数据是大家在规模性数据信息的基本上能够保证的事儿，而这种事儿在小规模纳税人数据信息的基本上是没法进行的。互联网大数据是大家得到 新的认知能力、造就新的使用价值的原动力，互联网大数据还为更改销售市场
“互联网大数据即一种新式的工作能力：以一种史无前例的方法，根据对海量信息开展剖析，得到 有极大使用价值的商品和服务项目，或刻骨铭心的洞悉。
绛旓細澶ф暟鎹殑鍙戝睍鍘嗙▼鍙垎涓轰笁涓樁娈碉細钀岃娊闃舵銆佹垚鐔熼樁娈靛拰澶ц妯″簲鐢ㄩ樁娈銆傚湪钀岃娊闃舵锛屽ぇ鏁版嵁鐨勬蹇靛紑濮嬭鎻愬嚭骞跺彈鍒板叧娉ㄣ傝繖涓鏃舵湡锛岄殢鐫浜掕仈缃戠殑鏅強鍜屼俊鎭妧鏈殑鍙戝睍锛屾暟鎹噺鍛堢幇鐖嗙偢鎬у闀匡紝浼犵粺鐨勬暟鎹鐞嗘柟娉曞凡鏃犳硶婊¤冻闇姹傘備汉浠紑濮嬫剰璇嗗埌澶ф暟鎹殑娼滃湪浠峰硷紝骞舵帰绱㈡柊鐨勬暟鎹鐞嗗拰鍒嗘瀽鎶鏈備緥濡傦紝璋锋瓕鍦...
绛旓細1銆佸ぇ鏁版嵁鍙戝睍缁忓巻涓変釜闃舵锛氱涓锛氬ぇ鏁版嵁鎶鏈彂灞曠殑鍒濇湡銆傝櫧鐒跺ぇ鏁版嵁姒傚康宸茬粡琚彁鍑哄骞达紝浣嗘槸鐩墠澶ф暟鎹妧鏈緷鐒跺鍦ㄨ涓氬彂灞曠殑鍒濇湡銆傚綋鍓嶅ぇ鏁版嵁鎶鏈湰韬凡缁忚秼浜庢垚鐔燂紝浣嗘槸澶ф暟鎹妧鏈殑钀藉湴搴旂敤鍗村垰鍒氬紑濮嬶紝澶ф暟鎹惤鍦板簲鐢ㄧ殑杩囩▼涓繀鐒朵細閲婃斁鍑哄ぇ閲忕殑宸ヤ綔宀椾綅鍜屽競鍦虹┖闂达紝杩欎釜杩囩▼灏嗕娇寰楀ぇ鏁版嵁鎴愪负甯傚満鐨勭儹鐐癸紝浜烘墠...
绛旓細澶ф暟鎹殑鍙戝睍鍘嗙▼鍙互鍒掑垎涓轰笁涓樁娈碉細鏁版嵁鏀堕泦涓庡瓨鍌ㄩ樁娈点佹暟鎹鐞嗕笌鍒嗘瀽闃舵銆佹暟鎹簲鐢ㄤ笌鏅鸿兘鍖栭樁娈銆傚湪鏁版嵁鏀堕泦涓庡瓨鍌ㄩ樁娈碉紝澶ф暟鎹殑璧风偣鏄捣閲忕殑鏁版嵁姹囪仛銆傞殢鐫浜掕仈缃戙佺墿鑱旂綉绛夋妧鏈殑蹇熷彂灞曪紝浜轰滑鑳藉鑾峰彇鐨勬暟鎹被鍨嬪拰鏁伴噺杩呴熷闀裤備緥濡傦紝绀句氦濯掍綋涓婄殑鐢ㄦ埛鍙戣█銆佺數鍟嗗钩鍙扮殑浜ゆ槗璁板綍銆佹櫤鑳借澶囩殑浼犳劅鍣ㄦ暟...
绛旓細澶ф暟鎹鎶鏈殑鍙戝睍鍘嗙▼涓庢湭鏉ュ彂灞曡秼鍔匡細浠庢枃鏄庝箣鍒濈殑鈥滅粨缁宠浜嬧濓紝鍒版枃瀛楀彂鏄庡悗鐨勨滄枃浠ヨ浇閬撯濓紝鍐嶅埌杩戠幇浠ｇ瀛︾殑鈥滄暟鎹缓妯♀濓紝鏁版嵁涓鐩翠即闅忕潃浜虹被绀句細鐨勫彂灞曞彉杩侊紝鎵胯浇浜嗕汉绫诲熀浜庢暟鎹拰淇℃伅璁よ瘑涓栫晫鐨勫姫鍔涘拰鍙栧緱鐨勫法澶ц繘姝ャ傜劧鑰岋紝鐩村埌浠ョ數瀛愯绠楁満涓轰唬琛ㄧ殑鐜颁唬淇℃伅鎶鏈嚭鐜板悗锛屼负鏁版嵁澶勭悊鎻愪緵浜嗚嚜鍔ㄧ殑鏂规硶鍜...
绛旓細澶ф暟鎹彂灞曞巻绋嬶細1銆佷笂涓栫邯鏈紝鏄ぇ鏁版嵁鐨勮悓鑺芥湡锛屽浜庢暟鎹寲鎺樻妧鏈樁娈銆傞殢鐫鏁版嵁鎸栨帢鐞嗚鍜屾暟鎹簱鎶鏈殑鎴愮啛锛屼竴浜涘晢涓氭櫤鑳藉伐鍏峰拰鐭ヨ瘑绠＄悊鎶鏈紑濮嬭搴旂敤銆2銆2003骞-2006骞存槸澶ф暟鎹彂灞曠殑绐佺牬鏈燂紝绀句氦缃戠粶鐨勬祦琛屽鑷村ぇ閲忛潪缁撴瀯鍖栨暟鎹嚭鐜帮紝浼犵粺澶勭悊鏂规硶闅句互搴斿锛屾暟鎹鐞嗙郴缁熴佹暟鎹簱鏋舵瀯寮濮嬮噸鏂版濊冦3銆...
绛旓細澶ф暟鎹鐨鍙戝睍鍘嗙▼鍙互杩芥函鍒20涓栫邯90骞翠唬锛屽綋鏃堕殢鐫浜掕仈缃鍜岀數瀛愬晢鍔＄殑鍏磋捣锛屾暟鎹噺寮濮嬭繀閫熷闀裤傝繘鍏21涓栫邯鍚庯紝绀句氦缃戠粶鍜岀Щ鍔ㄨ澶囩殑鏅強浣垮緱鏁版嵁閲忓憟鎸囨暟绾у闀裤備笌姝ゅ悓鏃讹紝鎶鏈殑杩涙涔熸帹鍔ㄤ簡澶ф暟鎹鍩熺殑鍙戝睍銆備緥濡傦紝Hadoop绛夊垎甯冨紡瀛樺偍鍜岃绠楁妧鏈殑鍑虹幇浣垮緱澶勭悊澶ф暟鎹垚涓哄彲鑳姐傝繎骞存潵锛屼汉宸ユ櫤鑳藉拰鏈哄櫒瀛︿範...
绛旓細澶ф暟鎹椂浠ｅ彂灞鐨勫叿浣鍘嗙▼濡備笅: 2005骞碒adoop椤圭洰璇炵敓銆 Hadoop鍏舵渶鍒濆彧鏄泤铏庡叕鍙哥敤鏉ヨВ鍐崇綉椤垫悳绱㈤棶棰樼殑涓涓」鐩,鍚庢潵鍥犲叾鎶鏈殑楂樻晥鎬,琚獳pache Software Foundation鍏徃寮曞叆骞舵垚涓哄紑婧愬簲鐢ㄣ Hadoop鏈韩涓嶆槸涓涓骇鍝,鑰屾槸鐢卞涓蒋浠朵骇鍝佺粍鎴愮殑涓涓敓鎬佺郴缁,杩欎簺杞欢浜у搧鍏卞悓瀹炵幇鍏ㄩ潰鍔熻兘鍜岀伒娲荤殑澶ф暟鎹垎鏋愩備粠鎶鏈笂鐪,...
绛旓細鍦鍙戝睍鍘嗙▼鏂归潰锛澶ф暟鎹鐨勬蹇佃捣婧愪簬20涓栫邯90骞翠唬锛屼即闅忕潃浜掕仈缃鍜岀數瀛愬晢鍔＄殑鍏磋捣锛屾暟鎹噺鎬ュ墽澧炲姞銆傝繘鍏21涓栫邯鍚庯紝鐗瑰埆鏄ぞ浜ょ綉缁滃拰绉诲姩璁惧鐨勬櫘鍙婏紝鏁版嵁閲忓憟鐜扮垎鐐告у闀裤傛妧鏈殑杩涙锛屼緥濡侶adoop绛夊垎甯冨紡瀛樺偍鍜岃绠楁妧鏈殑鍙戝睍锛屼负澶ф暟鎹殑澶勭悊鎻愪緵浜嗗彲鑳姐傝繎骞存潵锛屼汉宸ユ櫤鑳藉拰鏈哄櫒瀛︿範鎶鏈殑鍏磋捣锛屽張涓哄ぇ鏁版嵁鐨...
绛旓細1. 鍙戝睍鍘嗙▼锛氳繃鍘诲崄骞达紝鎴戝浗澶ф暟鎹浜т笟瀹炵幇浜嗗揩閫熷闀匡紝淇℃伅鏅鸿兘鍖栨按骞虫樉钁楁彁楂樸傝嚜2011骞磋捣锛屽伐淇￠儴宸插皢淇℃伅澶勭悊鎶鏈垪涓哄叧閿妧鏈垱鏂板伐绋嬩箣涓锛岃繖涓哄ぇ鏁版嵁浜т笟鐨勫彂灞曞瀹氫簡鏀跨瓥鍩虹銆2014骞达紝鈥滃ぇ鏁版嵁鈥濋娆¤绾冲叆鎴戝浗鏀垮簻宸ヤ綔鎶ュ憡锛屾爣蹇楃潃澶ф暟鎹骇涓氫笂鍗囦负鍥藉鎴樼暐銆傞殢鍚庯紝鍥藉澶ф暟鎹患鍚堣瘯楠屽尯閫愭寤虹珛锛岀浉鍏...
绛旓細鏁版嵁閲囬泦闃舵锛氬湪杩欎竴闃舵锛屼紒涓氬紑濮嬭璇嗗埌鏁版嵁鐨勯噸瑕佹э紝骞剁潃鎵嬫悳闆嗗悇绫绘暟鎹互澶囧悗缁垎鏋愪箣鐢ㄣ傜敱浜庡綋鏃舵暟鎹噺鐩稿杈冨皬锛屽鐞嗚捣鏉ヨ緝涓虹畝鍗曪紝鍥犳杩欎竴闃舵鐨勬妧鏈姹傚苟涓嶉珮銆傛暟鎹瓨鍌ㄤ笌澶勭悊闃舵锛氶殢鐫鏁版嵁閲忕殑涓嶆柇澧炲姞锛屼紒涓氶潰涓寸潃鏋勫缓澶ц妯℃暟鎹鐞嗗拰瀛樺偍鍩虹璁炬柦鐨勬寫鎴樸傝繖涓樁娈电殑鍏抽敭闂鏄浣曢珮鏁堝湴...
