入门大数据需要学什么? 大数据都需要学什么？
\u5165\u95e8\u5927\u6570\u636e\u9700\u8981\u5b66\u4e60\u4ec0\u4e48\u5185\u5bb9?\u5206\u4eab\u5927\u6570\u636e\u5b66\u4e60\u8def\u7ebf\uff1a\u7b2c\u4e00\u9636\u6bb5\u4e3aJAVASE+MYSQL+JDBC\u4e3b\u8981\u5b66\u4e60\u4e00\u4e9bJava\u8bed\u8a00\u7684\u6982\u5ff5\uff0c\u5982\u5b57\u7b26\u3001bai\u6d41\u7a0b\u63a7\u5236\u3001\u9762\u5411\u5bf9\u8c61\u3001\u8fdb\u7a0b\u7ebf\u7a0b\u3001\u679a\u4e3e\u53cd\u5c04\u7b49\uff0c\u5b66\u4e60MySQL\u6570\u636e\u5e93\u7684\u5b89\u88c5\u5378\u8f7d\u53ca\u76f8\u5173\u64cd\u4f5c\uff0c\u5b66\u4e60JDBC\u7684\u5b9e\u73b0\u539f\u7406\u4ee5\u53caLinux\u57fa\u7840\u77e5\u8bc6\uff0c\u662f\u5927\u6570\u636e\u521a\u5165\u95e8\u9636\u6bb5\u3002
\u7b2c\u4e8c\u9636\u6bb5\u4e3a\u5206\u5e03\u5f0f\u7406\u8bba\u7b80\u4ecb\u4e3b\u8981\u8bb2\u89e3CAP\u7406\u8bba\u3001\u6570\u636e\u5206\u5e03\u65b9\u5f0f\u3001\u4e00\u81f4\u6027\u30012PC\u548c3PC\u3001\u5927\u6570\u636e\u96c6\u6210\u67b6\u6784\u3002\u6d89\u53ca\u7684\u77e5\u8bc6\u70b9\u6709Consistency\u4e00\u81f4\u6027\u3001Availability\u53ef\u7528\u6027\u3001Partitiontolerance\u5206\u533a\u5bb9\u5fcd\u6027\u3001\u6570\u636e\u91cf\u5206\u5e03\u30012PC\u6d41\u7a0b\u30013PC\u6d41\u7a0b\u3001\u54c8\u5e0c\u65b9\u5f0f\u3001\u4e00\u81f4\u6027\u54c8\u5e0c\u7b49\u3002
\u7b2c\u4e09\u9636\u6bb5\u4e3a\u6570\u636e\u5b58\u50a8\u4e0e\u8ba1\u7b97\uff08\u79bb\u7ebf\u573a\u666f\uff09\u4e3b\u8981\u8bb2\u89e3\u534f\u8c03\u670d\u52a1ZK(1T)\u3001\u6570\u636e\u5b58\u50a8hdfs(2T)\u3001\u6570\u636e\u5b58\u50a8alluxio(1T)\u3001\u6570\u636e\u91c7\u96c6flume\u3001\u6570\u636e\u91c7\u96c6logstash\u3001\u6570\u636e\u540c\u6b65Sqoop(0.5T)\u3001\u6570\u636e\u540c\u6b65datax(0.5T)\u3001\u6570\u636e\u540c\u6b65mysql-binlog(1T)\u3001\u8ba1\u7b97\u6a21\u578bMR\u4e0eDAG(1T)\u3001hive(5T)\u3001Impala(1T)\u3001\u4efb\u52a1\u8c03\u5ea6Azkaban\u3001\u4efb\u52a1\u8c03\u5ea6airflow\u7b49\u3002
\u7b2c\u56db\u90e8\u5206\u4e3a\u6570\u4ed3\u5efa\u8bbe\u4e3b\u8981\u8bb2\u89e3\u6570\u4ed3\u4ed3\u5e93\u7684\u5386\u53f2\u80cc\u666f\u3001\u79bb\u7ebf\u6570\u4ed3\u9879\u76ee-\u4f34\u6211\u6c7d\u8f66\uff085T\uff09\u67b6\u6784\u6280\u672f\u89e3\u6790\u3001\u591a\u7ef4\u6570\u636e\u6a21\u578b\u5904\u7406kylin\uff083.5T\uff09\u90e8\u7f72\u5b89\u88c5\u3001\u79bb\u7ebf\u6570\u4ed3\u9879\u76ee-\u4f34\u6211\u6c7d\u8f66\u5347\u7ea7\u540e\u52a0\u5165kylin\u8fdb\u884c\u591a\u7ef4\u5206\u6790\u7b49\uff1b
\u7b2c\u4e94\u9636\u6bb5\u4e3a\u5206\u5e03\u5f0f\u8ba1\u7b97\u5f15\u64ce\u4e3b\u8981\u8bb2\u89e3\u8ba1\u7b97\u5f15\u64ce\u3001scala\u8bed\u8a00\u3001spark\u3001\u6570\u636e\u5b58\u50a8hbase\u3001redis\u3001kudu\uff0c\u5e76\u901a\u8fc7\u67d0p2p\u5e73\u53f0\u9879\u76ee\u5b9e\u73b0spark\u591a\u6570\u636e\u6e90\u8bfb\u5199\u3002
\u7b2c\u516d\u9636\u6bb5\u4e3a\u6570\u636e\u5b58\u50a8\u4e0e\u8ba1\u7b97\uff08\u5b9e\u65f6\u573a\u666f\uff09\u4e3b\u8981\u8bb2\u89e3\u6570\u636e\u901a\u9053Kafka\u3001\u5b9e\u65f6\u6570\u4ed3druid\u3001\u6d41\u5f0f\u6570\u636e\u5904\u7406flink\u3001SparkStreaming\uff0c\u5e76\u901a\u8fc7\u8bb2\u89e3\u67d0\u4ea4\u901a\u5927\u6570\u8ba9\u4f60\u53ef\u4ee5\u5c06\u77e5\u8bc6\u70b9\u878d\u4f1a\u8d2f\u901a\u3002
\u7b2c\u4e03\u9636\u6bb5\u4e3a\u6570\u636e\u641c\u7d22\u4e3b\u8981\u8bb2\u89e3elasticsearch\uff0c\u5305\u62ec\u5168\u6587\u641c\u7d22\u6280\u672f\u3001ES\u5b89\u88c5\u64cd\u4f5c\u3001index\u3001\u521b\u5efa\u7d22\u5f15\u3001\u589e\u5220\u6539\u67e5\u3001\u7d22\u5f15\u3001\u6620\u5c04\u3001\u8fc7\u6ee4\u7b49\u3002
\u7b2c\u516b\u9636\u6bb5\u4e3a\u6570\u636e\u6cbb\u7406\u4e3b\u8981\u8bb2\u89e3\u6570\u636e\u6807\u51c6\u3001\u6570\u636e\u5206\u7c7b\u3001\u6570\u636e\u5efa\u6a21\u3001\u56fe\u5b58\u50a8\u4e0e\u67e5\u8be2\u3001\u5143\u6570\u636e\u3001\u8840\u7f18\u4e0e\u6570\u636e\u8d28\u91cf\u3001Hive Hook\u3001Spark Listener\u7b49\u3002
\u7b2c\u4e5d\u9636\u6bb5\u4e3aBI\u7cfb\u7edf\u4e3b\u8981\u8bb2\u89e3Superset\u3001Graphna\u4e24\u5927\u6280\u672f\uff0c\u5305\u62ec\u57fa\u672c\u7b80\u4ecb\u3001\u5b89\u88c5\u3001\u6570\u636e\u6e90\u521b\u5efa\u3001\u8868\u64cd\u4f5c\u4ee5\u53ca\u6570\u636e\u63a2\u7d22\u5206\u6790\u3002
\u7b2c\u5341\u9636\u6bb5\u4e3a\u6570\u636e\u6316\u6398\u4e3b\u8981\u8bb2\u89e3\u673a\u5668\u5b66\u4e60\u4e2d\u7684\u6570\u5b66\u4f53\u7cfb\u3001Spark Mlib\u673a\u5668\u5b66\u4e60\u7b97\u6cd5\u5e93\u3001Python scikit-learn\u673a\u5668\u5b66\u4e60\u7b97\u6cd5\u5e93\u3001\u673a\u5668\u5b66\u4e60\u7ed3\u5408\u5927\u6570\u636e\u9879\u76ee\u3002
\u5bf9\u5927\u6570\u636e\u5206\u6790\u6709\u5174\u8da3\u7684\u5c0f\u4f19\u4f34\u4eec\uff0c\u4e0d\u59a8\u5148\u4ece\u770b\u770b\u5927\u6570\u636e\u5206\u6790\u4e66\u7c4d\u5f00\u59cb\u5165\u95e8\uff01B\u7ad9\u4e0a\u6709\u5f88\u591a\u7684\u5927\u6570\u636e\u6559\u5b66\u89c6\u9891\uff0c\u4ece\u57fa\u7840\u5230\u9ad8\u7ea7\u7684\u90fd\u6709\uff0c\u8fd8\u633a\u4e0d\u9519\u7684\uff0c\u77e5\u8bc6\u70b9\u8bb2\u7684\u5f88\u7ec6\u81f4\uff0c\u8fd8\u6709\u5b8c\u6574\u7248\u7684\u5b66\u4e60\u8def\u7ebf\u56fe\u3002\u4e5f\u53ef\u4ee5\u81ea\u5df1\u53bb\u770b\u770b\uff0c\u4e0b\u8f7d\u5b66\u4e60\u8bd5\u8bd5\u3002
\u9996\u5148\u6211\u4eec\u8981\u4e86\u89e3Java\u8bed\u8a00\u548cLinux\u64cd\u4f5c\u7cfb\u7edf\uff0c\u8fd9\u4e24\u4e2a\u662f\u5b66\u4e60\u5927\u6570\u636e\u7684\u57fa\u7840\uff0c\u5b66\u4e60\u7684\u987a\u5e8f\u4e0d\u5206\u524d\u540e\u3002
\u5927\u6570\u636e
Java \uff1a\u53ea\u8981\u4e86\u89e3\u4e00\u4e9b\u57fa\u7840\u5373\u53ef\uff0c\u505a\u5927\u6570\u636e\u4e0d\u9700\u8981\u5f88\u6df1\u7684Java \u6280\u672f\uff0c\u5b66java SE \u5c31\u76f8\u5f53\u4e8e\u6709\u5b66\u4e60\u5927\u6570\u636e\u57fa\u7840\u3002
Linux\uff1a\u56e0\u4e3a\u5927\u6570\u636e\u76f8\u5173\u8f6f\u4ef6\u90fd\u662f\u5728Linux\u4e0a\u8fd0\u884c\u7684\uff0c\u6240\u4ee5Linux\u8981\u5b66\u4e60\u7684\u624e\u5b9e\u4e00\u4e9b\uff0c\u5b66\u597dLinux\u5bf9\u4f60\u5feb\u901f\u638c\u63e1\u5927\u6570\u636e\u76f8\u5173\u6280\u672f\u4f1a\u6709\u5f88\u5927\u7684\u5e2e\u52a9\uff0c\u80fd\u8ba9\u4f60\u66f4\u597d\u7684\u7406\u89e3hadoop\u3001hive\u3001hbase\u3001spark\u7b49\u5927\u6570\u636e\u8f6f\u4ef6\u7684\u8fd0\u884c\u73af\u5883\u548c\u7f51\u7edc\u73af\u5883\u914d\u7f6e\uff0c\u80fd\u5c11\u8e29\u5f88\u591a\u5751\uff0c\u5b66\u4f1ashell\u5c31\u80fd\u770b\u61c2\u811a\u672c\u8fd9\u6837\u80fd\u66f4\u5bb9\u6613\u7406\u89e3\u548c\u914d\u7f6e\u5927\u6570\u636e\u96c6\u7fa4\u3002\u8fd8\u80fd\u8ba9\u4f60\u5bf9\u4ee5\u540e\u65b0\u51fa\u7684\u5927\u6570\u636e\u6280\u672f\u5b66\u4e60\u8d77\u6765\u66f4\u5feb\u3002
Hadoop\uff1a\u8fd9\u662f\u73b0\u5728\u6d41\u884c\u7684\u5927\u6570\u636e\u5904\u7406\u5e73\u53f0\u51e0\u4e4e\u5df2\u7ecf\u6210\u4e3a\u5927\u6570\u636e\u7684\u4ee3\u540d\u8bcd\uff0c\u6240\u4ee5\u8fd9\u4e2a\u662f\u5fc5\u5b66\u7684\u3002Hadoop\u91cc\u9762\u5305\u62ec\u51e0\u4e2a\u7ec4\u4ef6HDFS\u3001MapReduce\u548cYARN\uff0cHDFS\u662f\u5b58\u50a8\u6570\u636e\u7684\u5730\u65b9\u5c31\u50cf\u6211\u4eec\u7535\u8111\u7684\u786c\u76d8\u4e00\u6837\u6587\u4ef6\u90fd\u5b58\u50a8\u5728\u8fd9\u4e2a\u4e0a\u9762\uff0cMapReduce\u662f\u5bf9\u6570\u636e\u8fdb\u884c\u5904\u7406\u8ba1\u7b97\u7684\uff0c\u5b83\u6709\u4e2a\u7279\u70b9\u5c31\u662f\u4e0d\u7ba1\u591a\u5927\u7684\u6570\u636e\u53ea\u8981\u7ed9\u5b83\u65f6\u95f4\u5b83\u5c31\u80fd\u628a\u6570\u636e\u8dd1\u5b8c\uff0c\u4f46\u662f\u65f6\u95f4\u53ef\u80fd\u4e0d\u662f\u5f88\u5feb\u6240\u4ee5\u5b83\u53eb\u6570\u636e\u7684\u6279\u5904\u7406\u3002
Zookeeper\uff1a\u8fd9\u662f\u4e2a\u4e07\u91d1\u6cb9\uff0c\u5b89\u88c5Hadoop\u7684HA\u7684\u65f6\u5019\u5c31\u4f1a\u7528\u5230\u5b83\uff0c\u4ee5\u540e\u7684Hbase\u4e5f\u4f1a\u7528\u5230\u5b83\u3002\u5b83\u4e00\u822c\u7528\u6765\u5b58\u653e\u4e00\u4e9b\u76f8\u4e92\u534f\u4f5c\u7684\u4fe1\u606f\uff0c\u8fd9\u4e9b\u4fe1\u606f\u6bd4\u8f83\u5c0f\u4e00\u822c\u4e0d\u4f1a\u8d85\u8fc71M\uff0c\u90fd\u662f\u4f7f\u7528\u5b83\u7684\u8f6f\u4ef6\u5bf9\u5b83\u6709\u4f9d\u8d56\uff0c\u5bf9\u4e8e\u6211\u4eec\u4e2a\u4eba\u6765\u8bb2\u53ea\u9700\u8981\u628a\u5b83\u5b89\u88c5\u6b63\u786e\uff0c\u8ba9\u5b83\u6b63\u5e38\u7684run\u8d77\u6765\u5c31\u53ef\u4ee5\u4e86\u3002
Mysql\uff1a\u6211\u4eec\u5b66\u4e60\u5b8c\u5927\u6570\u636e\u7684\u5904\u7406\u4e86\uff0c\u63a5\u4e0b\u6765\u5b66\u4e60\u5b66\u4e60\u5c0f\u6570\u636e\u7684\u5904\u7406\u5de5\u5177mysql\u6570\u636e\u5e93\uff0c\u56e0\u4e3a\u4e00\u4f1a\u88c5hive\u7684\u65f6\u5019\u8981\u7528\u5230\uff0cmysql\u9700\u8981\u638c\u63e1\u5230\u4ec0\u4e48\u5c42\u5ea6\u90a3?\u4f60\u80fd\u5728Linux\u4e0a\u628a\u5b83\u5b89\u88c5\u597d\uff0c\u8fd0\u884c\u8d77\u6765\uff0c\u4f1a\u914d\u7f6e\u7b80\u5355\u7684\u6743\u9650\uff0c\u4fee\u6539root\u7684\u5bc6\u7801\uff0c\u521b\u5efa\u6570\u636e\u5e93\u3002\u8fd9\u91cc\u4e3b\u8981\u7684\u662f\u5b66\u4e60SQL\u7684\u8bed\u6cd5\uff0c\u56e0\u4e3ahive\u7684\u8bed\u6cd5\u548c\u8fd9\u4e2a\u975e\u5e38\u76f8\u4f3c\u3002
Sqoop\uff1a\u8fd9\u4e2a\u662f\u7528\u4e8e\u628aMysql\u91cc\u7684\u6570\u636e\u5bfc\u5165\u5230Hadoop\u91cc\u7684\u3002\u5f53\u7136\u4f60\u4e5f\u53ef\u4ee5\u4e0d\u7528\u8fd9\u4e2a\uff0c\u76f4\u63a5\u628aMysql\u6570\u636e\u8868\u5bfc\u51fa\u6210\u6587\u4ef6\u518d\u653e\u5230HDFS\u4e0a\u4e5f\u662f\u4e00\u6837\u7684\uff0c\u5f53\u7136\u751f\u4ea7\u73af\u5883\u4e2d\u4f7f\u7528\u8981\u6ce8\u610fMysql\u7684\u538b\u529b\u3002
Hive\uff1a\u8fd9\u4e2a\u4e1c\u897f\u5bf9\u4e8e\u4f1aSQL\u8bed\u6cd5\u7684\u6765\u8bf4\u5c31\u662f\u795e\u5668\uff0c\u5b83\u80fd\u8ba9\u4f60\u5904\u7406\u5927\u6570\u636e\u53d8\u7684\u5f88\u7b80\u5355\uff0c\u4e0d\u4f1a\u518d\u8d39\u52b2\u7684\u7f16\u5199MapReduce\u7a0b\u5e8f\u3002\u6709\u7684\u4eba\u8bf4Pig\u90a3?\u5b83\u548cPig\u5dee\u4e0d\u591a\u638c\u63e1\u4e00\u4e2a\u5c31\u53ef\u4ee5\u4e86\u3002
Oozie\uff1a\u65e2\u7136\u5b66\u4f1aHive\u4e86\uff0c\u6211\u76f8\u4fe1\u4f60\u4e00\u5b9a\u9700\u8981\u8fd9\u4e2a\u4e1c\u897f\uff0c\u5b83\u53ef\u4ee5\u5e2e\u4f60\u7ba1\u7406\u4f60\u7684Hive\u6216\u8005MapReduce\u3001Spark\u811a\u672c\uff0c\u8fd8\u80fd\u68c0\u67e5\u4f60\u7684\u7a0b\u5e8f\u662f\u5426\u6267\u884c\u6b63\u786e\uff0c\u51fa\u9519\u4e86\u7ed9\u4f60\u53d1\u62a5\u8b66\u5e76\u80fd\u5e2e\u4f60\u91cd\u8bd5\u7a0b\u5e8f\uff0c\u6700\u91cd\u8981\u7684\u662f\u8fd8\u80fd\u5e2e\u4f60\u914d\u7f6e\u4efb\u52a1\u7684\u4f9d\u8d56\u5173\u7cfb\u3002\u6211\u76f8\u4fe1\u4f60\u4e00\u5b9a\u4f1a\u559c\u6b22\u4e0a\u5b83\u7684\uff0c\u4e0d\u7136\u4f60\u770b\u7740\u90a3\u4e00\u5927\u5806\u811a\u672c\uff0c\u548c\u5bc6\u5bc6\u9ebb\u9ebb\u7684crond\u662f\u4e0d\u662f\u6709\u79cd\u60f3\u5c4e\u7684\u611f\u89c9\u3002
Hbase\uff1a\u8fd9\u662fHadoop\u751f\u6001\u4f53\u7cfb\u4e2d\u7684NOSQL\u6570\u636e\u5e93\uff0c\u4ed6\u7684\u6570\u636e\u662f\u6309\u7167key\u548cvalue\u7684\u5f62\u5f0f\u5b58\u50a8\u7684\u5e76\u4e14key\u662f\u552f\u4e00\u7684\uff0c\u6240\u4ee5\u5b83\u80fd\u7528\u6765\u505a\u6570\u636e\u7684\u6392\u91cd\uff0c\u5b83\u4e0eMYSQL\u76f8\u6bd4\u80fd\u5b58\u50a8\u7684\u6570\u636e\u91cf\u5927\u5f88\u591a\u3002\u6240\u4ee5\u4ed6\u5e38\u88ab\u7528\u4e8e\u5927\u6570\u636e\u5904\u7406\u5b8c\u6210\u4e4b\u540e\u7684\u5b58\u50a8\u76ee\u7684\u5730\u3002
Kafka\uff1a\u8fd9\u662f\u4e2a\u6bd4\u8f83\u597d\u7528\u7684\u961f\u5217\u5de5\u5177\uff0c\u961f\u5217\u662f\u5e72\u5417\u7684?\u6392\u961f\u4e70\u7968\u4f60\u77e5\u9053\u4e0d?\u6570\u636e\u591a\u4e86\u540c\u6837\u4e5f\u9700\u8981\u6392\u961f\u5904\u7406\uff0c\u8fd9\u6837\u4e0e\u4f60\u534f\u4f5c\u7684\u5176\u5b83\u540c\u5b66\u4e0d\u4f1a\u53eb\u8d77\u6765\uff0c\u4f60\u5e72\u5417\u7ed9\u6211\u8fd9\u4e48\u591a\u7684\u6570\u636e(\u6bd4\u5982\u597d\u51e0\u767eG\u7684\u6587\u4ef6)\u6211\u600e\u4e48\u5904\u7406\u5f97\u8fc7\u6765\uff0c\u4f60\u522b\u602a\u4ed6\u56e0\u4e3a\u4ed6\u4e0d\u662f\u641e\u5927\u6570\u636e\u7684\uff0c\u4f60\u53ef\u4ee5\u8ddf\u4ed6\u8bb2\u6211\u628a\u6570\u636e\u653e\u5728\u961f\u5217\u91cc\u4f60\u4f7f\u7528\u7684\u65f6\u5019\u4e00\u4e2a\u4e2a\u62ff\uff0c\u8fd9\u6837\u4ed6\u5c31\u4e0d\u5728\u62b1\u6028\u4e86\u9a6c\u4e0a\u7070\u6d41\u6d41\u7684\u53bb\u4f18\u5316\u4ed6\u7684\u7a0b\u5e8f\u53bb\u4e86\uff0c\u56e0\u4e3a\u5904\u7406\u4e0d\u8fc7\u6765\u5c31\u662f\u4ed6\u7684\u4e8b\u60c5\u3002\u800c\u4e0d\u662f\u4f60\u7ed9\u7684\u95ee\u9898\u3002\u5f53\u7136\u6211\u4eec\u4e5f\u53ef\u4ee5\u5229\u7528\u8fd9\u4e2a\u5de5\u5177\u6765\u505a\u7ebf\u4e0a\u5b9e\u65f6\u6570\u636e\u7684\u5165\u5e93\u6216\u5165HDFS\uff0c\u8fd9\u65f6\u4f60\u53ef\u4ee5\u4e0e\u4e00\u4e2a\u53ebFlume\u7684\u5de5\u5177\u914d\u5408\u4f7f\u7528\uff0c\u5b83\u662f\u4e13\u95e8\u7528\u6765\u63d0\u4f9b\u5bf9\u6570\u636e\u8fdb\u884c\u7b80\u5355\u5904\u7406\uff0c\u5e76\u5199\u5230\u5404\u79cd\u6570\u636e\u63a5\u53d7\u65b9(\u6bd4\u5982Kafka)\u7684\u3002
Spark\uff1a\u5b83\u662f\u7528\u6765\u5f25\u8865\u57fa\u4e8eMapReduce\u5904\u7406\u6570\u636e\u901f\u5ea6\u4e0a\u7684\u7f3a\u70b9\uff0c\u5b83\u7684\u7279\u70b9\u662f\u628a\u6570\u636e\u88c5\u8f7d\u5230\u5185\u5b58\u4e2d\u8ba1\u7b97\u800c\u4e0d\u662f\u53bb\u8bfb\u6162\u7684\u8981\u6b7b\u8fdb\u5316\u8fd8\u7279\u522b\u6162\u7684\u786c\u76d8\u3002\u7279\u522b\u9002\u5408\u505a\u8fed\u4ee3\u8fd0\u7b97\uff0c\u6240\u4ee5\u7b97\u6cd5\u6d41\u4eec\u7279\u522b\u7a00\u996d\u5b83\u3002\u5b83\u662f\u7528scala\u7f16\u5199\u7684\u3002Java\u8bed\u8a00\u6216\u8005Scala\u90fd\u53ef\u4ee5\u64cd\u4f5c\u5b83\uff0c\u56e0\u4e3a\u5b83\u4eec\u90fd\u662f\u7528JVM\u7684\u3002
以大数据开发来说，其中涉及到的主要是大数据应用开发，要求一定的编程能力，在学习阶段，主要需要学习掌握大数据技术框架，包括hadoop、hive、oozie、flume、hbase、kafka、scala、spark等等。
以大数据分析来说，有主攻业务运营方面的数据分析师，也有主攻机器学习、深度学习等的数据挖掘师，具体到其中的各个职位，更是有着更加具体的技能要求，那么在学习阶段就要先做好相关的准备了。
作为一名零基础学习者，请不要将大数据开发看做一门与Java、python等相似的IT语言，大数据更像是一门技术，其所包含的内容相对比较多。在正式开始学习之前，可以买一些大数据相关书籍或者找一些网上的学习资料，先建立对行业以及对大数据相关职位的了解。
比如，大数据分为哪些发展方向，不同的发展方向对应哪些发展职位，各个职位的发展所要求的核心技能点是什么，企业对于大数据人才的需求是什么样的，了解清楚了这些，才能真正考虑清楚，学什么怎么学。
绛旓細Java鏄澶ф暟鎹涔犻渶瑕鐨勭紪绋嬭瑷鍩虹锛屽洜涓哄ぇ鏁版嵁鐨勫紑鍙戝熀浜庡父鐢ㄧ殑楂樼骇璇█銆傝屼笖涓嶈鏄hadoop锛2銆佸涔澶ф暟鎹繀椤诲涔犲ぇ鏁版嵁鏍稿績鐭ヨ瘑 Hadoop鐢熸佺郴缁;HDFS鎶鏈;HBASE鎶鏈;Sqoop浣跨敤娴佺▼;鏁版嵁浠撳簱宸ュ叿HIVE;澶ф暟鎹绾垮垎鏋怱park銆丳ython璇█;鏁版嵁瀹炴椂鍒嗘瀽Storm;娑堟伅璁㈤槄鍒嗗彂绯荤粺Kafka绛夈3銆佸涔犲ぇ鏁版嵁闇瑕佸叿澶囩殑鑳藉姏...
绛旓細澶ф暟鎹涓昏瀛︿範鐨勪笢瑗挎湁6涓柟闈細绗竴闃舵 JavaSE鍩虹鏍稿績 绗簩闃舵 鏁版嵁搴撳叧閿妧鏈 绗笁闃舵 澶ф暟鎹熀纭鏍稿績 绗洓闃舵 Spark鐢熸佷綋绯绘鏋&澶ф暟鎹珮钖簿閫夐」鐩 绗簲闃舵 Spark鐢熸佷綋绯绘鏋&浼佷笟鏃犵紳瀵规帴椤圭洰 绗叚闃舵 Flink娴佸紡鏁版嵁澶勭悊妗嗘灦
绛旓細spark鍘熺悊鐨勬繁鍏ョ悊瑙ｏ紝spark鍙傛暟璋冧紭涓庤繍缁寸浉鍏崇殑鐭ヨ瘑銆傚叧浜庡皬鐧鍏ラ棬澶ф暟鎹鎺屾彙鍝簺鐭ヨ瘑锛岄潚钘ゅ皬缂栧氨鍜屾偍鍒嗕韩鍒拌繖閲屼簡銆傚鏋滄偍瀵瑰ぇ鏁版嵁宸ョ▼鏈夋祿鍘氱殑鍏磋叮锛屽笇鏈涜繖绡囨枃绔犲彲浠ヤ负鎮ㄦ彁渚涘府鍔┿傚鏋滄偍杩樻兂浜嗚В鏇村鍏充簬鏁版嵁鍒嗘瀽甯堛佸ぇ鏁版嵁宸ョ▼甯堢殑鎶宸у強绱犳潗绛夊唴瀹癸紝鍙互鐐瑰嚮鏈珯鐨勫叾浠栨枃绔犺繘琛瀛︿範銆
绛旓細1澶ф暟鎹叆闂锛氫粙缁嶅綋鍓嶆祦琛屽ぇ鏁版嵁鎶鏈紝鏁版嵁鎶鏈師鐞嗭紝骞朵粙缁嶅叾鎬濇兂锛屼粙缁嶅ぇ鏁版嵁鎶鏈煿璁绋嬶紝姒傝浠嬬粛銆2Linux澶ф暟鎹繀澶囷細浠嬬粛Lniux甯歌鐗堟湰锛孷Mware铏氭嫙鏈哄畨瑁匧inux绯荤粺锛岃櫄鎷熸満缃戠粶閰嶇疆锛屾枃浠跺熀鏈懡浠ゆ搷浣滐紝杩滅▼杩炴帴宸ュ叿浣跨敤锛岀敤鎴峰拰缁勫垱寤猴紝鍒犻櫎锛屾洿鏀瑰拰鎺堟潈锛屾枃浠/鐩綍鍒涘缓锛屽垹闄わ紝绉诲姩锛屾嫹璐濋噸鍛藉悕锛岀紪杈戝櫒...
绛旓細濡備綍鍏ラ棬澶ф暟鎹浠嬬粛濡備笅锛氬叆闂ㄥぇ鏁版嵁鐨勬楠ゅ涓嬶細浜嗚В澶ф暟鎹悊璁恒瀛︿範澶ф暟鎹浣犺嚦灏搴旇鐭ラ亾浠涔鏄ぇ鏁版嵁锛屽ぇ鏁版嵁涓鑸繍鐢ㄥ湪浠涔堥鍩熴傚澶ф暟鎹湁涓涓ぇ姒傜殑浜嗚В锛屼綘鎵嶈兘娓呮鑷繁瀵瑰ぇ鏁版嵁绌剁珶鏄惁鏈夊叴瓒ｃ傚涔犺绠楁満缂栫▼璇█銆傚浜庨浂鍩虹鐨勬湅鍙嬶紝涓寮濮嬪叆闂ㄥ彲鑳戒笉浼氬お绠鍗曪紝鍥犱负闇瑕鎺屾彙涓闂ㄨ绠楁満鐨勭紪绋嬭瑷锛岃绠楁満...
绛旓細澶ф暟鎹瀛缁熻瀛︺佹暟瀛︺佽绠楁満绛変笁澶ф敮鎾戞у绉戯紝鍩虹璇剧▼鍒嗕负鏁板鍒嗘瀽銆侀珮绛変唬鏁般佹櫘閫氱墿鐞嗘暟瀛︿笌淇℃伅绉戝姒傝銆佹暟鎹粨鏋勩佹暟鎹瀛﹀璁恒佺▼搴忚璁″璁恒佺▼搴忚璁″疄璺点傚闇澶ф暟鎹煿璁帹鑽愰夋嫨銆愯揪鍐呮暀鑲层戙1銆佸涔犳暟鎹噰闆嗐佸垎鏋愩佸鐞嗚蒋浠讹紝瀛︿範鏁板寤烘ā杞欢鍙婅绠楁満缂栫▼璇█绛夛紝鐭ヨ瘑缁撴瀯鏄簩涓撳鑳藉鍚堢殑...
绛旓細1澶ф暟鎹叆闂锛氫粙缁嶅綋鍓嶆祦琛屽ぇ鏁版嵁鎶鏈紝鏁版嵁鎶鏈師鐞嗭紝骞朵粙缁嶅叾鎬濇兂锛屼粙缁嶅ぇ鏁版嵁鎶鏈煿璁绋嬶紝姒傝浠嬬粛銆2Linux澶ф暟鎹繀澶囷細浠嬬粛Lniux甯歌鐗堟湰锛孷Mware铏氭嫙鏈哄畨瑁匧inux绯荤粺锛岃櫄鎷熸満缃戠粶閰嶇疆锛屾枃浠跺熀鏈懡浠ゆ搷浣滐紝杩滅▼杩炴帴宸ュ叿浣跨敤锛岀敤鎴峰拰缁勫垱寤猴紝鍒犻櫎锛屾洿鏀瑰拰鎺堟潈锛屾枃浠/鐩綍鍒涘缓锛屽垹闄わ紝绉诲姩锛屾嫹璐濋噸鍛藉悕锛岀紪杈戝櫒...
绛旓細鏈変竴瀹氱殑鍩虹涔嬪悗锛屼綘灏闇瑕佸涔Spark澶ф暟鎹澶勭悊鎶鏈丮lib鏈哄櫒瀛︿範銆丟raphX鍥捐绠椾互鍙奡trom鎶鏈灦鏋勫熀纭鍜屽師鐞嗙瓑鐭ヨ瘑銆係park鍦ㄦц兘杩樻槸鍦ㄦ柟妗堢殑缁熶竴鎬ф柟闈㈤兘鏈夌潃鏋佸ぇ鐨勪紭瓒婃э紝鍙互瀵瑰ぇ鏁版嵁杩涜缁煎悎澶勭悊锛氬疄鏃舵暟鎹祦澶勭悊銆佹壒澶勭悊鍜屼氦浜掑紡鏌ヨ銆備互涓婂氨鏄负澶у浠嬬粛浜嗗ぇ鏁版嵁寮鍙戝浣鍏ラ棬锛屽笇鏈涘澶у鏈夋墍甯姪銆
绛旓細澶ф暟鎹涔犲叆闂閮闇瑕佸涔鍜屽叿澶囩殑鍩虹鐭ヨ瘑: 鏁板鐭ヨ瘑:鏁板鐭ヨ瘑鏄暟鎹垎鏋愬笀鐨勫熀纭鐭ヨ瘑銆 鈶犲浜庡垵绾ф暟鎹垎鏋愬笀,浜嗚В涓浜涙弿杩扮粺璁＄浉鍏崇殑鍩虹鍐呭,鏈変竴瀹氱殑鍏紡璁＄畻鑳藉姏鍗冲彲,浜嗚В甯哥敤缁熻妯″瀷绠楁硶鍒欐槸鍔犲垎銆 鈶″浜庨珮绾ф暟鎹垎鏋愬笀,缁熻妯″瀷鐩稿叧鐭ヨ瘑鏄繀澶囪兘鍔,绾挎т唬鏁(涓昏鏄煩闃佃绠楃浉鍏崇煡璇)鏈濂戒篃鏈変竴瀹氱殑浜嗚В銆 鈶㈣...
