大数据培训课程介绍，大数据学习课程要学习哪些 大数据学习需要哪些课程？
\u5927\u6570\u636e\u5b66\u4e60\u8bfe\u7a0b\u6709\u54ea\u4e9b\u9996\u5148\u6211\u4eec\u8981\u4e86\u89e3Java\u8bed\u8a00\u548cLinux\u64cd\u4f5c\u7cfb\u7edf\uff0c\u8fd9\u4e24\u4e2a\u662f\u5b66\u4e60\u5927\u6570\u636e\u7684\u57fa\u7840\uff0c\u5b66\u4e60\u7684\u987a\u5e8f\u4e0d\u5206\u524d\u540e\u3002
Java \uff1a\u53ea\u8981\u4e86\u89e3\u4e00\u4e9b\u57fa\u7840\u5373\u53ef\uff0c\u505a\u5927\u6570\u636e\u4e0d\u9700\u8981\u5f88\u6df1\u7684Java \u6280\u672f\uff0c\u5b66java SE \u5c31\u76f8\u5f53\u4e8e\u6709\u5b66\u4e60\u5927\u6570\u636e\u3002\u57fa\u7840
Linux\uff1a\u56e0\u4e3a\u5927\u6570\u636e\u76f8\u5173\u8f6f\u4ef6\u90fd\u662f\u5728Linux\u4e0a\u8fd0\u884c\u7684\uff0c\u6240\u4ee5Linux\u8981\u5b66\u4e60\u7684\u624e\u5b9e\u4e00\u4e9b\uff0c\u5b66\u597dLinux\u5bf9\u4f60\u5feb\u901f\u638c\u63e1\u5927\u6570\u636e\u76f8\u5173\u6280\u672f\u4f1a\u6709\u5f88\u5927\u7684\u5e2e\u52a9\uff0c\u80fd\u8ba9\u4f60\u66f4\u597d\u7684\u7406\u89e3hadoop\u3001hive\u3001hbase\u3001spark\u7b49\u5927\u6570\u636e\u8f6f\u4ef6\u7684\u8fd0\u884c\u73af\u5883\u548c\u7f51\u7edc\u73af\u5883\u914d\u7f6e\uff0c\u80fd\u5c11\u8e29\u5f88\u591a\u5751\uff0c\u5b66\u4f1ashell\u5c31\u80fd\u770b\u61c2\u811a\u672c\u8fd9\u6837\u80fd\u66f4\u5bb9\u6613\u7406\u89e3\u548c\u914d\u7f6e\u5927\u6570\u636e\u96c6\u7fa4\u3002\u8fd8\u80fd\u8ba9\u4f60\u5bf9\u4ee5\u540e\u65b0\u51fa\u7684\u5927\u6570\u636e\u6280\u672f\u5b66\u4e60\u8d77\u6765\u66f4\u5feb\u3002
\u597d\u00b7\u8bf4\u5b8c\u57fa\u7840\u4e86\uff0c\u518d\u8bf4\u8bf4\u8fd8\u9700\u8981\u5b66\u4e60\u54ea\u4e9b\u5927\u6570\u636e\u6280\u672f\uff0c\u53ef\u4ee5\u6309\u6211\u5199\u7684\u987a\u5e8f\u5b66\u4e0b\u53bb\u3002
Hadoop\uff1a\u8fd9\u662f\u73b0\u5728\u6d41\u884c\u7684\u5927\u6570\u636e\u5904\u7406\u5e73\u53f0\u51e0\u4e4e\u5df2\u7ecf\u6210\u4e3a\u5927\u6570\u636e\u7684\u4ee3\u540d\u8bcd\uff0c\u6240\u4ee5\u8fd9\u4e2a\u662f\u5fc5\u5b66\u7684\u3002Hadoop\u91cc\u9762\u5305\u62ec\u51e0\u4e2a\u7ec4\u4ef6HDFS\u3001MapReduce\u548cYARN\uff0cHDFS\u662f\u5b58\u50a8\u6570\u636e\u7684\u5730\u65b9\u5c31\u50cf\u6211\u4eec\u7535\u8111\u7684\u786c\u76d8\u4e00\u6837\u6587\u4ef6\u90fd\u5b58\u50a8\u5728\u8fd9\u4e2a\u4e0a\u9762\uff0cMapReduce\u662f\u5bf9\u6570\u636e\u8fdb\u884c\u5904\u7406\u8ba1\u7b97\u7684\uff0c\u5b83\u6709\u4e2a\u7279\u70b9\u5c31\u662f\u4e0d\u7ba1\u591a\u5927\u7684\u6570\u636e\u53ea\u8981\u7ed9\u5b83\u65f6\u95f4\u5b83\u5c31\u80fd\u628a\u6570\u636e\u8dd1\u5b8c\uff0c\u4f46\u662f\u65f6\u95f4\u53ef\u80fd\u4e0d\u662f\u5f88\u5feb\u6240\u4ee5\u5b83\u53eb\u6570\u636e\u7684\u6279\u5904\u7406\u3002
\u8bb0\u4f4f\u5b66\u5230\u8fd9\u91cc\u53ef\u4ee5\u4f5c\u4e3a\u4f60\u5b66\u5927\u6570\u636e\u7684\u4e00\u4e2a\u8282\u70b9\u3002
Zookeeper\uff1a\u8fd9\u662f\u4e2a\u4e07\u91d1\u6cb9\uff0c\u5b89\u88c5Hadoop\u7684HA\u7684\u65f6\u5019\u5c31\u4f1a\u7528\u5230\u5b83\uff0c\u4ee5\u540e\u7684Hbase\u4e5f\u4f1a\u7528\u5230\u5b83\u3002\u5b83\u4e00\u822c\u7528\u6765\u5b58\u653e\u4e00\u4e9b\u76f8\u4e92\u534f\u4f5c\u7684\u4fe1\u606f\uff0c\u8fd9\u4e9b\u4fe1\u606f\u6bd4\u8f83\u5c0f\u4e00\u822c\u4e0d\u4f1a\u8d85\u8fc71M\uff0c\u90fd\u662f\u4f7f\u7528\u5b83\u7684\u8f6f\u4ef6\u5bf9\u5b83\u6709\u4f9d\u8d56\uff0c\u5bf9\u4e8e\u6211\u4eec\u4e2a\u4eba\u6765\u8bb2\u53ea\u9700\u8981\u628a\u5b83\u5b89\u88c5\u6b63\u786e\uff0c\u8ba9\u5b83\u6b63\u5e38\u7684run\u8d77\u6765\u5c31\u53ef\u4ee5\u4e86\u3002
Mysql\uff1a\u6211\u4eec\u5b66\u4e60\u5b8c\u5927\u6570\u636e\u7684\u5904\u7406\u4e86\uff0c\u63a5\u4e0b\u6765\u5b66\u4e60\u5b66\u4e60\u5c0f\u6570\u636e\u7684\u5904\u7406\u5de5\u5177mysql\u6570\u636e\u5e93\uff0c\u56e0\u4e3a\u4e00\u4f1a\u88c5hive\u7684\u65f6\u5019\u8981\u7528\u5230\uff0cmysql\u9700\u8981\u638c\u63e1\u5230\u4ec0\u4e48\u5c42\u5ea6\u90a3?\u4f60\u80fd\u5728Linux\u4e0a\u628a\u5b83\u5b89\u88c5\u597d\uff0c\u8fd0\u884c\u8d77\u6765\uff0c\u4f1a\u914d\u7f6e\u7b80\u5355\u7684\u6743\u9650\uff0c\u4fee\u6539root\u7684\u5bc6\u7801\uff0c\u521b\u5efa\u6570\u636e\u5e93\u3002\u8fd9\u91cc\u4e3b\u8981\u7684\u662f\u5b66\u4e60SQL\u7684\u8bed\u6cd5\uff0c\u56e0\u4e3ahive\u7684\u8bed\u6cd5\u548c\u8fd9\u4e2a\u975e\u5e38\u76f8\u4f3c\u3002
Sqoop\uff1a\u8fd9\u4e2a\u662f\u7528\u4e8e\u628aMysql\u91cc\u7684\u6570\u636e\u5bfc\u5165\u5230Hadoop\u91cc\u7684\u3002\u5f53\u7136\u4f60\u4e5f\u53ef\u4ee5\u4e0d\u7528\u8fd9\u4e2a\uff0c\u76f4\u63a5\u628aMysql\u6570\u636e\u8868\u5bfc\u51fa\u6210\u6587\u4ef6\u518d\u653e\u5230HDFS\u4e0a\u4e5f\u662f\u4e00\u6837\u7684\uff0c\u5f53\u7136\u751f\u4ea7\u73af\u5883\u4e2d\u4f7f\u7528\u8981\u6ce8\u610fMysql\u7684\u538b\u529b\u3002
Hive\uff1a\u8fd9\u4e2a\u4e1c\u897f\u5bf9\u4e8e\u4f1aSQL\u8bed\u6cd5\u7684\u6765\u8bf4\u5c31\u662f\u795e\u5668\uff0c\u5b83\u80fd\u8ba9\u4f60\u5904\u7406\u5927\u6570\u636e\u53d8\u7684\u5f88\u7b80\u5355\uff0c\u4e0d\u4f1a\u518d\u8d39\u52b2\u7684\u7f16\u5199MapReduce\u7a0b\u5e8f\u3002\u6709\u7684\u4eba\u8bf4Pig\u90a3?\u5b83\u548cPig\u5dee\u4e0d\u591a\u638c\u63e1\u4e00\u4e2a\u5c31\u53ef\u4ee5\u4e86\u3002
Oozie\uff1a\u65e2\u7136\u5b66\u4f1aHive\u4e86\uff0c\u6211\u76f8\u4fe1\u4f60\u4e00\u5b9a\u9700\u8981\u8fd9\u4e2a\u4e1c\u897f\uff0c\u5b83\u53ef\u4ee5\u5e2e\u4f60\u7ba1\u7406\u4f60\u7684Hive\u6216\u8005MapReduce\u3001Spark\u811a\u672c\uff0c\u8fd8\u80fd\u68c0\u67e5\u4f60\u7684\u7a0b\u5e8f\u662f\u5426\u6267\u884c\u6b63\u786e\uff0c\u51fa\u9519\u4e86\u7ed9\u4f60\u53d1\u62a5\u8b66\u5e76\u80fd\u5e2e\u4f60\u91cd\u8bd5\u7a0b\u5e8f\uff0c\u6700\u91cd\u8981\u7684\u662f\u8fd8\u80fd\u5e2e\u4f60\u914d\u7f6e\u4efb\u52a1\u7684\u4f9d\u8d56\u5173\u7cfb\u3002\u6211\u76f8\u4fe1\u4f60\u4e00\u5b9a\u4f1a\u559c\u6b22\u4e0a\u5b83\u7684\uff0c\u4e0d\u7136\u4f60\u770b\u7740\u90a3\u4e00\u5927\u5806\u811a\u672c\uff0c\u548c\u5bc6\u5bc6\u9ebb\u9ebb\u7684crond\u662f\u4e0d\u662f\u6709\u79cd\u60f3\u5c4e\u7684\u611f\u89c9\u3002
Hbase\uff1a\u8fd9\u662fHadoop\u751f\u6001\u4f53\u7cfb\u4e2d\u7684NOSQL\u6570\u636e\u5e93\uff0c\u4ed6\u7684\u6570\u636e\u662f\u6309\u7167key\u548cvalue\u7684\u5f62\u5f0f\u5b58\u50a8\u7684\u5e76\u4e14key\u662f\u552f\u4e00\u7684\uff0c\u6240\u4ee5\u5b83\u80fd\u7528\u6765\u505a\u6570\u636e\u7684\u6392\u91cd\uff0c\u5b83\u4e0eMYSQL\u76f8\u6bd4\u80fd\u5b58\u50a8\u7684\u6570\u636e\u91cf\u5927\u5f88\u591a\u3002\u6240\u4ee5\u4ed6\u5e38\u88ab\u7528\u4e8e\u5927\u6570\u636e\u5904\u7406\u5b8c\u6210\u4e4b\u540e\u7684\u5b58\u50a8\u76ee\u7684\u5730\u3002
Kafka\uff1a\u8fd9\u662f\u4e2a\u6bd4\u8f83\u597d\u7528\u7684\u961f\u5217\u5de5\u5177\uff0c\u961f\u5217\u662f\u5e72\u5417\u7684?\u6392\u961f\u4e70\u7968\u4f60\u77e5\u9053\u4e0d?\u6570\u636e\u591a\u4e86\u540c\u6837\u4e5f\u9700\u8981\u6392\u961f\u5904\u7406\uff0c\u8fd9\u6837\u4e0e\u4f60\u534f\u4f5c\u7684\u5176\u5b83\u540c\u5b66\u4e0d\u4f1a\u53eb\u8d77\u6765\uff0c\u4f60\u5e72\u5417\u7ed9\u6211\u8fd9\u4e48\u591a\u7684\u6570\u636e(\u6bd4\u5982\u597d\u51e0\u767eG\u7684\u6587\u4ef6)\u6211\u600e\u4e48\u5904\u7406\u5f97\u8fc7\u6765\uff0c\u4f60\u522b\u602a\u4ed6\u56e0\u4e3a\u4ed6\u4e0d\u662f\u641e\u5927\u6570\u636e\u7684\uff0c\u4f60\u53ef\u4ee5\u8ddf\u4ed6\u8bb2\u6211\u628a\u6570\u636e\u653e\u5728\u961f\u5217\u91cc\u4f60\u4f7f\u7528\u7684\u65f6\u5019\u4e00\u4e2a\u4e2a\u62ff\uff0c\u8fd9\u6837\u4ed6\u5c31\u4e0d\u5728\u62b1\u6028\u4e86\u9a6c\u4e0a\u7070\u6d41\u6d41\u7684\u53bb\u4f18\u5316\u4ed6\u7684\u7a0b\u5e8f\u53bb\u4e86\uff0c\u56e0\u4e3a\u5904\u7406\u4e0d\u8fc7\u6765\u5c31\u662f\u4ed6\u7684\u4e8b\u60c5\u3002\u800c\u4e0d\u662f\u4f60\u7ed9\u7684\u95ee\u9898\u3002\u5f53\u7136\u6211\u4eec\u4e5f\u53ef\u4ee5\u5229\u7528\u8fd9\u4e2a\u5de5\u5177\u6765\u505a\u7ebf\u4e0a\u5b9e\u65f6\u6570\u636e\u7684\u5165\u5e93\u6216\u5165HDFS\uff0c\u8fd9\u65f6\u4f60\u53ef\u4ee5\u4e0e\u4e00\u4e2a\u53ebFlume\u7684\u5de5\u5177\u914d\u5408\u4f7f\u7528\uff0c\u5b83\u662f\u4e13\u95e8\u7528\u6765\u63d0\u4f9b\u5bf9\u6570\u636e\u8fdb\u884c\u7b80\u5355\u5904\u7406\uff0c\u5e76\u5199\u5230\u5404\u79cd\u6570\u636e\u63a5\u53d7\u65b9(\u6bd4\u5982Kafka)\u7684\u3002
Spark\uff1a\u5b83\u662f\u7528\u6765\u5f25\u8865\u57fa\u4e8eMapReduce\u5904\u7406\u6570\u636e\u901f\u5ea6\u4e0a\u7684\u7f3a\u70b9\uff0c\u5b83\u7684\u7279\u70b9\u662f\u628a\u6570\u636e\u88c5\u8f7d\u5230\u5185\u5b58\u4e2d\u8ba1\u7b97\u800c\u4e0d\u662f\u53bb\u8bfb\u6162\u7684\u8981\u6b7b\u8fdb\u5316\u8fd8\u7279\u522b\u6162\u7684\u786c\u76d8\u3002\u7279\u522b\u9002\u5408\u505a\u8fed\u4ee3\u8fd0\u7b97\uff0c\u6240\u4ee5\u7b97\u6cd5\u6d41\u4eec\u7279\u522b\u7a00\u996d\u5b83\u3002\u5b83\u662f\u7528scala\u7f16\u5199\u7684\u3002Java\u8bed\u8a00\u6216\u8005Scala\u90fd\u53ef\u4ee5\u64cd\u4f5c\u5b83\uff0c\u56e0\u4e3a\u5b83\u4eec\u90fd\u662f\u7528JVM\u7684\u3002
01.Tableau\u5168\u5957\u8bfe\u7a0b\u514d\u8d39\u4e0b\u8f7d
\u94fe\u63a5:https://pan.baidu.com/s/1UpiYkNZI3su99CQQYUmL9g
\u63d0\u53d6\u7801:kc5i
01.Tableau\u5168\u5957\u8bfe\u7a0b|04.Tableau\u66f4\u65b0\u4e13\u533a|03.Tableau\u5b9e\u6218|02.Tableau\u8fdb\u9636|01.Tableau\u5165\u95e8|03.Tableau\u57fa\u7840\u6559\u7a0b\u89c6\u9891\uff08\u4e2d\u6587+\u82f1\u6587\uff09 8\u8bfe|02.Tableau\u4ece\u96f6\u5f00\u59cb\u5b66\u4e60\u89c6\u9891\uff08\u4e2d\u6587+\u82f1\u6587\uff09 7\u8bfe|01.Tableau8.0\u5feb\u901f\u5165\u95e8\u89c6\u9891\u6559\u7a0b 10\u8bfe|
一、 第一阶段：静态网页基础(HTML+CSS)
1. 难易程度：一颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：html常用标签、CSS常见布局、样式、定位等、静态页面的设计制作方式等
4. 描述如下：
从技术层面来说，该阶段使用的技术代码很简单、易于学习、方便理解。从后期课程层来说，因为我们重点是大数据，但前期需要锻炼编程技术与思维。经过我们多年开发和授课的项目经理分析，满足这两点，目前市场上最好理解和掌握的技术是J2EE，但J2EE又离不开页面技术。所以第一阶段我们的重点是页面技术。采用市场上主流的HTMl+CSS。
二、 第二阶段：JavaSE+JavaWeb
1. 难易程度：两颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：java基础语法、java面向对象(类、对象、封装、继承、多态、抽象类、接口、常见类、内部类、常见修饰符等)、异常、集合、文件、IO、MYSQL(基本SQL语句操作、多表查询、子查询、存储过程、事务、分布式事务)JDBC、线程、反射、Socket编程、枚举、泛型、设计模式
4. 描述如下：
称为Java基础，由浅入深的技术点、真实商业项目模块分析、多种存储方式的设计
与实现。该阶段是前四个阶段最最重要的阶段，因为后面所有阶段的都要基于此阶段，也是学习大数据紧密度最高的阶段。本阶段将第一次接触团队开发、产出具有前后台(第一阶段技术+第二阶段的技术综合应用)的真实项目。
三、 第三阶段：前端框架
1. 难易程序：两星
2. 课时量(技术知识点+阶段项目任务+综合能力)：64课时
3. 主要技术包括：Java、Jquery、注解反射一起使用，XML以及XML解析、解析dom4j、jxab、jdk8.0新特性、SVN、Maven、easyui
4. 描述如下：
前两个阶段的基础上化静为动，可以实现让我们网页内容更加的丰富，当然如果从市场人员层面来说，有专业的前端设计人员，我们设计本阶段的目标在于前端的技术可以更直观的锻炼人的思维和设计能力。同时我们也将第二阶段的高级特性融入到本阶段。使学习者更上一层楼。
四、 第四阶段：企业级开发框架
1. 难易程序：三颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：Hibernate、Spring、SpringMVC、log4j slf4j 整合、myBatis、struts2、Shiro、redis、流程引擎activity， 爬虫技术nutch,lucene，webServiceCXF、Tomcat集群和热备、MySQL读写分离
4. 描述如下：
如果将整个JAVA课程比作一个糕点店，那前面三个阶段可以做出一个武大郎烧饼(因为是纯手工-太麻烦)，而学习框架是可以开一个星巴克(高科技设备-省时省力)。从J2EE开发工程师的任职要求来说，该阶段所用到的技术是必须掌握，而我们所授的课程是高于市场(市场上主流三大框架，我们进行七大框架技术传授)、而且有真实的商业项目驱动。需求文档、概要设计、详细设计、源码测试、部署、安装手册等都会进行讲解。
五、 第五阶段： 初识大数据
1. 难易程度：三颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：大数据前篇(什么是大数据，应用场景，如何学习大数据库，虚拟机概念和安装等)、Linux常见命令(文件管理、系统管理、磁盘管理)、Linux Shell编程(SHELL变量、循环控制、应用)、Hadoop入门(Hadoop组成、单机版环境、目录结构、HDFS界面、MR界面、简单的SHELL、java访问hadoop)、HDFS(简介、SHELL、IDEA开发工具使用、全分布式集群搭建)、MapReduce应用(中间计算过程、Java操作MapReduce、程序运行、日志监控)、Hadoop高级应用(YARN框架介绍、配置项与优化、CDH简介、环境搭建)、扩展(MAP 端优化，COMBINER 使用方法见,TOP K,SQOOP导出,其它虚拟机VM的快照,权限管理命令,AWK 与 SED命令)
4. 描述如下：
该阶段设计是为了让新人能够对大数据有一个相对的大概念怎么相对呢?在前置课程JAVA的学习过后能够理解程序在单机的电脑上是如何运行的。现在，大数据呢?大数据是将程序运行在大规模机器的集群中处理。大数据当然是要处理数据，所以同样，数据的存储从单机存储变为多机器大规模的集群存储。
(你问我什么是集群?好，我有一大锅饭，我一个人可以吃完，但是要很久，现在我叫大家一起吃。一个人的时候叫人，人多了呢? 是不是叫人群啊!)
那么大数据可以初略的分为： 大数据存储和大数据处理所以在这个阶段中呢，我们课程设计了大数据的标准：HADOOP大数据的运行呢并不是在咋们经常使用的WINDOWS 7或者W10上面，而是现在使用最广泛的系统：LINUX。
六、 第六阶段：大数据数据库
1. 难易程度：四颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：Hive入门(Hive简介、Hive使用场景、环境搭建、架构说明、工作机制)、Hive Shell编程(建表、查询语句、分区与分桶、索引管理和视图)、Hive高级应用(DISTINCT实现、groupby、join、sql转化原理、java编程、配置和优化)、hbase入门、Hbase SHELL编程(DDL、DML、Java操作建表、查询、压缩、过滤器)、细说Hbase模块(REGION、HREGION SERVER、HMASTER、ZOOKEEPER简介、ZOOKEEPER配置、Hbase与Zookeeper集成)、HBASE高级特性(读写流程、数据模型、模式设计读写热点、优化与配置)
4. 描述如下：
该阶段设计是为了让大家在理解大数据如何处理大规模的数据的同时。简化咋们的编写程序时间，同时提高读取速度。
怎么简化呢?在第一阶段中，如果需要进行复杂的业务关联与数据挖掘，自行编写MR程序是非常繁杂的。所以在这一阶段中我们引入了HIVE，大数据中的数据仓库。这里有一个关键字，数据仓库。我知道你要问我，所以我先说，数据仓库呢用来做数据挖掘分析的，通常是一个超大的数据中心，存储这些数据的呢，一般为ORACLE,DB2,等大型数据库，这些数据库通常用作实时的在线业务。
总之，要基于数据仓库分析数据呢速度是相对较慢的。但是方便在于只要熟悉SQL，学习起来相对简单，而HIVE呢就是这样一种工具，基于大数据的SQL查询工具，这一阶段呢还包括HBASE，它为大数据里面的数据库。纳闷了，不是学了一种叫做HIVE的数据“仓库”了么?HIVE是基于MR的所以查询起来相当慢，HBASE呢基于大数据可以做到实时的数据查询。一个主分析，另一个主查询
七、 第七阶段：实时数据采集
1. 难易程序：四颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：Flume日志采集，KAFKA入门(消息队列、应用场景、集群搭建)、KAFKA详解(分区、主题、接受者、发送者、与ZOOKEEPER集成、Shell开发、Shell调试)、KAFKA高级使用(java开发、主要配置、优化项目)、数据可视化(图形与图表介绍、CHARTS工具分类、柱状图与饼图、3D图与地图)、STORM入门(设计思想、应用场景、处理过程、集群安装)、STROM开发(STROM MVN开发、编写STORM本地程序)、STORM进阶(java开发、主要配置、优化项目)、KAFKA异步发送与批量发送时效，KAFKA全局消息有序，STORM多并发优化
4. 描述如下：
前面的阶段数据来源是基于已经存在的大规模数据集来做的，数据处理与分析过后的结果是存在一定延时的，通常处理的数据为前一天的数据。
举例场景：网站防盗链，客户账户异常，实时征信，遇到这些场景基于前一天的数据分析出来过后呢?是否太晚了。所以在本阶段中我们引入了实时的数据采集与分析。主要包括了：FLUME实时数据采集，采集的来源支持非常广泛，KAFKA数据数据接收与发送，STORM实时数据处理，数据处理秒级别
八、 第八阶段：SPARK数据分析
1. 难易程序：五颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：SCALA入门(数据类型、运算符、控制语句、基础函数)、SCALA进阶(数据结构、类、对象、特质、模式匹配、正则表达式)、SCALA高级使用(高阶函数、科里函数、偏函数、尾迭代、自带高阶函数等)、SPARK入门(环境搭建、基础结构、运行模式)、Spark数据集与编程模型、SPARK SQL、SPARK 进阶(DATA FRAME、DATASET、SPARK STREAMING原理、SPARK STREAMING支持源、集成KAFKA与SOCKET、编程模型)、SPARK高级编程(Spark-GraphX、Spark-Mllib机器学习)、SPARK高级应用(系统架构、主要配置和性能优化、故障与阶段恢复)、SPARK ML KMEANS算法，SCALA 隐式转化高级特性
4. 描述如下：
同样先说前面的阶段，主要是第一阶段。HADOOP呢在分析速度上基于MR的大规模数据集相对来说还是挺慢的，包括机器学习，人工智能等。而且不适合做迭代计算。SPARK呢在分析上是作为MR的替代产品，怎么替代呢? 先说他们的运行机制，HADOOP基于磁盘存储分析，而SPARK基于内存分析。我这么说你可能不懂，再形象一点，就像你要坐火车从北京到上海，MR就是绿皮火车，而SPARK是高铁或者磁悬浮。而SPARK呢是基于SCALA语言开发的，当然对SCALA支持最好，所以课程中先学习SCALA开发语言。
在科多大数据课程的设计方面，市面上的职位要求技术，基本全覆盖。而且并不是单纯的为了覆盖职位要求，而是本身课程从前到后就是一个完整的大数据项目流程，一环扣一环。
比如从历史数据的存储，分析(HADOOP,HIVE,HBASE)，到实时的数据存储(FLUME,KAFKA)，分析(STORM,SPARK)，这些在真实的项目中都是相互依赖存在的。
目前大数据培训机构提供的课程大约有两种：一是大数据开发，二是数据分析与挖掘。大数据培训一般指大数据开发，不需要数学和统计学基础，学习的内容大概有：
0基础：
第一阶段： Java开发·
第二阶段： 大数据基础·
第三阶段： Hadoop生态体系·
第四阶段： Spark生态系统·
第五阶段： 项目实战
提高班：
第一阶段：大数据基础·
第二阶段：Hadoop生态体系·
第三阶段：Spark生态系统·
第四阶段：项目实战
链接: https://pan.baidu.com/s/1WUIdfFCvqJsPUfPLLn6VEA
信息平台在大数据领域应用实践综合分析的基础上，结合信息系统、决策支持等理论，从背景趋势、体系框架、理论方法、决策分析、应用现状等方面，全面、详细地对交通物流大数据决策分析体系进行了系统介绍。
绛旓細鎮ㄥソ锛屽ぇ鏁版嵁鍩硅鍐呭濡備笅锛1銆佸熀纭閮ㄥ垎锛欽AVA璇█ 鍜 LINUX绯荤粺銆2銆佸ぇ鏁版嵁鎶鏈儴鍒嗭細HADOOP銆丠IVE銆丱OZIE銆乄EB銆丗LUME銆丳YTHON銆丠BASE銆並AFKA銆丼CALA銆丼PARK銆丼PARK璋冧紭绛夛紝瑕嗙洊鍓嶆部鎶鏈細Hadoop,Spark,Flink,瀹炴椂鏁版嵁澶勭悊銆佺绾挎暟鎹鐞嗐佹満鍣瀛︿範銆3銆佸疄璁」鐩細涓鑸寘鎷琂AVA椤圭洰锛屽ぇ鏁版嵁椤圭洰锛屼紒涓氬ぇ鏁版嵁骞冲彴...
绛旓細澶ф暟鎹涓撲笟璇剧▼鍐呭涓板瘜澶氭牱锛屾棬鍦ㄥ煿鍏诲叏闈㈢殑鏁版嵁鍒嗘瀽澶勭悊涓撳銆備互涓嬫槸鏍稿績璇剧▼鐨勬杩帮細鍩虹鐞嗚锛氶珮绛夋暟瀛︺佹暟鐞嗙粺璁°佹鐜囪锛屼互鍙奝ython鍜孞AVA缂栫▼锛學eb寮鍙戝拰Linux鎿嶄綔绯荤粺绛夋妧鏈熀纭銆傛牳蹇冩妧鑳斤細闈㈠悜瀵硅薄绋嬪簭璁捐銆佹暟鎹寲鎺樸佹満鍣瀛︿範锛娑电洊浜嗘暟鎹簱鎶鏈佸ぇ鏁版嵁骞冲彴鎼缓杩愮淮銆佸簲鐢ㄥ紑鍙戝拰鍙鍖栬璁°備笓涓氭妧鑳斤細...
绛旓細濡傞渶澶ф暟鎹煿璁鎺ㄨ崘閫夋嫨銆愯揪鍐呮暀鑲层锛屽ぇ鏁版嵁瀛︿範璇剧▼濡備笅锛1銆丣ava璇█鍩虹锛氬ぇ鏁版嵁寮鍙戜富瑕佹槸鍩轰簬JAVA锛屼綔涓哄ぇ鏁版嵁搴旂敤鐨勫紑鍙戣瑷寰堝悎閫傘傘怞ava璇█銆戝熀纭鍖呮嫭Java寮鍙浠嬬粛銆丣ava璇█鍩虹銆丒clipse寮鍙戝伐鍏风瓑銆2銆丠TML銆丆SS涓嶫ava锛氱綉绔欓〉闈㈠竷灞銆丠TML5+CSS3鍩虹銆乯Query搴旂敤銆丄jax寮傛浜や簰绛夈3銆丩inux绯荤粺鍜...
绛旓細澶ф暟鎹煿璁瀛︾殑璇剧▼鏈夛細鏁版嵁鍒嗘瀽涓庢寲鎺樸佸ぇ鏁版嵁澶勭悊涓庡瓨鍌ㄦ妧鏈佹暟鎹簱鎶鏈笌绠＄悊銆佹暟鎹粨搴撲笌鍟嗕笟鏅鸿兘銆佹暟鎹畨鍏ㄤ笌闅愮淇濇姢銆傛暟鎹垎鏋愪笌鎸栨帢锛氬涔犲熀鏈殑缁熻瀛﹀師鐞嗗拰鏁版嵁鍒嗘瀽鏂规硶锛屽寘鎷暟鎹竻娲椼佹暟鎹彲瑙嗗寲銆佺壒寰佸伐绋嬨佹満鍣ㄥ涔犵畻娉曠瓑銆傚ぇ鏁版嵁澶勭悊涓庡瓨鍌ㄦ妧鏈細瀛︿範澶ф暟鎹澶勭悊妗嗘灦锛堝Hadoop銆丼park锛夊拰鍒嗗竷寮忓瓨鍌...
绛旓細澶勭悊鐨勬暟鎹噺閫氬父鏄疶B绾э紝鐢氳嚦PB鎴朎B绾х殑鏁版嵁锛屽彲浠 浼犵粺鐨勬暟鎹鐞嗘柟娉曟棤娉曞畬鎴愩傚畠娑夊強鍒板垎甯冨紡璁＄畻銆侀珮骞跺彂澶勭悊銆侀珮鍙敤鎬у鐞嗐侀泦缇ゃ佸疄鏃惰绠楃瓑銆傛眹闆嗕簡褰撳墠IT棰嗗煙鐨勭儹闂↖T鎶鏈傝寮濮嬫帴瑙澶ф暟鎹紝闇瑕佸涔犱互涓嬬煡璇嗙偣锛氬厛闄勪笂鑷繁鎬荤粨鐨勫涔犺矾绾垮浘銆1.Java缂栫▼鎶鏈疛ava缂栫▼鎶鏈槸澶ф暟鎹涔鐨勫熀纭銆侸ava...
绛旓細澶ф暟鎹鍩熺殑璇剧▼娑电洊浜嗗箍娉涚殑涓婚鍜屾妧鏈紝浠ヤ笅鏄竴浜涘父瑙佺殑澶ф暟鎹绋锛氭暟鎹瀛﹀璁猴細浠嬬粛鏁版嵁绉戝鐨勫熀鏈蹇点佸師鐞嗗拰鏂规硶璁猴紝鍖呮嫭鏁版嵁鏀堕泦銆佹暟鎹鐞嗐佹暟鎹垎鏋愬拰鏁版嵁鍙鍖栫瓑鍐呭銆傛暟鎹寲鎺樹笌鏈哄櫒瀛︿範锛氫粙缁嶆暟鎹寲鎺樺拰鏈哄櫒瀛︿範鐨勫熀鏈悊璁哄拰绠楁硶锛屽寘鎷仛绫汇佸垎绫汇佸洖褰掋佸喅绛栨爲銆佹敮鎸佸悜閲忔満銆佺缁忕綉缁滅瓑鎶鏈傚ぇ...
绛旓細鎯宠瀛︿範澶ф暟鎹绋鎺ㄨ崘閫夋嫨銆愯揪鍐呮暀鑲层戙傚ぇ鏁版嵁寮鍙鍩硅瀛︿範鍐呭锛1銆丣ava璇█鍩虹銆侸AVA浣滀负缂栫▼璇█锛屼娇鐢ㄦ槸寰堝箍娉涳紝銆愬ぇ鏁版嵁寮鍙戙戜富瑕佹槸鍩轰簬JAVA锛屼綔涓哄ぇ鏁版嵁搴旂敤鐨勫紑鍙戣瑷寰堝悎閫傘侸ava璇█鍩虹鍖呮嫭Java寮鍙浠嬬粛銆丣ava璇█鍩虹銆丒clipse寮鍙戝伐鍏风瓑銆2銆丠TML銆丆SS涓嶫ava銆傜綉绔欓〉闈㈠竷灞銆丠TML5+CSS3鍩虹銆乮...
绛旓細澶ф暟鎹紝鎸囨棤娉曞湪涓瀹氭椂闂磋寖鍥村唴鐢ㄥ父瑙勮蒋浠跺伐鍏疯繘琛屾崟鎹夈佺鐞嗗拰澶勭悊鐨勬暟鎹泦鍚堬紝鏄渶瑕佹柊澶勭悊妯″紡鎵嶈兘鍏锋湁鏇村己鐨勫喅绛栧姏銆佹礊瀵熷彂鐜板姏鍜屾祦绋嬩紭鍖栬兘鍔涚殑娴烽噺銆侀珮澧為暱鐜囧拰澶氭牱鍖栫殑淇℃伅璧勪骇銆傛兂瑕瀛︿範澶ф暟鎹绋鎺ㄨ崘閫夋嫨銆愯揪鍐呮暀鑲层戙傚湪澶ф暟鎹煿璁鐝富瑕佸煿璁唴瀹规湁锛氫竴銆佽绋嬪唴瀹规暀瀛︺備笉鍚岀殑鍩硅鏈烘瀯锛屾牴鎹绋嬪唴瀹...
绛旓細澶ф暟鎹钩鍙扮殑瀛︿範鏄ぇ鏁版嵁鎶鏈殑閲嶇偣瀛︿範鍐呭涔嬩竴锛屽ぇ鏁版嵁骞冲彴鐨勫涔犲唴瀹瑰寘鎷ぇ鏁版嵁骞冲彴鐨勯儴缃层佽皟璇曘佺淮鎶ょ瓑鍐呭銆傜洰鍓岺adoop銆丼park鏄瘮杈冨父瑙佺殑澶ф暟鎹钩鍙帮紝鍚屾椂杩欎袱涓钩鍙颁篃姣旇緝閫傚悎鍒濆鑰呭涔犲拰瀹為獙銆傜粡杩囧骞寸殑鍙戝睍锛岀洰鍓嶅ぇ鏁版嵁骞冲彴鐨勭粍浠跺凡缁忛愭笎涓板瘜锛屾墍浠ヨ繖閮ㄥ垎瀛︿範鍐呭涔熺浉瀵规瘮杈冨銆傚ぇ鏁版嵁鎶鏈笓涓氭庝箞鏍 ...
绛旓細棣栧厛鎴戜滑瑕佷簡瑙ava璇█鍜孡inux鎿嶄綔绯荤粺锛岃繖涓や釜鏄瀛︿範澶ф暟鎹鐨勫熀纭锛屽涔鐨勯『搴忎笉鍒嗗墠鍚庛侸ava 锛氬彧瑕佷簡瑙ｄ竴浜涘熀纭鍗冲彲锛屽仛澶ф暟鎹笉闇瑕佸緢娣辩殑Java 鎶鏈紝瀛ava SE 灏辩浉褰撲簬鏈夊涔犲ぇ鏁版嵁銆傚熀纭 Linux锛氬洜涓哄ぇ鏁版嵁鐩稿叧杞欢閮芥槸鍦↙inux涓婅繍琛岀殑锛屾墍浠inux瑕佸涔犵殑鎵庡疄涓浜涳紝瀛﹀ソLinux瀵逛綘蹇熸帉鎻″ぇ鏁版嵁鐩稿叧...
