学大数据,需要学什么课程吗
IT时代逐渐开始向大数据DT时代迈进，很多企业和个人纷纷开始向大数据靠拢，希望在岗起步的道路上能占有一个属于自己的数据空间，迎接以后更激烈的竞争环境。企业向大数据靠拢的方法就是招揽一些大数据方面的人才，而个人向大数据靠拢的方式就是去学习大数据。想学习大数据的人越来越多，但是，大数据到底学的课程是什么呢？大数据学习的知识点都有哪些呢？下面给大家好好普及一下，这样学起来才会有的放矢。
首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。
Java：只要了解一些基础即可，做大数据不需要很深的Java技术，学javaSE就相当于有学习大数据。基础
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
记住学到这里可以作为你学大数据的一个节点。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。
绛旓細涓昏璇剧▼鍖呭惈浠ヤ笅锛氬熀纭璇剧▼锛鏁板鍒嗘瀽銆侀珮绛変唬鏁般佹櫘閫氱墿鐞嗘暟瀛︿笌淇℃伅绉戝姒傝銆佹暟鎹粨鏋勩佹暟鎹瀛﹀璁恒佺▼搴忚璁″璁恒佺▼搴忚璁″疄璺銆傚繀淇锛氱鏁ｆ暟瀛︺佹鐜囦笌缁熻銆佺畻娉曞垎鏋愪笌璁捐銆佹暟鎹绠楁櫤鑳姐佹暟鎹簱绯荤粺姒傝銆佽绠楁満绯荤粺鍩虹銆佸苟琛屼綋绯荤粨鏋勪笌缂栫▼銆侀潪缁撴瀯鍖栧ぇ鏁版嵁鍒嗘瀽銆傞変慨璇撅細鏁版嵁绉戝绠楁硶瀵艰銆佹暟鎹瀛...
绛旓細1. 鏁板鍒嗘瀽锛氳繖鏄ぇ鏁版嵁棰嗗煙鐨勫熀纭璇剧▼锛屽寘鎷珮绛夋暟瀛︺佺嚎鎬т唬鏁扮瓑锛屼负鏁版嵁鍒嗘瀽鎻愪緵鏁板鍩虹銆2. 缁熻瀛︼細缁熻瀛︽槸澶ф暟鎹鐞嗙殑閲嶈宸ュ叿锛屽涔犵粺璁″鍙互鎺屾彙鏁版嵁鏀堕泦銆佸鐞嗐佸垎鏋愮殑鍩烘湰鏂规硶锛屼负鏁版嵁鎸栨帢鍜岃В鏋愭彁渚涚悊璁烘敮鎸併3. 鏁版嵁鎸栨帢锛氭暟鎹寲鎺樻槸浠庡ぇ閲忔暟鎹腑鎻愬彇鏈変环鍊间俊鎭殑杩囩▼锛岃绋嬩細娑电洊鏁版嵁鎸栨帢鐨...
绛旓細1銆澶ф暟鎹笓涓氶渶瑕佸锛氭暟瀛﹀垎鏋銆侀珮绛変唬鏁般佹櫘閫氱墿鐞嗘暟瀛︿笌淇℃伅绉戝姒傝銆佹暟鎹粨鏋勩佹暟鎹瀛﹀璁恒佺▼搴忚璁″璁恒佺▼搴忚璁″疄璺点佺鏁ｆ暟瀛︺佹鐜囦笌缁熻銆佺畻娉曞垎鏋愪笌璁捐銆佹暟鎹绠楁櫤鑳姐佹暟鎹簱绯荤粺姒傝銆佽绠楁満绯荤粺鍩虹銆佸苟琛屼綋绯荤粨鏋勪笌缂栫▼銆侀潪缁撴瀯鍖栧ぇ鏁版嵁鍒嗘瀽绛夈2銆佸ぇ鏁版嵁鎶鏈棬鍦ㄥ煿鍏诲鐢熺郴缁熸帉鎻℃暟鎹鐞嗗拰鏁版嵁...
绛旓細涓銆佸ぇ鏁版嵁涓撲笟鏍稿績璇剧▼ 1. 鏁板鍒嗘瀽銆侀珮绛変唬鏁帮細浣滀负鏁版嵁绉戝鐨勫熀纭锛岃繖涓ら棬璇剧▼涓哄鐢熸彁渚涗簡蹇呰鐨勬暟瀛﹀伐鍏峰拰鐞嗚鍩虹锛屽府鍔╀粬浠悊瑙ｅ拰瑙ｅ喅澶嶆潅鐨勬暟鎹棶棰樸2. 鏅氱墿鐞嗘暟瀛︿笌淇℃伅绉戝姒傝锛氭璇剧▼缁撳悎鐗╃悊鏁板鐨勫熀鏈蹇靛拰淇℃伅绉戝鐨勭煡璇嗭紝涓哄鐢熷缓绔嬫暟鎹鐞嗙殑缁煎悎瑙嗚銆3. 鏁版嵁缁撴瀯涓庢暟鎹瀛﹀璁猴細杩欎袱...
绛旓細澶ф暟鎹妧鏈绋嬶細Spark銆丼torm銆丠adoop銆丗link绛;鏁版嵁瀛樺偍璇剧▼锛氬垎甯冨紡鏂囦欢绯荤粺鍙婂垎甯冨紡鏁版嵁搴撱佹暟鎹瓨鍌ㄦ牸寮;璧勬簮绠＄悊鍜屾湇鍔″崗璋冭绋嬶細YARN銆乑ooKeeper銆傚澶ф暟鎹鍏峰浠涔堣兘鍔 1銆佸澶ф暟鎹鍏锋湁璁＄畻鏈虹紪绋嬪姛鑳姐傚ぇ鏁版嵁鎶鏈缓绔嬪湪浜掕仈缃戜笂锛屾墍浠ユ嫢鏈夌紪绋嬫妧宸ф湁寰堝ぇ鐨勫ソ澶勩2銆佸澶ф暟鎹鍏锋湁涓瀹氱殑鏁板鑳藉姏鏄潪甯...
绛旓細澶ф暟鎹妧鏈笓涓氫互缁熻瀛︺佹暟瀛︺佽绠楁満涓轰笁澶ф敮鎾戞у绉戯紱鐢熺墿銆佸尰瀛︺佺幆澧冪瀛︺佺粡娴庡銆佺ぞ浼氬銆佺鐞嗗涓哄簲鐢ㄦ嫇灞曟у绉戙傛澶栬繕闇瀛︿範鏁版嵁閲囬泦銆佸垎鏋愩佸鐞嗚蒋浠讹紝瀛︿範鏁板寤烘ā杞欢鍙婅绠楁満缂栫▼璇█绛夎绋嬨傚ぇ鏁版嵁涓撲笟鏈鍝簺璇剧▼ 澶ф暟鎹笓涓氫竴锛岀紪绋嬭瑷璇剧▼ 瑕佸涔犲ぇ鏁版嵁鎶鏈紝棣栧厛瑕佹帉鎻′竴闂ㄥ熀鏈殑缂栫▼璇█銆
绛旓細澶ф暟鎹鎶鏈笓涓氱殑瀛︾敓闇瑕佸涔犵殑璇剧▼鍐呭鏈夐潰鍚戝璞＄▼搴忚璁°丠adoop瀹炵敤鎶鏈佹暟鎹寲鎺樸佹満鍣ㄥ涔犮佹暟鎹粺璁″垎鏋愩侀珮绛夋暟瀛︺丳ython缂栫▼銆丣AVA缂栫▼銆佹暟鎹簱鎶鏈乄eb寮鍙戙丩inux鎿嶄綔绯荤粺銆佸ぇ鏁版嵁骞冲彴鎼缓鍙婅繍缁淬佸ぇ鏁版嵁搴旂敤寮鍙戙佸彲瑙嗗寲璁捐涓庡紑鍙戠瓑璇剧▼銆傚ぇ鏁版嵁鎶鏈瑕佸鍝簺璇剧▼ 绗竴锛屽ぇ鏁版嵁鎶鏈瀛︾紪绋嬭瑷璇剧▼ ...
绛旓細澶ф暟鎹涓撲笟瑕佸鐨勮绋嬫湁锛氭暟瀛﹀垎鏋愩侀珮绛変唬鏁般佹櫘閫氱墿鐞嗘暟瀛︿笌淇℃伅绉戝姒傝銆佹暟鎹粨鏋勩佹暟鎹瀛﹀璁恒佺▼搴忚璁″璁恒佺▼搴忚璁″疄璺点佺鏁ｆ暟瀛︾瓑璇剧▼銆傚ぇ鏁版嵁涓撲笟瀛︿粈涔堣绋 澶ф暟鎹笓涓闇瑕佸锛氭鐜囦笌缁熻銆佺畻娉曞垎鏋愪笌璁捐銆佹暟鎹绠楁櫤鑳姐佹暟鎹簱绯荤粺姒傝銆佽绠楁満绯荤粺鍩虹銆佸苟琛屼綋绯荤粨鏋勪笌缂栫▼銆侀潪缁撴瀯鍖栧ぇ鏁版嵁鍒嗘瀽绛...
绛旓細瀛︾殑涓昏鍐呭鏈夛細鈶燡avaSE鏍稿績鎶鏈 鈶adoop骞冲彴鏍稿績鎶鏈丠ive寮鍙戙丠Base寮鍙 鈶park鐩稿叧鎶鏈丼cala鍩烘湰缂栫▼ 鈶ｆ帉鎻ython鍩烘湰浣跨敤銆佹牳蹇冨簱鐨勪娇鐢ㄣ丳ython鐖櫕銆佺畝鍗曟暟鎹垎鏋愶紱鐞嗚ВPython鏈哄櫒瀛︿範 鈶ゅぇ鏁版嵁椤圭洰寮鍙戝疄鎴橈紝澶ф暟鎹郴缁熺鐞嗕紭鍖 鈶ヤ簯骞冲彴寮鍙戞妧鏈 鏁翠綋鏉ヨ锛屽ぇ鏁版嵁璇剧▼鐭ヨ瘑鐐瑰锛岃绋闅惧害杈冨ぇ銆
绛旓細澶ф暟鎹笌璁＄畻鏈虹鎶绱у瘑鐩歌繛銆傚鐢闇瑕佸涔鏁版嵁缁撴瀯銆佹搷浣滅郴缁熴佽绠楁満缃戠粶銆佹暟鎹簱鍘熺悊绛夎绠楁満鍩虹璇剧▼锛鎺屾彙鏁版嵁澶勭悊鐨勬妧鑳斤紝鍖呮嫭鏁版嵁閲囬泦銆佸瓨鍌ㄣ佸垎鏋愬拰鍙鍖栫瓑銆3. 澶ф暟鎹鐞嗕笌鍒嗘瀽鎶鏈 杩欐槸澶ф暟鎹笓涓氱殑鏍稿績璇剧▼銆傚鐢熼渶瑕佹繁鍏瀛︿範澶ф暟鎹澶勭悊妗嗘灦鍜屽伐鍏凤紝濡侶adoop銆丼park绛夛紝浠ュ強澶ф暟鎹垎鏋愮殑鏂规硶鍜屾妧鏈紝鍖呮嫭...
