java中会学到爬虫吗？ 只会java se可以写爬虫吗？
\u521d\u5b66\u8005\u5b66\u4e60JAVA\u7f51\u7edc\u722c\u866b\u4e0d\u77e5\u9053\u600e\u4e48\u53bb\u6559\u4f60\uff0c\u53ea\u80fd\u8bf4\u8bf4\u6211\u81ea\u5df1\u7684\u5b66\u4e60\u7ecf\u5386\u3002
\u521d\u5b66Java\uff0c\u5305\u62ec\u5b66\u4e60\u4e00\u4e24\u5e74\u7684\uff0c\u5f88\u96be\u7cbe\u901aJava\u3002\u7279\u522b\u662f\u5bf9\u4e8e\u5728\u6821\u7684\u5b66\u751f\uff0c\u5b66\u751f\u53ea\u662f\u5e26\u7740\u5b66\u4e60Java\u8fd9\u79cd\u60c5\u51b5\uff0c\u5bf9\u4e8e\u591a\u6001\u3001\u91cd\u8f7d\u3001\u63a5\u53e3\u7684\u8fd0\u7528\u7b49\u7b49\u7684\u7406\u89e3\u5e76\u4e0d\u591f\u3002
\u8bf4\u7406\u8bba\u592a\u96be\u8bf4\uff0c\u4f60\u73b0\u5728\u7684\u60c5\u51b5\u5c31\u76f4\u63a5\u4e0a\u624b\u9879\u76ee\uff0c\u81ea\u5df1\u505a\u4e1c\u897f\u30021\u3001\u5148\u8ddf\u7740\u505a\u4e00\u4e2a\u6574\u4f53\u7684\u9879\u76ee\uff0c\u6bd4\u5982\u5766\u514b\u5927\u6218\u4e4b\u7c7b\u7684\uff0c\u8fd9\u6837\u80fd\u5e26\u7740\u4f60\u6574\u4f53\u7406\u89e3Java\uff0c\u501f\u6b64\u81ea\u5df1\u53cd\u601dJava\u57fa\u7840\u54ea\u91cc\u5b66\u7684\u4e0d\u597d\uff0c\u8865\u30022\u3001\u7136\u540e\u505aJavaWeb\u9879\u76ee\uff0c\u7406\u89e3\u6846\u67b6\u3001\u4e00\u4e9b\u7b80\u5355\u7684\u8bbe\u8ba1\u6a21\u5f0f\uff0c\u5c1d\u8bd5\u505a\u4e00\u4e2a\u5fae\u535a\u7684\u9879\u76ee\uff08\u4e0d\u597d\u610f\u601d\uff0c\u6211\u5f53\u5e74\u505a\u7684\u7b2c\u4e00\u4e2aweb\u9879\u76ee\u5c31\u662f\u5fae\u535a\u7cfb\u7edf\uff0c\u563f\u563f\uff09\u6216\u8005\u5176\u4ed6\u7684\u3002\u6211\u81ea\u5df1\u89c9\u5f97\u505aweb\u9879\u76ee\u6700\u597d\uff0c\u5f88\u591aJava\u53ea\u662f\u90fd\u80fd\u5728\u9879\u76ee\u4e2d\u52a0\u6df1\u7406\u89e3\u3002
\u5176\u5b9e\u60f3\u8bf4\u7684\u5c31\u662f\uff0cjava\u5165\u95e8\u4e0d\u96be\uff0c\u4f46\u662f\u60f3\u7cbe\u901a\u5f88\u96be\u3002\u5b66\u4e60.....\u53cd\u601d....\u9879\u76ee......\u5b66\u4e60.....\u53cd\u601d....
\u6211\u5c31\u7b80\u5355\u8bf4\u8fd9\u4e48\u4e00\u70b9\u70b9\u3002\u6709\u4ec0\u4e48\u4f60\u8ddf\u6211\u79c1\u804a\u3002\u53ea\u8981\u575a\u6301\u4e0b\u6765\uff0c\u76f8\u4fe1\u4f60\u4f1a\u6210\u529f\u3002
\u5b8c\u5168\u53ef\u4ee5\uff0c\u8db3\u591f\u4e86\uff0c\u53ea\u8981\u4f60\u4f1a\u89e3\u6790\u7f51\u9875\u5c31\u53ef\u4ee5\u4e86
学习软件开发的话这两个都会涉及到，但是如果你是专攻java的话一般是不会学到“爬虫”的。Java可以爬虫，学不学得到看你愿不愿意主动去学
说起网络爬虫，大家想起的估计都是 Python ，诚然爬虫已经是 Python 的代名词之一，相比 Java 来说就要逊色不少。有不少人都不知道 Java 可以做网络爬虫，其实 Java 也能做网络爬虫而且还能做的非常好，在开源社区中有不少优秀的 Java 网络爬虫框架，例如 webmagic 。
这几年来网络爬虫比较火，但是一般都是Python爬虫，如果你真想学习 Java 网络爬虫，也是可以的，我给你几个建议：
1、有 “道德” 的爬虫
我为什么会把这一点放在最前面呢？因为我觉得这一点比较重要，什么叫有 “道德” 的爬虫呢？就是遵循被爬服务器的规则，不去影响被爬服务器的正常运行，不把被爬服务搞垮，这就是有 “道德” 的爬虫。
2、学会分析 Http 请求
我们每一次与服务端的交互都是通过 Http 协议，当然也有不是 Http 协议的，这个能不能采集我就不知道啦，没有采集过，所以我们只谈论 Http 协议，在 Web 网页中分析 Http 协议还是比较简单
3、学会 HTML 页面解析
我们采集的页面都是 HTML 页面，我们需要在 HTML 页面中获取我们需要的信息，这里面就涉及到了 HTML 页面解析，也就是 DOM 节点解析，这一点是重中之重，如果你不会这一点就像魔术师没有道具一样，只能干瞪眼啦。
4、了解反爬虫策略
因为现在爬虫非常泛滥，很多网站都会有反爬虫机制，来过滤掉爬虫程序，以便保证网站的可以用，这也是非常有必要的手段，毕竟如果网站不能使用了，就没有利益可谈啦。
以上就是我的回答，希望对你有所帮助
会的呀，有这方面的书可以了解一下
绛旓細瀛︿範杞欢寮鍙戠殑璇濊繖涓や釜閮戒細娑夊強鍒帮紝浣嗘槸濡傛灉浣犳槸涓撴敾java鐨勮瘽涓鑸槸涓嶄細瀛﹀埌鈥滅埇铏濈殑銆
绛旓細绛旀锛欽ava鐖櫕鏄竴绉嶄娇鐢↗ava缂栫▼璇█缂栧啓鐨勭綉缁滅埇铏▼搴銆傚畠涓昏鐢ㄤ簬浠庣綉绔欎腑鎻愬彇鏁版嵁锛屽彲浠ヨ嚜鍔ㄥ寲鍦拌闂綉椤靛苟鏀堕泦淇℃伅銆侸ava鐖櫕甯哥敤浜庢暟鎹姄鍙栥佹暟鎹寲鎺樸佹悳绱㈠紩鎿庣瓑鍦烘櫙銆傝缁嗚В閲婏細1. Java鐖櫕鐨勫畾涔夛細Java鐖櫕鏄竴绉嶅埄鐢↗ava缂栫▼璇█寮鍙戠殑绋嬪簭锛屽畠鑳藉鑷姩鍦拌闂簰鑱旂綉涓婄殑缃戦〉锛岃幏鍙栫綉椤典腑鐨勬暟鎹...
绛旓細鑳藉鍋氱綉缁滅埇铏殑缂栫▼璇█寰堝锛屽寘鎷琍HP銆丣ava銆丆/C++銆丳ython绛夐兘鑳藉仛鐖櫕锛岄兘鑳借揪鍒版姄鍙栨兂瑕佺殑鏁版嵁璧勬簮銆傞拡瀵逛笉鍚岀殑鐜锛屾垜浠渶瑕佷簡瑙ｄ粬浠仛鐖櫕鐨勪紭缂虹偣锛屾墠鑳介夊嚭鍚堥傜殑寮鍙戠幆澧冦傦紙涓锛塒HP 缃戠粶鐖櫕闇瑕佸揩閫熺殑浠庢湇鍔″櫒涓姄鍙栭渶瑕佺殑鏁版嵁锛屾湁鏃舵暟鎹噺杈冨ぇ鏃堕渶瑕佽繘琛屽绾跨▼鎶撳彇銆侾HP铏界劧鏄笘鐣屼笂鏈濂界殑...
绛旓細Java缃戠粶鐖櫕鍙互閫氳繃浣跨敤绗笁鏂瑰簱鎴栬嚜琛岀紪鍐欎唬鐮佹潵瀹炵幇銆備互涓嬫槸涓绉嶅父瑙佺殑瀹炵幇鏂瑰紡锛1. 瀵煎叆鐩稿叧鐨勫簱锛氬湪Java椤圭洰涓紝鍙互浣跨敤Jsoup绛夌涓夋柟搴撴潵澶勭悊HTML椤甸潰锛岃幏鍙栭〉闈㈠唴瀹广2. 鍙戦丠TTP璇锋眰锛氫娇鐢↗ava鐨勭綉缁滆姹傚簱锛屽HttpClient鎴朒ttpURLConnection锛屽彂閫丠TTP璇锋眰鑾峰彇缃戦〉鍐呭銆3. 瑙ｆ瀽缃戦〉鍐呭锛氫娇鐢↗soup...
绛旓細鏂伴椈缃戦〉鎶撳彇鐨鐖櫕鐨勬潈閲嶈缃笌鏅氱埇铏細鏈夋墍鍖哄埆銆傞鍏堥渶瑕佽繘琛屾柊闂绘簮鐨勭瓫閫夛紝杩欓噷鏈変袱绉嶆柟寮忥紝涓绉嶆槸浜哄伐璁剧疆鏂伴椈婧愶紝濡傛柊娴椤碉紝绗簩绉嶆柟寮忔槸閫氳繃鏈哄櫒瀛︿範鐨勬柟娉曘傛柊闂绘簮鍙互瀹氫箟閾炬帴鏁伴潪甯稿锛岄摼鎺ュ唴瀹圭粡甯稿彉鍖栫殑缃戦〉銆備粠鏂伴椈婧愮綉椤靛嚭鍙戝線涓嬫姄鍙栫粰瀹氬眰绾ч檺鍒剁殑缃戦〉鎵寰楀埌锛屽啀鏍规嵁缃戦〉涓殑鏃堕棿鎴充俊鎭垽鏂...
绛旓細Java鐖櫕閫氬父娑夊強鍒癏TML瑙ｆ瀽銆乁RL绠＄悊銆丆ookie绠＄悊绛夋妧鏈紝闇瑕佹帉鎻TTP鍗忚銆佹鍒欒〃杈惧紡銆佺紪鐮佽浆鎹㈢瓑鐭ヨ瘑锛岃兘澶熸牴鎹疄闄呴渶瑕侀夋嫨鐩稿簲鐨勫簱鎴栨鏋惰繘琛屽紑鍙戙傚畠鍙互搴旂敤浜庡绉嶉鍩燂紝渚嬪鎼滅储寮曟搸銆佹暟鎹垎鏋愩佹帹鑽愮郴缁熴佽嚜鍔ㄥ寲娴嬭瘯绛夈傝櫧鐒禞ava鐖櫕鏈夌潃骞挎硾鐨勫簲鐢ㄥ満鏅紝浣嗘槸鍦ㄤ娇鐢ㄤ笂涔熼渶瑕侀伒寰竴浜涜鑼冨拰娉曞緥娉曡锛...
绛旓細璇ョ▼搴忛渶瑕佹帉鎻℃妧鏈涓嬶細1銆丠TTP鍗忚锛氫簡瑙TTP鍗忚锛屽苟瀛︿細浣跨敤HTTP瀹㈡埛绔簱杩涜缃戠粶璇锋眰銆2銆佹暟鎹瓨鍌細浜嗚В鏁版嵁搴撶浉鍏崇煡璇嗭紝骞跺浼氫娇鐢ㄦ暟鎹簱杩涜鏁版嵁瀛樺偍鍜屾煡璇㈡搷浣溿3銆佸苟鍙戝鐞嗭細鎺屾彙骞跺彂澶勭悊鍜屽绾跨▼鎶鏈紝骞跺浼氫娇鐢ㄧ嚎绋嬫睜绛夊伐鍏锋彁楂樼▼搴忔ц兘銆
绛旓細Java寮婧怶eb鐖櫕 Heritrix Heritrix鏄竴涓紑婧愶紝鍙墿灞曠殑web鐖櫕椤圭洰銆侶eritrix璁捐鎴愪弗鏍兼寜鐓obots.txt鏂囦欢鐨勬帓闄ゆ寚绀哄拰META robots鏍囩銆傛洿澶欻eritrix淇℃伅 WebSPHINX WebSPHINX鏄竴涓狫ava绫诲寘鍜學eb鐖櫕鐨勪氦浜掑紡寮鍙戠幆澧冦俉eb鐖櫕(涔熷彨浣滄満鍣ㄤ汉鎴栬湗铔)鏄彲浠ヨ嚜鍔ㄦ祻瑙堜笌澶勭悊Web椤甸潰鐨勭▼搴忋俉ebSPHINX鐢变袱閮ㄥ垎缁勬垚锛...
绛旓細1銆Java瀹炵幇缃戠粶鐖櫕鐨勪唬鐮佽姣擯ython澶氬緢澶氾紝鑰屼笖瀹炵幇鐩稿澶嶆潅涓浜涖2銆丣ava瀵逛簬鐖櫕鐨勭浉鍏冲簱涔熸湁锛屼絾鏄病鏈塒ython閭ｄ箞澶氥備笉杩囧氨鐖櫕鐨勬晥鏋滄潵鐪嬶紝Java鍜孭ython閮借兘鍋氬埌锛屽彧涓嶈繃宸ョ▼閲忎笉鍚岋紝瀹炵幇鐨勬柟寮忎篃鏈夋墍宸紓銆傛洿澶氱殑浼樺姡鏈熷緟澶т浆浠笉鍚濊祼鏁欍傛帹鑽愭暀绋嬶細 銆奝ython鏁欑▼銆嬩互涓婂氨鏄皬缂栧垎浜殑鍏充簬鐖櫕涓轰粈涔...
绛旓細缂虹偣锛氶渶瑕佹帶鍒跺苟鍙戯紝骞朵笖瑕佹帶鍒朵粈涔堟椂鍊欓攢姣佺嚎绋嬶紙thread1绌洪棽锛屽苟涓攓ueue涓虹┖涓嶄唬琛ㄤ换鍔″彲浠ョ粨鏉燂紝鍙兘thread2缁撴灉杩樻病杩斿洖锛夛紝褰撹鎶撳彇鐨勭綉绔欏搷搴旇緝鎱㈡椂锛屼細鎷栨參鏁翠釜鐖櫕杩涘害銆備笁銆佸疄鐜 鎶撳彇鏂瑰紡鏈缁堣繕鏄夋嫨浜嗘柟娉曚簩锛屽洜涓虹嚎绋嬫暟鍙厤缃紒浣跨敤鎶鏈細jfinal鐢ㄤ簡涔嬪悗鎵嶅彂鐜拌繖涓滆タ涓嶉傚悎锛屼絾鏄敱浜庨」鐩繘搴﹂棶棰...
