python读取mysql数据写入ES总结
准备工作： mysql库的安装。
python中mysql库用的是mysql-connector，安装执行如下命令：
第一步： 连接mysql，读取数据。
通过执行sql语句，读取mysql数据。
至此，获得mysql的原始数据raw_data 。接下来对数据进行预处理，按日期进行分组聚合，然后重命名行和列名，得到dataFrame格式的数据。
第二步： 连接ES。
这步没有太多的可解释的地方，就是配置信息。
第三步： ES主键加密。
这步的目的是为了保持主键唯一性，防止重复写入。用的方法是md5加密。
第四步： 写入ES
至此，一切的准备工作都做好了，数据也有了，主键加密也做了，就开始写入了。
用main方法执行以上方法：
最后查看一下ES写的是否成功，用查询方法
如果返回以下信息，说明ES里成功插入了数据。
另外，ES删除索引的操作：
绛旓細浣犻兘绂讳笉寮瑕佸拰鏁版嵁搴撴墦浜ら亾锛岃 MySQL 鍙堟槸鏈娴佽鐨勪竴绉嶆暟鎹簱锛岃繖绡囨枃绔犱粙缁 Python 鎿嶄綔 MySQL 鐨勫嚑绉嶆柟寮忥紝浣犲彲浠ュ湪瀹為檯寮鍙戣繃绋嬩腑鏍规嵁瀹為檯鎯呭喌鍚堢悊閫夋嫨銆1銆丮ySQL-pythonMySQL-python 鍙堝彨 MySQLdb锛屾槸 Python 杩炴帴 MySQL 鏈娴佽鐨勪竴涓┍鍔紝寰堝妗嗘灦閮戒篃鏄熀浜庢搴撹繘琛屽紑鍙戯紝閬楁喚鐨勬槸瀹冨彧鏀寔 ...
绛旓細3銆佸叧闂暟鎹簱杩炴帴1銆MySQL鏁版嵁搴撹鐢∕ySQLdb妯″潡,浣Python鐢ㄦ潵閾炬帴MySQL鐨勭涓夋柟搴揗ySQLdb涓嶆敮鎸丳ython3.x鐗瑰埆璇存槑:鎴戝湪鎴戠殑鐢佃剳涓婂疄楠屾椂,鎴戠殑python鏄2.7.2鐗堟湰,瀹夎瀵瑰簲鐗堟湰鐨凪ySQLdb涔嬪悗鐩存帴鍙互杩愯,骞朵笌鏁版嵁搴撹繛鎺ユ垚鍔,鎵浠ュ鏋滃ぇ瀹朵篃鍍忔垜涓鏍烽『鍒╃殑璇,涓嬮潰鐨勫氨涓嶉渶瑕佺湅浜,鐩存帴璺宠繃,鐪嬬2鐐瑰浣曟墽琛宻ql璇彞...
绛旓細linux鐜涓python鎬庢牱鎿嶄綔mysql鏁版嵁搴撳憿锛熸柟娉曞涓嬶細棣栧厛鍦↙inux鐜涓嬪畨瑁卪ysql-python 1銆佷笅杞絤ysql-python 鎵撳紑缁堢锛歝d /usr/local sudo wget http://nchc.dl.sourceforge.net/sourceforge/mysql-python/MySQL-python-1.2.2.tar.gz 瀹樼綉鍦板潃锛歨ttp://sourceforge.net/projects/mysql-python/ 2銆...
绛旓細鐨勫姛鑳斤紝鎴戜釜浜轰及璁 MySQL 鏈潵鐨勭増鏈粠鍙兘浼氬熀浜 Binlog 鎺ㄥ嚭杩欐牱鐨勫姛鑳姐備簡瑙ｄ簡 Binlog 鐨勭粨鏋勶紝鍐嶅姞涓 Python 杩欐妸鐟炲＋鍐涘垁锛屾垜浠繕鍙互瀹炵幇寰堝鍔熻兘锛屼緥濡傛垜浠彲浠ョ粺璁″摢涓〃琚慨鏀瑰湴鏈澶氾紵鎴戜滑杩樺彲浠ユ妸 Binlog 鍒囧壊鎴愪竴娈典竴娈电殑锛岀劧鍚庡啀閲嶇粍锛屽彲浠ョ伒娲诲湴杩涜 MySQL 鏁版嵁搴撶殑淇敼鍜岃縼绉荤瓑宸ヤ綔銆
绛旓細D:\python\python.exe D:/pythonide/pythonprojectworkspace/python/mysql.pyID: 1 鍚嶅瓧锛 绉﹀ぉ 鎬у埆锛 鐢 ID: 2 鍚嶅瓧锛 鐜嬫櫠 鎬у埆锛 濂 Process finished with exit code 0 鍘熸枃 http://qindongliang1922.iteye.com/blog/2096512琛ュ厖璇存槑锛歮ysqldb浣滀负python杩炴帴mysql鏁版嵁搴撶殑宸ュ叿锛屼絾鏄...
绛旓細python3浣跨敤PyMysql杩炴帴mysql鏁版嵁搴 python璇█鐨3 x瀹屽叏涓嶅悜鍓嶅吋瀹,瀵艰嚧鎴戜滑鍦╬ython2 x涓彲浠ユ甯镐娇鐢ㄧ殑搴,鍒颁簡python3灏辩敤涓嶄簡浜 姣斿璇磎ysqldb鐩墠MySQLdb骞朵笉鏀寔python3 python璇█鐨3.x瀹屽叏涓嶅悜鍓嶅吋瀹,瀵艰嚧鎴戜滑鍦╬ython2.x涓彲浠ユ甯镐娇鐢ㄧ殑搴,鍒颁簡python3灏辩敤涓嶄簡浜.姣斿璇磎ysqldb 鐩墠MySQLdb骞...
绛旓細python3鍙戝竷浠ユ潵锛岃幏鍙栦簡骞垮ぇ绋嬪簭鍛樹滑鐨勫樊璇勶紝璇翠笉绋冲畾锛屽張鏄笉鍏煎浠涔堢殑锛屼笉杩囧樊璇勫綊宸瘎锛宲ython3鏃㈢劧宸茬粡鍙戝竷锛岃偗瀹氭槸涓秼鍔匡紝浣嗗湪python3.4閲岄潰锛屼娇鐢ㄥ師鏉ython2.7鐨刴ysqldb宸茬粡涓嶈兘杩炴帴mysql鏁版嵁搴撲簡锛屾瘮杈冧护浜虹籂缁擄紝涓嶈繃鎴戜滑鍙互浣跨敤pymysql锛屾潵瀹屾垚杩炴帴mysql鐨勯噸浠伙紝姝ラ濡備笅锛氬簭鍙锋弿杩 1鍘籫ithub涓...
绛旓細Pandas鏄Python涓嬩竴涓紑婧鏁版嵁鍒嗘瀽鐨勫簱锛屽畠鎻愪緵鐨勬暟鎹粨鏋凞ataFrame鏋佸ぇ鐨勭畝鍖栦簡鏁版嵁鍒嗘瀽杩囩▼涓竴浜涚箒鐞愭搷浣溿1. 鍩烘湰浣跨敤锛氬垱寤篋ataFrame. DataFrame鏄竴寮犱簩缁寸殑琛紝澶у鍙互鎶婂畠鎯宠薄鎴愪竴寮燛xcel琛ㄥ崟鎴栬匰ql琛ㄣ侲xcel 2007鍙婂叾浠ュ悗鐨勭増鏈殑鏈澶ц鏁版槸1048576锛屾渶澶у垪鏁版槸16384锛岃秴杩囪繖涓妯＄殑鏁版嵁Excel灏变細...
绛旓細妫楠屽畨瑁呭畨瑁呮槸鍚︽垚鍔熺殑鏂规硶锛歩mport pymysql 銆 濡傛灉涓嶆姤閿 璇存槑瀹夎鎴愬姛銆3銆乵ysql瀹夎鐩綍涓篋:/phpStudy/MySQL銆備负閬垮厤鏇村閰嶇疆闂锛屽彲鍦ㄥ惎鍔╬hpstudy鍚庯紝灏嗗叾璁句负绯荤粺鏈嶅姟 4銆佸熀鏈搷浣滐細锛1锛夊鍏ymysql: import pymysql 锛2锛夎繛鎺鏁版嵁搴擄細conn=pymysql.connect(host='localhost',user='root'...
绛旓細妫楠屽畨瑁呭畨瑁呮槸鍚︽垚鍔熺殑鏂规硶锛歩mport pymysql 銆 濡傛灉涓嶆姤閿 璇存槑瀹夎鎴愬姛銆3銆乵ysql瀹夎鐩綍涓篋:/phpStudy/MySQL銆備负閬垮厤鏇村閰嶇疆闂锛屽彲鍦ㄥ惎鍔╬hpstudy鍚庯紝灏嗗叾璁句负绯荤粺鏈嶅姟 4銆佸熀鏈搷浣滐細锛1锛夊鍏ymysql: import pymysql 锛2锛夎繛鎺鏁版嵁搴擄細conn=pymysql.connect(host='localhost',user='root'...
