如何用pandas分析mysql中的数据 如何将mysql的数据读取python
\u600e\u4e48\u5229\u7528pandas\u505a\u6570\u636e\u5206\u6790\uff1f\u57fa\u672c\u4f7f\u7528\uff1a\u521b\u5efaDataFrame. DataFrame\u662f\u4e00\u5f20\u4e8c\u7ef4\u7684\u8868\uff0c\u5927\u5bb6\u53ef\u4ee5\u628a\u5b83\u60f3\u8c61\u6210\u4e00\u5f20Excel\u8868\u5355\u6216\u8005Sql\u8868\u3002Excel 2007\u53ca\u5176\u4ee5\u540e\u7684\u7248\u672c\u7684\u6700\u5927\u884c\u6570\u662f1048576\uff0c\u6700\u5927\u5217\u6570\u662f16384\uff0c\u8d85\u8fc7\u8fd9\u4e2a\u89c4\u6a21\u7684\u6570\u636eExcel\u5c31\u4f1a\u5f39\u51fa\u4e2a\u6846\u6846\u201c\u6b64\u6587\u672c\u5305\u542b\u591a\u884c\u6587\u672c\uff0c\u65e0\u6cd5\u653e\u7f6e\u5728\u4e00\u4e2a\u5de5\u4f5c\u8868\u4e2d\u201d\u3002Pandas\u5904\u7406\u4e0a\u5343\u4e07\u7684\u6570\u636e\u662f\u6613\u5982\u53cd\u638c\u7684sh\u4e8b\u60c5\uff0c\u540c\u65f6\u968f\u540e\u6211\u4eec\u4e5f\u5c06\u770b\u5230\u5b83\u6bd4SQL\u6709\u66f4\u5f3a\u7684\u8868\u8fbe\u80fd\u529b\uff0c\u53ef\u4ee5\u505a\u5f88\u591a\u590d\u6742\u7684\u64cd\u4f5c\uff0c\u8981\u5199\u7684code\u4e5f\u66f4\u5c11\u3002
1\u3001Python\uff1a\u662f\u4e00\u79cd\u9762\u5411\u5bf9\u8c61\u3001\u76f4\u8bd1\u5f0f\u8ba1\u7b97\u673a\u7a0b\u5e8f\u8bbe\u8ba1\u8bed\u8a00\uff0c\u7531\u8377\u5170\u4ebaGuido van Rossum\u53d1\u660e\u4e8e1989\u5e74\uff0c1991\u5e74\u53d1\u884c\u7b2c\u4e00\u4e2a\u516c\u5f00\u53d1\u884c\u7248\u3002\u5b83\u5e38\u88ab\u6635\u79f0\u4e3a\u80f6\u6c34\u8bed\u8a00\uff0c\u5b83\u80fd\u591f\u5f88\u8f7b\u677e\u7684\u628a\u7528\u5176\u4ed6\u8bed\u8a00\u5236\u4f5c\u7684\u5404\u79cd\u6a21\u5757\uff08\u5c24\u5176\u662fC/C++\uff09\u8f7b\u677e\u5730\u8054\u7ed3\u5728\u4e00\u8d77\u3002
2\u3001Pandas\uff1a\u662fPython\u4e0b\u4e00\u4e2a\u5f00\u6e90\u6570\u636e\u5206\u6790\u7684\u5e93\uff0c\u5b83\u63d0\u4f9b\u7684\u6570\u636e\u7ed3\u6784DataFrame\u6781\u5927\u7684\u7b80\u5316\u4e86\u6570\u636e\u5206\u6790\u8fc7\u7a0b\u4e2d\u4e00\u4e9b\u7e41\u7410\u64cd\u4f5c\u3002
\u672c\u6587\u5b9e\u4f8b\u4e3a\u5927\u5bb6\u5206\u4eab\u4e86Python\u8bfb\u53d6MySQL\u6570\u636e\u5e93\u8868\u6570\u636e\u7684\u5177\u4f53\u4ee3\u7801\uff0c\u4f9b\u5927\u5bb6\u53c2\u8003\uff0c\u5177\u4f53\u5185\u5bb9\u5982\u4e0b
\u73af\u5883\uff1aPython 3.6 ,Window 64bit
\u76ee\u7684\uff1a\u4eceMySQL\u6570\u636e\u5e93\u8bfb\u53d6\u76ee\u6807\u8868\u6570\u636e\uff0c\u5e76\u5904\u7406
\u4ee3\u7801\uff1a
# -*- coding: utf-8 -*-import pandas as pdimport pymysql## \u52a0\u4e0a\u5b57\u7b26\u96c6\u53c2\u6570\uff0c\u9632\u6b62\u4e2d\u6587\u4e71\u7801dbconn=pymysql.connect(host="**********",database="kimbo",user="kimbo_test",password="******",port=3306,charset='utf8')#sql\u8bed\u53e5sqlcmd="select col_name,col_type,col_desc from itf_datadic_dtl_d limit 10"#\u5229\u7528pandas \u6a21\u5757\u5bfc\u5165mysql\u6570\u636ea=pd.read_sql(sqlcmd,dbconn)#\u53d6\u524d5\u884c\u6570\u636eb=a.head()print(b)# \u8bfb\u53d6csv\u6570\u636e# pd.read_csv()# \u8bfb\u53d6excel\u6570\u636e#pd.read_excel()# \u8bfb\u53d6txt\u6570\u636e#pd.read_table()
\u7ed3\u679c\u5982\u56fe\uff1a
\u4ee5\u4e0a\u5c31\u662f\u672c\u6587\u7684\u5168\u90e8\u5185\u5bb9\uff0c\u5e0c\u671b\u5bf9\u5927\u5bb6\u7684\u5b66\u4e60\u6709\u6240\u5e2e\u52a9\uff0c\u4e5f\u5e0c\u671b\u5927\u5bb6\u591a
1. 基本使用：创建DataFrame. DataFrame是一张二维的表，大家可以把它想象成一张Excel表单或者Sql表。Excel 2007及其以后的版本的最大行数是1048576，最大列数是16384，超过这个规模的数据Excel就会弹出个框框“此文本包含多行文本，无法放置在一个工作表中”。Pandas处理上千万的数据是易如反掌的sh事情，同时随后我们也将看到它比SQL有更强的表达能力，可以做很多复杂的操作，要写的code也更少。
说了一大堆它的好处，要实际感触还得动手码代码。首要的任务就是创建一个DataFrame，它有几种创建方式：
（1）列表，序列(pandas.Series), numpy.ndarray的字典
二维numpy.ndarray
别的DataFrame
结构化的记录(structured arrays)
（2）其中，二维ndarray创建DataFrame，代码敲得最少：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(10, 4))
df
0 1 2 3
0 0.927474 0.127571 1.655908 0.570818
1 -0.425084 -0.382933 0.468073 -0.862898
2 -1.602712 -0.225793 -0.688641 1.167477
3 -1.771992 -0.692575 -0.693494 -1.063697
4 -0.456724 0.371165 1.883742 -0.344189
5 1.024734 0.647224 1.134449 0.266797
6 1.247507 0.114464 2.271932 -0.682767
7 -0.190627 -0.096997 -0.204778 -0.440155
8 -0.471289 -1.025644 -0.741181 -1.707240
9 -0.172242 0.702187 -1.138795 -0.112005
（3）通过describe方法，可以对df中的数据有个大概的了解：
df.describe()
0 1 2 3
count 10.000000 10.000000 10.000000 10.000000
mean -0.189096 -0.046133 0.394722 -0.320786
std 1.027134 0.557420 1.258019 0.837497
min -1.771992 -1.025644 -1.138795 -1.707240
25% -0.467648 -0.343648 -0.692281 -0.817865
50% -0.307856 0.008734 0.131648 -0.392172
75% 0.652545 0.310266 1.525543 0.172096
max 1.247507 0.702187 2.271932 1.167477
2. 改变cell。
3. group by。
4. 读写文件。
绛旓細棣栧厛瀛︿範涓鐐筽ython鍩虹鐨勭煡璇嗭紝Python璇█鍩虹锛屽嚱鏁帮紝鏂囦欢鎿嶄綔锛岄潰鍚戝璞★紝寮傚父澶勭悊锛屾ā鍧楀拰鍖咃紝Linux绯荤粺浣跨敤锛Mysql鏁版嵁搴撶瓑锛涘叾娆″氨鍙互瀛︿範涓浜涘熀鏈殑鐖櫕锛岃繘琛屾暟鎹噰闆嗭紝褰撶劧涔熸湁寰堝鐖櫕宸ュ叿锛岀洿鎺ヤ娇鐢ㄥ嵆鍙傜劧鍚庡氨鍙互瀛︿範鏁版嵁鍒嗘瀽鏂归潰鐭ヨ瘑锛屼富瑕佹槸瀛︿範pandas銆乶umpy绛夌瓑锛涘啀鐒跺悗灏辫瀛︿範鏁版嵁鍙鍖栨潵鍚戝埆浜...
绛旓細閴翠簬姝わ紝hadoop,hive,mysql,銆怰,SAS,Python,spss銆戝潎鎴愪负涓涓悎鏍肩殑鏁版嵁鍒嗘瀽甯堟墍蹇呭鐨勬妧鑳斤紝鑰pandas鍒欎娇寰桺ython鍦ㄦ暟鎹垎鏋愰鍩熶腑鎴愪负鐠鐠ㄧ殑涓棰楁槑鏄燂紝绗旇呴氳浜唒andas瀹樻柟鏂囨。锛岀粨鍚堣嚜宸辩殑鏁版嵁鍒嗘瀽缁忛獙锛屽鏂囨。鍋氫簡缈昏瘧宸ヤ綔锛屼竴鏂归潰鍔犳繁鑷繁鐨勫嵃璞★紝涓鏂归潰閫犵骞垮ぇ缃戝弸锛屼篃绠楁槸GNU绮剧鐨勪竴绉嶄紶鎵垮惂銆傜炕璇戣...
绛旓細07鏁版嵁鎸栨帢涓庢暟鎹鍒嗘瀽 瀛︿範鐩爣: 鑳藉鐔熺粌浣跨敤Python鎶鏈畬鎴愰拡瀵瑰皬闂鐨 绋嬪簭缂栧啓浠ュ強灏忔父鎴忕▼搴忕殑寮鍙戙 瀛︿範閲嶇偣: 鍩烘湰姒傚康:椤哄簭琛ㄣ侀摼琛ㄣ佹爤銆侀槦鍒1 2)鎺掑簭涓庣储寮:鎺掑簭銆佺储寮曘佹爲涓庢爲绠楁硶 3)Series瀵硅薄:Series瀵硅薄銆丏ataFrame瀵硅薄DataFrame鏌ヨ 4)鏁版嵁鎿嶄綔:鏁版嵁鐨勬搷浣溿佸瓨鍙栦笌缁熻 5Pandas缁樺浘:鐔熺粌浣跨敤Pandas 6)...
绛旓細鍏ラ棬鍙婄幆澧冨畨瑁 銆佸熀鏈娉曚笌鏁版嵁绫诲瀷銆佹帶鍒惰鍙ャ侀敊璇強寮傚父銆侀敊璇鐞嗘柟娉曘佸紓甯稿鐞嗘柟娉 銆佸父鐢ㄥ唴缃嚱鏁 銆佸嚱鏁板垱寤轰笌浣跨敤銆丳ython 楂樼骇鐗规с侀珮绾у嚱鏁般丳ython 妯″潡銆丳ythonIO 鎿嶄綔 銆佹棩鏈熶笌鏃堕棿 銆佺被涓庨潰鍚戝璞 銆丳ython 杩炴帴鏁版嵁搴 Python 鏁版嵁娓呮礂 鏁板瓧鍖 Python 妯″潡Numpy銆佹暟鎹鍒嗘瀽鍒╁櫒Pandas銆丳andas...
绛旓細7. 鐔熺粌鎺屾彙鏁版嵁娓呮礂銆佹暣鐞嗐佹牸寮忚浆鎹佹暟鎹鍒嗘瀽鎶ュ憡缂栧啓 8. 鑳藉缁煎悎鍒╃敤鐖櫕鐖彇璞嗙摚缃戠數褰辫瘎璁烘暟鎹苟瀹屾垚鏁版嵁鍒嗘瀽鍏ㄦ祦绋嬮」鐩疄鎴 鐭ヨ瘑鐐癸細缃戠粶鐖櫕寮鍙戙佹暟鎹垎鏋愪箣Numpy銆佹暟鎹垎鏋愪箣Pandas銆1銆佺埇铏〉闈㈢埇鍙栧師鐞嗐佺埇鍙栨祦绋嬨侀〉闈瑙ｆ瀽宸ュ叿LXML锛孊eautifulfoup锛屾鍒欒〃杈惧紡锛屼唬鐞嗘睜缂栧啓鍜屾灦鏋勩佸父瑙佸弽鐖帾鏂藉強...
绛旓細璐哄湥鍐汸ython杞绘澗鍏ラ棬鍒伴」鐩疄鎴橈紙缁忓吀瀹屾暣鐗堬級锛堣秴娓呰棰戯級鐧惧害缃戠洏 閾炬帴: https://pan.baidu.com/s/1C9k1o65FuQKNe68L3xEx3w 鎻愬彇鐮: ja8v 澶嶅埗杩欐鍐呭鍚庢墦寮鐧惧害缃戠洏鎵嬫満App锛屾搷浣滄洿鏂逛究鍝 鑻ヨ祫婧愭湁闂娆㈣繋杩介棶~
绛旓細2. SciPy 鍦∟umPy搴撶殑鍩虹涓婂鍔犱簡浼楀鐨勬暟瀛︺佺瀛﹀強宸ョ▼璁＄畻涓父鐢ㄧ殑搴撳嚱鏁帮紝濡傜嚎鎬т唬鏁般佸父寰垎鏂圭▼鏁板兼眰瑙ｃ佷俊鍙峰鐞嗐佸浘鍍忓鐞嗐佺█鐤忕煩闃电瓑锛屽彲杩涜鎻掑煎鐞嗐佷俊鍙锋护娉紝浠ュ強浣跨敤C璇█鍔犻熻绠椼3. Pandas 鍩轰簬NumPy鐨勪竴绉嶅伐鍏凤紝涓鸿В鍐虫暟鎹鍒嗘瀽浠诲姟鑰岀敓銆傜撼鍏ュぇ閲忓簱鍜屼竴浜涙爣鍑嗙殑鏁版嵁妯″瀷锛屾彁渚涢珮鏁堝湴...
绛旓細Linux杩愮淮鑷姩鍖栧紑鍙戯細涓昏瀛︿範Python寮鍙慙inux杩愮淮銆丩inux杩愮淮鎶ヨ宸ュ叿寮鍙戙丩inux杩愮淮鎶ヨ瀹夊叏瀹¤寮鍙戙丩inux涓氬姟璐ㄩ噺鎶ヨ〃宸ュ叿寮鍙戙並ali瀹夊叏妫娴嬪伐鍏锋娴嬩互鍙奒ali瀵嗙爜鐮磋В瀹炴垬銆侾ython鐖櫕锛氫富瑕佸涔爌ython鐖櫕鎶鏈紝鎺屾彙澶氱嚎绋嬬埇铏妧鏈紝鍒嗗竷寮忕埇铏妧鏈侾ython鏁版嵁鍒嗘瀽鍜屽ぇ鏁版嵁锛氫富瑕佸涔爊umpy鏁版嵁澶勭悊銆pandas鏁版嵁鍒嗘瀽...
绛旓細鍥涖Pandas鏁版嵁鍒嗘瀽锛屼富瑕佸涔犲唴瀹瑰寘鎷細Python鏁版嵁鍒嗘瀽浠嬬粛鍙婄幆澧冩惌寤恒丳andas鐨凞ataFrame銆丳andas鏁版嵁缁撴瀯銆丳andas鏁版嵁鍒嗘瀽鍏ラ棬銆丳andas鏁版嵁娓呮礂銆丳andas鏁版嵁澶勭悊銆丳andas鏁版嵁鍙鍖栥備簲銆丳ython鍔炲叕鑷姩鍖栵紝涓昏瀛︿範鍐呭鍖呮嫭锛浣跨敤Python鎿嶄綔Excel銆侀厤鍚MySQL鏁版嵁搴撹嚜鍔ㄧ敓鎴愭姤琛ㄣ佷娇鐢≒ython蹇熺敓鎴怶ord鏂囨。銆丳DF涔熻兘...
绛旓細姣斿pandas鍜孲eaborn灏辨槸matplotlib鐨勫鍖,瀹冧滑璁╀綘鑳界敤鏇村皯鐨勪唬鐮佸幓璋冪敤 matplotlib鐨勬柟娉曘 璁块棶: https://matplotlib.org/ 棰滆壊: https://www.cnblogs.com/darkknightzh/p/6117528.html 鏁欑▼: https://wizardforcel.gitbooks.io/matplotlib-user-guide/3.1.html 2.Seaborn: 瀹冩槸鏋勫缓鍦╩atplotlib鐨勫熀纭涓婄殑,鐢...
