急求：如何用python删除文本中的重复行？ python去除文本中重复的字符串
\u6c42\u52a9\uff1a\u5982\u4f55\u7528python\u811a\u672c\u5220\u9664\u6587\u672c\u4e2d\u7684\u91cd\u590d\u884c\uff08\u76f8\u540c\u8bb0\u5f55\u53ea\u4fdd\u7559\u4e00\u4e2a\uff09:em06:
\u697c\u4e0a\u7684\u4ee3\u7801\u770b\u4e0d\u61c2\uff0c\u80fd\u4e0d\u80fd\u89e3\u91ca\u4e00\u4e0b\uff1f
\u6211\u7684\u65b9\u6848\u8981\u77ed\u4e5f\u53ef\u4ee5\uff0c\u770b\u4e0b\u9762\uff1ah,r,w
={},
file('data'),
file('newdata','w')w.write(reduce(lambda
x,y:x+y,
[i
for
i
in
r
if
h.get(i)==None
and
h.setdefault(i,
True)]))\u590d\u5236\u4ee3\u7801[
\u672c\u5e16\u6700\u540e\u7531
retuor
\u4e8e
2008-8-23
00:35
\u7f16\u8f91
]
\u4f60\u7684\u6570\u636e\u90fd\u662f\u4e00\u884c\u4e00\u884c\u7684\u5417?
\u662f\u7684\u8bdd\u8fd9\u6837\u8bd5\u8bd5
input = open("a.txt", "r").read()output = open("b.txt", "w+")patterns = []for line in input.split("\n"): if line not in patterns: print line patterns.append(line + "\n")for pattern in patterns: output.write(pattern)output.close() \u6d4b\u8bd5\u4e86\u4e0b\u6ee1\u8db3\u4f60\u7684\u8f93\u5165\u8f93\u51fa
1.如果你的txt 文件不大的话 可以直接
tmp = open('**.txt').readlines() #把内容一次性全部读取出来 是一个列表
set(tmp) #这个就是把列表 去重复
然后 你可以把 这个去重后的tmp 写入到新的文件
2.txt很大，那么只能一行一行的读取去重了
#!/usr/bin/env python
# coding=utf-8
# python 2.7
outfile = open('result-readline.txt', 'w') #新的文件
list_1=[]
for line in open('test.txt'): #老文件
tmp = line.strip()
if tmp not in list_1:
list_1.append(tmp)
outfile.write(line)
outfile.close()
发这种问题竟然是截图...没调试过，将就着看吧，主要意思就是通过set方法去除重复项
f = open(file, 'r')
ListOfLine = f.read().splitline()
ListOfLine = list(set(ListOfLine))
f.close()
f = open(file, 'w')
f.writelines(ListOfLine)
f.close()
你好：
一般是：
一边读文本文件，一边将行存入数组；
然后对读取的下一行数据，与数组中的数据做对比，
如果重复，就舍弃；；
最后就爱那个数组中的数据写入文件；
绛旓細鐢氳嚦鍒犻櫎璇ュ簲鐢2浠庡叾浠栧湴鏂逛笅杞python21dll杩欎釜搴撴枃浠讹紝鏀惧叆c\windows\system32涓紝鍚庨潰杩樻湁鍙兘鎶ョ己鍒殑鏂囦欢銆1鍦鍑虹幇鐨勪慨澶嶇晫闈紝鐐瑰嚮楂樼骇閫夐」2杩涘叆楂樼骇閫夐」璁剧疆鍚庯紝鏈6涓夐」濡傛灉鐐瑰嚮鈥濆惎鍔ㄤ慨澶嶁滃悗鏃犳硶瑙ｅ喅鐨勮瘽锛屽彲浠ョ偣鍑烩濈郴缁熻繕鍘熲3鐒跺悗寮瑰嚭2涓夋嫨椤圭涓涓槸涓嶅畬鍏ㄦ竻闄わ紝绗簩涓槸瀹屽叏娓呴櫎鑻ョ數鑴戝唴...
绛旓細杩欐槸鎰熸煋鎬х梾姣掞紝鎰熸煋浜嗗嚑涔庢墍鏈夌殑exe鏂囦欢銆傚鐞嗘劅鏌撴х梾姣掕鐗瑰埆璋ㄦ厧锛屽洜涓哄緢澶氭潃姣掕蒋鏋佷笉鏄慨澶嶆枃浠惰屾槸鐩存帴鍒犻櫎銆備笅杞360绯荤粺鎬ユ晳绠憋紝360绯荤粺鎬ユ晳绠卞彲浠ヤ慨澶嶈繖鏍风殑鎰熸煋鎬х梾姣
绛旓細浣犲ソ锛氳繖涓粠涓婇潰鎶ラ敊淇℃伅鐪嬶細璇寸殑鏄紪鐮侀棶棰橈紱涓嶈繃鎴戣寰楀ソ鍍忔槸matplotlib闇瑕佸叾浠栫殑鍖呭彲鑳斤紱浣犵殑matplotlib鏈濂芥槸瀹樼綉涓嬭浇鐨勶紒
绛旓細鍙互浣跨敤鎵嬫満绠″锛鍦瀹夊叏闃叉姢涓壘鍒扮梾姣掓煡鏉涓鏍忋傝繘鍏ョ梾姣掓煡鏉鍔熻兘鍚庯紝鐐瑰嚮涓嬫柟鎸夐挳锛岀珛鍗冲鎵嬫満杩涜鐥呮瘨鎵弿鍙婃潃姣掋傝嫢鎵弿鏃堕亣鍒版湁鍗遍櫓鐨勮蒋浠讹紝鎵嬫満绠″浼氱珛鍗虫煡澶勫苟鈥滃嵏杞解濓紝鍗冲彲娓呴櫎鐥呮瘨銆傜偣鍑烩滀簡瑙ｆ洿澶氣濓紝杩樺彲浠ョ湅鍒板浜庣梾姣掓壂鎻忕殑璇︾粏瑙ｉ噴璇存槑銆傚湪鐥呮瘨鏌ユ潃鐨勨滆缃濋夐」涓繕鍙墜鍔ㄨ繘琛屸滅梾姣掓壂鎻忔ā寮...
绛旓細Windows 11鍚姩鐢婚潰涓鐩撮棯锛屾棤娉曞惎鍔ㄧ郴缁燂紝鎴戣涓鸿繖涓彲浠ヨ寮哄埗鍏虫満浠ュ悗閲嶆柊鍋氫竴涓嬬郴缁熷氨鍙互浜嗭紱鑰岃搴撴枃浠跺張涓嶅瓨鍦紝鍥犺屾姤閿欒В鍐虫柟娉1鎵惧埌璇ュ惎鍔ㄩ」锛屽鏋滃畠鐨勫姞杞介潪浣犳湰鎰忥紝灏辩姝㈠畠鎭惎鍔紝鐢氳嚦鍒犻櫎璇ュ簲鐢2浠庡叾浠栧湴鏂逛笅杞python21dll杩欎釜搴撴枃浠讹紝鏀惧叆c\windows\system32涓紝鍚庨潰杩樻湁鍙兘鎶ョ己鍒殑鏂囦欢銆
绛旓細鏂囨殑鐢熸椿绉戞櫘 鍚慣A鎻愰棶 鍏虫敞 灞曞紑鍏ㄩ儴 dede闅愯棌鏍忕洰棣栭〉搴曢儴濡備綍鍛煎彨,鎬ユ晳~~鍒涘缓涓涓殣钘忕殑鐖跺垪,鎶婁綘鎯抽殣钘忓湪瀹冧笅闈㈢殑鍒楁瀯寤烘垚瀛愬垪,浣嗘槸瀛愬垪鐨勬牸寮忔槸display,浣犲彲浠ヨ皟鐢ㄥ畠銆 9.1鑱屼笟鍧愰獞浠诲姟娴佺▼? 璇︾粏绛旀: 鍘昏揪鎷夌劧绱綏鍏板牎閲屾壘鍗″痉鍔,瀹屾垚浠诲姟--鍦ㄥ爼澶滅簿鐏(鑻忔媺鐜),娉曠綏杩柉瀹环(闃胯嫃绾),楂樺箔閮ㄦ棌(鑷抽珮宀),缁...
绛旓細涓昏涓虹被鍨嬩笌鐥呮瘨瀛愯涓虹被鍨 鐥呮瘨鍙兘鍖呭惈澶氫釜涓昏涓虹被鍨嬶紝杩欑鎯呭喌鍙互閫氳繃姣忕涓昏涓虹被鍨嬬殑鍗卞绾у埆纭畾鍗卞绾у埆鏈楂樼殑浣滀负鐥呮瘨鐨勪富琛屼负绫诲瀷銆傚悓鏍风殑锛岀梾姣掍篃鍙兘鍖呭惈澶氫釜瀛愯涓虹被鍨嬶紝杩欑鎯呭喌鍙互閫氳繃姣忕涓昏涓虹被鍨嬬殑鍗卞绾у埆纭畾鍗卞绾у埆鏈楂樼殑浣滀负鐥呮瘨鐨勫瓙琛屼负绫诲瀷銆傚叾涓嵄瀹崇骇鍒槸鎸囧鐥呮瘨鎵鍦ㄨ绠楁満鐨勫嵄瀹...
绛旓細涓撲笟鎶鑳1銆侀┚鐓э紝娌¤冮┚鐓х殑澶у涓瀹氳鑰冨嚭鏉ワ紝涓嶇劧鍚庨潰浣犳槸鐪熺殑灏辨病鏃堕棿浜嗭紝鑰屼笖宸ヤ綔浜嗙殑璇濓紝鑰佹澘璁╀綘寮涓溅閮戒笉浼氾紝鏄笉鏄緢灏村艾銆2銆佸尰鐤鎬ユ晳鎶鑳斤紝寰堥噸瑕侊紝寰堥噸瑕侊紝澶氬涔犱竴涓嬪尰鐤楁ユ晳鐭ヨ瘑锛屼笉鐢ㄥお澶氾紝鏃ュ父澶熺敤灏辫锛屾瘮濡傛捣濮嗙珛鍏嬫ユ晳娉曚綘寰椾細鍚э紝蹇冭剰澶嶈嫃浣犲緱浼氬惂銆3銆佺悊璐紝澶氫簡瑙ｄ竴涓嬬悊璐...
绛旓細澶у鐢熸椂闂寸浉瀵规潵璇存瘮杈冨鏉撅紝鍙互鍒╃敤涓浜涜浣欐椂闂村涔犱竴浜涙妧鑳斤紝涓鏉ユ湁鍒╀簬浠ュ悗鐨勫伐浣滆岀敓娲伙紝浜屾潵鍙互闄跺喍鎯呮搷锛佷綔涓哄濮愶紝涓嬮潰鎴戠粰澶у鍒嗕韩涓涓嬪ぇ瀛﹂兘鍙互瀛︿範浠涔堟妧鑳斤紒涓銆佸伐浣滈渶瑕 1銆佸姙鍏蒋浠讹紙word銆乪xcel銆乸pt锛夈傚姙鍏蒋浠鍦浠ュ悗鐨勫伐浣滀腑鑲畾鏄細鐢ㄥ埌鐨勩2銆佸涔犱竴浜涚紪绋嬭瑷銆傜紪绋嬭瑷涓嶅厜閽堝浜...
绛旓細瀛︿範璁＄畻鏈虹綉缁滆娉ㄩ噸瀹為獙锛閫氳繃瀹為獙鑳藉寤虹珛鏁版嵁閫氫俊杩囩▼绛夌敾闈㈡劅銆3銆佺紪绋嬭瑷鍜屾暟鎹粨鏋勩傜紪绋嬭瑷鏄搷浣滆绠楁満鐨勯噸瑕佸伐鍏凤紝鏄竴瀹氳鎺屾彙鐨勯噸鐐瑰唴瀹癸紝绋嬪簭璁捐鏈川涓婂氨鏄畻娉曡璁″拰鏁版嵁缁撴瀯鐨勭粨鍚堬紝鎵浠鍦瀛︿範鏁版嵁缁撴瀯涔嬪墠搴旇鎺屾彙缂栫▼璇█鐨浣跨敤锛屽浜庡垵瀛﹁呮潵璇达紝C銆丣ava銆Python绛夎瑷閮芥槸涓嶉敊鐨勯夋嫨銆
