[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖

[技术讨论] Python脚本删除文件中的重复行

本帖最后由 Python 于 2012-4-3 19:59 编辑

删除文件中的重复行:
  1. rFile = open('a.txt', 'r')
  2. wFile = open('b.txt', 'w')
  3. allLine = rFile.readlines()
  4. rFile.close()
  5. s = set()
  6. for i in allLine:
  7.     s.add(i)
  8. for i in s:
  9.     wFile.write(i)
复制代码
  1. open('b.txt', 'w').write(''.join(set(open('a.txt').readlines())))
复制代码
删除文件中的重复行并保持原来的顺序:
  1. rFile = open("a.txt", "r")
  2. wFile = open("b.txt", "w")
  3. allLine = rFile.readlines()
  4. rFile.close()
  5. h = {}
  6. for i in allLine:
  7.     if not h.has_key(i):
  8.         h[i]=1
  9.         wFile.write(i)
  10. wFile.close()
复制代码
  1. lines, sorted = open('a.txt', 'r').readlines(), lambda a, cmp: a.sort(cmp=cmp) or a
  2. open('b.txt', 'w').write(''.join([i[0] for i in sorted([(j, lines.index(j)) for j in set(lines)], lambda a,b: a[1]-b[1] )]))
复制代码
  1. h,r,w ={}, file('a.txt'), file('b.txt','w')
  2. w.write(reduce(lambda x,y:x+y, [i for i in r if h.get(i)==None and h.setdefault(i, True)]))
复制代码
  1. s = []
  2. [ s.append(k) for k in open('a.txt') if k not in s ]
  3. open('b.txt', 'w').write(''.join(s))
复制代码
看看各位大湿还有没有其它方法

回复 2# ivor


嗯,更新了一下顶楼的代码,省的后面再有人提这茬

TOP

本帖最后由 ivor 于 2012-4-3 17:02 编辑

办法都让你写出来了

第一个例子,python3.2版本运行需更改为
  1. rFile.close()
复制代码

TOP

返回列表