[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
daohe

Rank: 4

帖子
117 
积分
343 
技术
0  
捐助
0  
注册时间
2010-4-1 
1楼 跳转到 » 倒序看帖
打印
tT
发表于 2015-7-12 15:51 | 显示全部帖子

[问题求助] [已解决]gawk 如何识别文本中相同行 并在末尾加数字

本帖最后由 daohe 于 2015-7-12 17:16 编辑

一个a.txt,
有一百万行数据, 里面有30% 重复行

碰到重复行后, 在重复的第二行 第三行....第N行, 并在末尾标上一个空格和一个数字,  1, 2, 3, 4,...

举例说明
a.txt 内容如下
aaa
bbb
aaa
ddd
aaa
fff
bbb

处理后变成
aaa
bbb
aaa 1
ddd
aaa 2
fff
bbb 1
收藏 分享

daohe

Rank: 4

帖子
117 
积分
343 
技术
0  
捐助
0  
注册时间
2010-4-1 
2楼
发表于 2015-7-12 17:15 | 显示全部帖子
回复 2# CrLf


    谢谢, 我在后面加了 >b.txt 才能看到结果

所以代码是这样的
  1. gawk "ar[$0]++{$0=$0 FS ar[$0]-1}1" a.txt >b.txt
复制代码

TOP

返回列表