gawk怎样删除文本重复行？

idc878787 · 发表于 2022-12-21 10:06:08

@echo off
for /f "delims=" %%i in (a.txt) do (if not defined %%i set %%i=A&echo %%i>>b.txt)

复制代码

这个删除文本重复行，数据太多处理速度太慢了？

用gawk 怎么写？英文大小写只保留一个比如：

你好A
你好a
美B女
美b女

去重后如下

你好A
美B女

hfxiang · 发表于 2022-12-21 10:25:08

本帖最后由 hfxiang 于 2022-12-21 10:30 编辑

复制代码

idc878787 · 发表于 2022-12-21 10:36:54

本帖最后由 idc878787 于 2022-12-21 10:38 编辑

回复 2# hfxiang

字母在中间好像不可以？

你好B
你好b
A你好
a你好
美B女
美b女
你A好
你a好

结果

你好B
A你好
美B女
美b女
你A好
你a好

hfxiang · 发表于 2022-12-21 10:51:50

回复 3# idc878787

俺测试完全正常。你检查一下：
1.是否a.txt已保存为ANSI编码格式；
2.是否存在不可见字符有区别；
3.用你的原bat测试是否有效。

idc878787 · 发表于 2022-12-21 10:56:10

回复 4# hfxiang

看错了我的文件保存成UTF8了可以了谢谢

hfxiang · 发表于 2022-12-21 11:24:08

回复 5# idc878787

如果文本必须为UTF8编码，需要用 Ruby（https://rubyinstaller.org/downloads/）中附带的 gawk 方能有效处理

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] gawk怎样删除文本重复行？