文本内容如何用批处理去重？

shootman2 · 发表于 2015-4-18 17:35:41

假如文件123.txt的内容如下，如何将内容输出为每行都是唯一的！

张三
张三
李四
zhangsan@163.com
张三
李四
lisi@163.com
李四
wangwu@163.com
lisi@163.com

pcl_test · 发表于 2015-4-18 17:42:43

@echo off
gawk "!a[$0]++" 测试.txt >结果.txt
pause

复制代码

pcl_test · 发表于 2015-4-18 17:46:59

@echo off
(for /f "delims=" %%a in ('type "测试.txt"') do if not defined %%a (echo,%%a &set %%a=def))>"结果.txt"
pause

复制代码

shootman2 · 发表于 2015-4-18 17:59:12

pcl_test 发表于 2015-4-18 17:42

debug>gawk "!a[$0]++" 123.txt
gawk: cmd. line:1: (FILENAME=123.txt FNR=1) fatal: print to "standard output" failed (Exec format error)

好像不支持中文！

pcl_test · 发表于 2015-4-18 18:06:56

回复 4# shootman2

不是你这样用的

shootman2 · 发表于 2015-4-18 18:19:25

回复 shootman2

不是你这样用的
pcl_test 发表于 2015-4-18 18:06

请指教！

bailong360 · 发表于 2015-4-18 18:32:46

@echo off
sort 123.txt|uniq >b.txt

复制代码

shootman2 · 发表于 2015-4-18 19:18:29

回复 7# bailong360

还是不好使。。。

pcl_test · 发表于 2015-4-18 20:12:08

回复 5# pcl_test

gawk "!a[$0]++" "测试.txt"| more

复制代码

如果你所说的不支持中文，是指中文不能输出到标准输出，那么是有这个问题，这种情况通常要用重定向

shootman2 · 发表于 2015-4-18 22:23:49

回复 pcl_test 如果你所说的不支持中文，是指中文不能输出到标准输出，那么是有这个问题，这种情况通常要用 ...
pcl_test 发表于 2015-4-18 20:12

嗯！问题解决了，但是这个语句该怎么理解呢？继续请教大神！

gawk · 发表于 2015-4-18 22:34:35

回复 10# shootman2

理解这个语句需要具备基础的awk知识
http://bbs.chinaunix.net/viewthread.php?tid=1672726#pid11904888

shootman2 · 发表于 2015-4-20 10:45:12

有没有其他什么好的方法？

shootman2 · 发表于 2015-4-21 22:21:45

回复 pcl_test 如果你所说的不支持中文，是指中文不能输出到标准输出，那么是有这个问题，这种情况通常要用 ...
pcl_test 发表于 2015-4-18 20:12

好奇怪，如果启用了变量延迟，程序就卡住一直不动了！

@echo off
setlocal enabledelayedexpansion
set aaa=d:\user_list.txt
for /f "tokens=* delims=" %%m in ('gawk "!a[$0]++" "!aaa!"') do (
echo %%m
)
pause

gawk · 发表于 2015-4-21 22:33:34

回复 9# pcl_test

gawk "!a[$0]++" 1.txt >con

复制代码

用con比较好

pcl_test · 发表于 2015-4-21 22:59:18

回复 13# shootman2
在你的代码可以不开变量延迟

@echo off
set "aaa=d:\user_list.txt"
for /f "tokens=* delims=" %%m in ('gawk "!a[$0]++" "%aaa%"') do echo %%m
pause

复制代码

要开的话，要对!转义

@echo off
setlocal enabledelayedexpansion
set "aaa=d:\user_list.txt"
for /f "tokens=* delims=" %%m in ('gawk "^!a[$0]++" "!aaa!"') do echo %%m
pause

复制代码

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] 文本内容如何用批处理去重？