[文本处理] 文本内容如何用批处理去重？

shootman2

假如文件123.txt的内容如下，如何将内容输出为每行都是唯一的！

张三
张三
李四
[email]zhangsan@163.com[/email]
张三
李四
[email]lisi@163.com[/email]
李四
[email]wangwu@163.com[/email]
[email]lisi@163.com[/email]

shootman2

pcl_test 发表于 2015-4-18 17:42

debug>gawk "!a[$0]++" 123.txt
gawk: cmd. line:1: (FILENAME=123.txt FNR=1) fatal: print to "standard output" failed (Exec format error)

好像不支持中文！

shootman2

回复  shootman2

不是你这样用的
pcl_test 发表于 2015-4-18 18:06

    请指教！

shootman2

回复 7# bailong360


    还是不好使。。。

shootman2

回复  pcl_test 如果你所说的不支持中文，是指中文不能输出到标准输出，那么是有这个问题，这种情况通常要用 ...
pcl_test 发表于 2015-4-18 20:12

    嗯！问题解决了，但是这个语句该怎么理解呢？ 继续请教大神！

shootman2

有没有其他什么好的方法？

shootman2

回复  pcl_test 如果你所说的不支持中文，是指中文不能输出到标准输出，那么是有这个问题，这种情况通常要用 ...
pcl_test 发表于 2015-4-18 20:12

好奇怪，如果启用了变量延迟，程序就卡住一直不动了！

@echo off
setlocal enabledelayedexpansion
set aaa=d:\user_list.txt
for /f "tokens=* delims=" %%m in ('gawk "!a[$0]++" "!aaa!"') do (
        echo %%m
)
pause

shootman2

回复 14# gawk


    不知道这个con是第三方吗？

shootman2

回复  shootman2
在你的代码可以不开变量延迟要开的话，要对!转义
pcl_test 发表于 2015-4-21 22:59

    想想也是，如果启用变量延迟 ! 就有了其他含义，感谢万能的大神。。。

shootman2

回复 18# gawk


    求大神再详细说一下con，感觉很难理解！

   还有就123.txt中含有中文的话，仅仅执行gawk "!a[$0]++" 456.txt时会报错
debug>gawk "!a[$0]++" 123.txt
gawk: cmd. line:1: (FILENAME=123.txt FNR=1) fatal: print to "standard output" failed (Exec format error)
     
     但是放到for里就ok了，
for /f %x in ('gawk "!a[$0]++" 123.txt') do echo %x
张三
李四
[email]zhangsan@163.com[/email]
[email]lisi@163.com[/email]
[email]wangwu@163.com[/email]

shootman2

回复 20# gawk


    14楼的代码是对的，没有问题，只是我不好理解con，从是什么东西，需要请教你。
   还有就是我发现的这个问题，是怎么回事呢？为什么不放到for里就error，放到for里就ok呢？