Board logo

标题: [文本处理] bat 处理文本另类去重？？ [打印本页]
作者: idc878787    时间: 2022-11-20 12:56     标题: bat 处理文本另类去重？？

bat  处理文本另类去重？？

文本1.txt
111
222
====
111
111
222
222
333
333
444
444
555
666


去重后 生成文本2.txt
111
222
====
111
222
333
333
444
444
555
666
作者: qixiaobin0715    时间: 2022-11-21 09:00

本帖最后由 qixiaobin0715 于 2022-11-21 09:28 编辑

实际上也不算另类，bat文件和1.txt文件均另存为ANSI编码：
  1. @echo off

  2. (for /f "delims=" %%a in (1.txt) do (

  3.     echo,%%a

  4.     set /a n+=1

  5.     if "%%a"=="====" goto :a

  6. ))>2.txt

  7. :a

  8. setlocal enabledelayedexpansion

  9. (for /f "skip=%n% delims=" %%i in ('type 1.txt^|sort') do (

  10.     if not "!str!"=="%%i" echo,%%i

  11.     set str=%%i

  12. ))>>2.txt

  13. pause
复制代码
作者: qixiaobin0715    时间: 2022-11-21 09:30

回复 1# idc878787
想简单了，因为有goto语句，标签放在括号内会出问题。
已修改。
作者: 77七    时间: 2022-11-21 09:32

回复 3# qixiaobin0715
刚才我也试了，闪退...我怀疑我错了...
不过大神好像有点理解偏差，是对====上方存在的，去重下方的
作者: hfxiang    时间: 2022-11-21 09:51

将
  1. 111

  2. 222

  3. ====

  4. 111

  5. 111

  6. 222

  7. 222

  8. 333

  9. 333

  10. 444

  11. 444

  12. 555

  13. 666
复制代码
以ANSI编码格式保存为1.txt
下载gawk（ http://bcn.bathome.net/tool/4.1.0/gawk.exe ）
执行
  1. gawk "NR==1,/====/{a[$0]=1;print;next}{if($0 in a){if(a[$0]){print;a[$0]=0}next}}1" 1.txt>2.txt
复制代码
结果（2.txt）
  1. 111

  2. 222

  3. ====

  4. 111

  5. 222

  6. 333

  7. 333

  8. 444

  9. 444

  10. 555

  11. 666
复制代码
作者: qixiaobin0715    时间: 2022-11-21 09:56

回复 4# 77七
修改后的应当可以，你可以再试试。
我这里测试没问题
作者: 77七    时间: 2022-11-21 10:00

回复 6# qixiaobin0715
代码正常运行了，结果不对，====上方有的，就不去重了，大神再仔细看看..
作者: qixiaobin0715    时间: 2022-11-21 10:07

回复 7# 77七
测试过程：
  1. C:\Users\Administrator\Desktop>type 1.txt

  2. 111

  3. 222

  4. ====

  5. 111

  6. 111

  7. 222

  8. 222

  9. 333

  10. 333

  11. 444

  12. 444

  13. 555

  14. 666

  15. 

  16. C:\Users\Administrator\Desktop>type test2.bat

  17. @echo off

  18. (for /f "delims=" %%a in (1.txt) do (

  19.     echo,%%a

  20.     set /a n+=1

  21.     if "%%a"=="====" goto :a

  22. ))>2.txt

  23. :a

  24. setlocal enabledelayedexpansion

  25. (for /f "skip=%n% delims=" %%i in ('type 1.txt^|sort') do (

  26.     if not "!str!"=="%%i" echo,%%i

  27.     set str=%%i

  28. ))>>2.txt

  29. pause

  30. C:\Users\Administrator\Desktop>test2.bat

  31. 请按任意键继续. . .

  32. 

  33. C:\Users\Administrator\Desktop>type 2.txt

  34. 111

  35. 222

  36. ====

  37. 111

  38. 222

  39. 333

  40. 444

  41. 555

  42. 666

  43. 

  44. C:\Users\Administrator\Desktop>
复制代码
作者: 77七    时间: 2022-11-21 10:25

本帖最后由 77七 于 2022-11-21 10:28 编辑

回复 8# qixiaobin0715
111
222
====
111
222
333
333
444
444
555
666
楼主的结果...和你的不一样的..
作者: qixiaobin0715    时间: 2022-11-21 10:28

回复 9# 77七
想当然了，确实如此。
作者: qixiaobin0715    时间: 2022-11-21 11:10

本帖最后由 qixiaobin0715 于 2022-11-21 11:14 编辑

回复 9# 77七

这样呢：
  1. @echo off

  2. (for /f "delims=" %%a in (1.txt) do (

  3.     echo,%%a

  4.     set _"%%a"=true

  5.     set /a n+=1

  6.     if "%%a"=="====" goto :a

  7. ))>2.txt

  8. :a

  9. setlocal enabledelayedexpansion

  10. (for /f "skip=%n% delims=" %%i in ('type 1.txt^|sort') do (

  11.     if not defined _"%%i" (

  12.         echo,%%i

  13.     ) else (

  14.         if not "!str!"=="%%i" echo,%%i

  15.     )

  16.     set str=%%i

  17. ))>>2.txt

  18. pause
复制代码
作者: qixiaobin0715    时间: 2022-11-21 11:33

本帖最后由 qixiaobin0715 于 2022-11-21 11:40 编辑

只是存在一个致命的问题，2楼11楼代码运行去重生成的新文件，分割线下面的文本行会重新排序。
如果不介意顺序重排问题，可以使用11楼代码。
作者: 77七    时间: 2022-11-21 11:58

回复 12# qixiaobin0715
可以了，我运行11楼代码顺序也是对的
作者: qixiaobin0715    时间: 2022-11-21 12:39

回复 13# 77七
那是因为楼主提供的样本是按正序排列的。巧合！！！
作者: qixiaobin0715    时间: 2022-11-24 09:50

如果要保持文本行原有顺序，可以这样：
  1. @echo off

  2. (for /f "delims=" %%a in (1.txt) do (

  3.     echo,%%a

  4.     set _"%%a"=true

  5.     set /a n+=1

  6.     if "%%a"=="====" goto :a

  7. ))>2.txt

  8. :a

  9. setlocal enabledelayedexpansion

  10. (for /f "skip=%n% delims=" %%i in ('type 1.txt') do (

  11.     if not defined _"%%i" (

  12.         echo,%%i

  13.     ) else (

  14.         if "!_"%%i"!"=="true" (

  15.             echo,%%i

  16.             set _"%%i"==false

  17.         )

  18.     )

  19. ))>>2.txt

  20. pause
复制代码
作者: terse    时间: 2022-11-24 11:13

本帖最后由 terse 于 2022-11-24 11:25 编辑 
  1. @echo off

  2. set "ture="

  3. (for /f "delims=" %%i in (x.txt) do (

  4.       if defined ture (

  5.          if  defined _%%i  (

  6.               if not defined #%%i echo;%%i&set #%%i=a

  7.          ) else echo;%%i

  8.       ) else echo;%%i&set _%%i=a

  9.       if "%%i" == "===="  set "ture=a"

  10. ))>2.txt

  11. pause
复制代码




欢迎光临 批处理之家 (http://bbs.bathome.net/) Powered by Discuz! 7.2