[已解决]如何使用文本工具进行整行去重、首列排序

terse

楼主是想让安徽排在第一个这样的排序吗

77七

回复 16# terse


   

大佬，像以下这样的，数字比较好说明，汉字因为编码问题，排序有差异又出现巧合。实际文本是ansi，只要排序了就行，比如以下数字，可以排成 1 2 3 ，也可以 3 2 1 。

1. 处理前
   
2. 2 3
   
3. 1 5
   
4. 2 1
   
5. 1 8
   
6. 3 0
   
7. 
   
8. 处理后
   
9. 1 5
   
10. 1 8
    
11. 2 3
    
12. 2 1
    
13. 3 0

复制代码

xczxczxcz

吐个槽：学一门对象语言，不就简单了吗，用你上面的50000行脚本，用PS排序分类也秒内完成。唉，为何总纠结bat?

terse

去重复 然后排序，只是不确定你想怎样排序，是一次性排序，还是只排关键词，试试吧，看达不到要求

1. gawk "{if(!c[$0]++)a[$1][b[$1]++]=$0}END{PROCINFO["sorted_in"]="@ind_str_asc";for(k in a)for(i=0;i<b[k];i++) print a[k][i]}" 1.txt>2.txt

复制代码

回复 17# 77七

77七

回复 18# xczxczxcz


   谢谢大佬指点！注册账号以前没接触过计算机语言，包括现在我也不知道什么是对象语言...因为现在bat基本可以满足我的实际使用需要，还有很多第三方工具可以调用补充bat的不足，所以我的想法是把bat学好就行，自己实用为主，暂时不考虑学习ps。

77七

回复 19# terse


   谢谢大佬，测试没问题，完全满足需求。批处理中的 sort 会按整行排序，排序第一列同时会排序第二列。我是想对第二列不排序，保持原有顺序。
大概是1楼，由于我的错误，和巧合，让您造成了误解，不好意思。描述起来可能比较困难，本意像13楼中我的批处理排序代码那样，第一列相同的，行号小的第二列会排在上面。

terse

一定执着于批处理的话 这样处理怎么样，效率提高不大，比较SET还是否轻松点吧

1. @echo off&setlocal enabledelayedexpansion
   
2. REM 存为ANSI文件
   
3. %1 (for /f "tokens=1,2*" %%i in ('%0 rem ^|sort') do echo %%i %%k)>2.txt&exit
   
4. for /f "tokens=1,2*delims=: " %%a in ('findstr /n . ^< a.txt') do (
   
5.      if not defined _"%%b %%c" (
   
6.         set s=000000%%a
   
7.         echo %%b !s:~-7! %%c
   
8.      )
   
9.      set _"%%b %%c"=0
   
10. )

复制代码

77七

回复 22# terse

谢谢大佬！没有执着用批处理解决这个问题。这种写法学习了！测试了一下，用时12分钟。

我把代码中的去重去掉了，（因为还在set，在下午测试的时候我发现批处理set 到三四万个变量后，速度已经变得很慢 ）。直接使用gawk去重，使用代码排序，耗时只需1分钟，效率已大大提高！

WHY

bat+JS 试试

1. @if(0)==(0) echo off
   
2. pushd "%~dp0"
   
3. type 1.txt | cscript //nologo //e:jscript "%~f0" > 2.txt
   
4. pause & exit/b
   
5. @end
   
6. 
   
7. var map = {};
   
8. var num = 100000000;
   
9. 
   
10. var str = WSH.StdIn.ReadAll();
    
11. var arr = str.replace(
    
12.     /^(\S+)[^\r\n]*(?=\r\n|$)/mg,
    
13.     function(s0, s1){
    
14.         if (!map.hasOwnProperty(s0)){
    
15.             map[s0] = true;
    
16.             return s1 + ++num + ' ' + s0;    //每一行添加数字
    
17.         } else {
    
18.             return '';  //去重复
    
19.         }
    
20.     }
    
21. ).split('\r\n').sort();
    
22. 
    
23. str = arr.join('\r\n').replace(/^\S+ /mg, '');     //删掉每一行添加的数字
    
24. str = str.replace(/^(?:\r\n)+/, '');               //删掉开头的回车换行
    
25. WSH.Echo(str);

复制代码

77七

回复 24# WHY


   谢谢大佬！速度也很快，5万行文本，1-2秒左右。

aloha20200628

既然LZ的主旨是要用纯P组织流程与控制，用高效第三方工具作任务执行，就用awk+sort的组合拳了。
从本站下载 sort.exe v2.1/v7.6 两个版皆可，最好更名调用(如_sort.exe)以免和系统内置款冲突。
例如》 _sort -k 1 -t ";" inF.txt>outF.txt
上式中的参数-k指定仅对第1列排序，参数-t指定各列分隔符为分号，默认是空格。

77七

回复 26# aloha20200628


   谢谢老师指点！我试了一下

1. _sort -k 1 1.txt

复制代码

没有达到效果，仍然排序了第二列。

1. 排序前
   
2. 2 7
   
3. 1 5
   
4. 2 1
   
5. 1 2
   
6. 1 3
   
7. 排序后
   
8. 1 2
   
9. 1 3
   
10. 1 5
    
11. 2 1
    
12. 2 7
    
13. 
    
14. 希望排序后
    
15. 1 5
    
16. 1 2
    
17. 1 3
    
18. 2 7
    
19. 2 1

复制代码

看了sort -k的说明，我也没看明白。

-k, --key=POS1[,POS2] 在 POS1（起点 1）开始一个键，在 POS2 结束
（默认行尾）

hfxiang

回复 17# 77七

1. 
   
2. gawk "!a[$1]++{c[++i]=$1}{b[$1,a[$1]]=$0}END{s=asort(c,tA);for(i=1;i<=s;i++)for(j=1;j<=a[tA[i]];j++)print b[tA[i],j]}" 1.txt>2.txt
   

复制代码

77七

回复 28# hfxiang


   谢谢大佬！大佬的代码对首列的排序方式有点与众不同，测试排序数字，大概是按数值大小排序的；测试排序汉字，大致和批处理的sort排序相同；满足排序需求，非常感谢！

aloha20200628

看来满足LZ的特殊要求还须一个参数 -s 帮忙，订正为下式即可 》
   _sort -s -k 1,1 inF.txt>outF.txt

再分享一个有关 _sort.exe 的趣点，单用（必须是单用!）一个参数 -u 还可去重，如下式》
   _sort -u inF.txt>outF.txt

如此，去重+排序 可被 _sort.exe 一举拿下...