[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
rack

Rank: 1

帖子
25 
积分
41 
技术
0  
捐助
0  
注册时间
2013-6-11 
1楼 跳转到 » 倒序看帖
打印
tT
发表于 2014-9-8 21:35 | 只看该作者

[文本处理] 用findstr做文本批处理去重

找了几个用DOS做批处理去重，上了G级别大小以上的特别慢，而且有多行合并成一行的情况。
听说用findstr效果好很多，怎么做呢？
收藏 分享

DAIC

Rank: 8Rank: 8

帖子
2874 
积分
7021 
技术
336  
捐助
0  
注册时间
2011-6-2 
2楼
发表于 2014-9-8 21:58 | 只看该作者
听谁说的？他在胡说八道吧
sed.exe  gawk.exe  grep.exe  下载地址

TOP

rack

Rank: 1

帖子
25 
积分
41 
技术
0  
捐助
0  
注册时间
2013-6-11 
3楼
发表于 2014-9-10 08:50 | 只看该作者
回复 2# DAIC

哦，那就是还是一样的。
我找的就是这个。后来不敢用了。
    @echo off
:: 删除重复的行，但不能保留空行
:: 对不符合变量命名规则、变量个数超过限制的文本都无法正确处理
::
(echo：& echo.)>str_.txt
for /f "delims=" %%i in (a.txt) do (
if not defined %%i set %%i=A & echo %%i>>str_.txt)

TOP

DAIC

Rank: 8Rank: 8

帖子
2874 
积分
7021 
技术
336  
捐助
0  
注册时间
2011-6-2 
4楼
发表于 2014-9-10 08:58 | 只看该作者
回复 3# rack


    这个代码效率不高，处理上G的文件不靠谱。
sed.exe  gawk.exe  grep.exe  下载地址

TOP

techon

Rank: 2

帖子
95 
积分
115 
技术
4  
捐助
0  
注册时间
2011-4-13 
5楼
发表于 2014-9-11 01:29 | 只看该作者
变量不可能无限定义，用第三方程序处理吧。。。
解释执行的脚本语言与编译语言还是有很大差别的。。。

TOP

返回列表