娜美

采用变量字典的去重方案有几点注意，虽是老调重弹，但用于大数据场合依然有限》
一。单个文件行数限制
二。单行字符长度限制
三。文本行皆为a-zA-Z字母时，变量字典定义因不区分大小写而失误

    正确,  多谢哥哥提醒

77七

@echo off
for /f "delims=" %%i in ('dir /b /a-d *.txt') do (
	cd.>"%%~ni_2%%~xi"
	for /f "useback delims=" %%a in ("%%i") do (
		findstr /xc:"%%a" "%%~ni_2%%~xi" 1>nul
		if errorlevel 1 (
			>>"%%~ni_2%%~xi" echo %%a
		)
	)
)
pause
复制代码

娜美

回复 17# 77七


    嗯嗯,  哥哥的区分了大小写,   只是有特殊字符的不能

aloha20200628

变量名字典采用前缀 _ 或 $ 或 # 等字符乃是一种防空对策，一旦遭遇文本行皆为空格时，set   =... 就会出现问题。
另提示17楼》循环体内的外部程序被频繁调用会导致运行效率明显滑坡，尤其是要管控内层循环，其效应是倍增的...

pd1

回复 14# Batcher

@echo off
set var=123
set num=4456
set a=ham
setlocal
set var=abcd
set num=jkl
set a=efg
set max=1234567
echo %var% %num% %a%
endlocal
echo %var% %num% %a%
pause
复制代码

搜了一下setlocal  endlocal   这个例子可以理解。
上面这个放for里面是对哪个变量本地化？%%a吗  我试了下把setlocal  endlocal 全删了也能成功

娜美

回复 12# aloha20200628


    大哥哥,  似乎不支持大小写,  和特殊字符,   如果需要大小写, 和支持尽可能多特殊字符呢 ?

77七

@echo off
for /f "useback delims=" %%i in (`dir /b /a-d *.txt`) do (
	setlocal
	for /f "useback delims=" %%a in (`sort "%%i"^&echo #@#@#`) do (
		if not defined str1 (
			set "str1=%%a"
		) else (
			set "str2=%%a"
			setlocal enabledelayedexpansion
			if "!str1!" neq "!str2!" (
				>>"%%~ni_2%%~xi" echo !str1!
			)
			endlocal
			set "str1=%%a"
		)
	)
	endlocal
)
pause
复制代码

未过多测试，不知道行不行，文本排序后，将某一行与下一行比较，如果不等，则打印某一行。
排序会改变。

aloha20200628

如果实际应用场合没有那么多纯P的'天敌'，变量名字典真是纯P代码得以如此轻快的一个好方法。
再给一个jscript+纯P混编的版本（存盘为.cmd或.bat文件），但愿能助纯P一臂之力...

@set @v=1 /*
@echo off
::当前目录（不含子目录）下所有*.txt文件去重
dir /b/a-d *.txt>"tmp.all"
cscript /e:jscript "%~f0" "tmp.all"
del /q "tmp.all"
exit/b
*/
var v = WSH.arguments;
var fso = new ActiveXObject('scripting.filesystemobject');
var fp = fso.opentextfile(v(0));
var strline = fp.readall(); fp.close();
var alllines = strline.split('\r\n');
while (alllines[alllines.length-1] == '') alllines.length--;
for (var n=0, nmax=alllines.length; n<nmax; ++n) {
	var txtF = alllines[n].replace(/\r\n/g, '');
	fp = fso.opentextfile(txtF);
	strline = fp.readall(); fp.close();
	var _strline = '\r\n', _alllines = strline.split('\r\n');
	while (_alllines[_alllines.length-1] == '') _alllines.length--;
	for (var k=0, kmax=_alllines.length; k<kmax; ++k) {
		if (_strline.indexOf('\r\n'+_alllines[k]+'\r\n') == -1)
			_strline += _alllines[k]+'\r\n';
	}
	if (_strline == '\r\n') continue;
	fp = fso.opentextfile(txtF+'.new', 2, true);
	fp.write(_strline.substr(2)); fp.close();
}
WSH.quit();
复制代码

娜美

回复 22# 77七

哥哥的也正确

娜美

回复 23# aloha20200628


   谢谢哥哥

Batcher

回复 20# pd1


请用两种写法分别试试这个测试用例。

1.txt内容如下：
bathome
net

2.txt内容如下：
bathome

pd1

回复 26# Batcher


    意思就是处理完第一个文件后，如果变量定义不清掉，第二个文件里如果有同样的字符，会被认为前面已经出现过吧

Batcher

回复 27# pd1


    是的。写在外面的话，有点类似于把所有文本合并在一起去重的效果。

aloha20200628

如果仅是优化纯P版本，还是要加持一些容错装备，以下是对12楼代码的订正...
不仅是“吃入”时要用双引号包裹%%i，“吐出”时也要用双引号包裹%%i，但须改用set/p...写出方可。
入时双引号包裹可保全变量名中特殊字符，如 set "123 zx|er&qw!kk%uu^12=1"。出时双引号包裹可保全绝大部分特殊字符，但!^会溜号。
变量延迟须包裹内循环体，就是为防止多个文件未处理完即有可能被变量名字典剧增而打爆CMD内存，例如两个5000+行的文件，若去重率极低，就可能会用尽内存开销...

@echo off
for /f "delims=" %%a in ('dir /b/a-d *.txt') do (
	setlocal enabledelayedexpansion
	(for /f "usebackq delims=" %%i in ("%%~a") do if not defined _%%i (
		set "_%%i=1"
		set/p="%%i"<nul
		echo,)
	)>"%%~a.new"
	endlocal
)
复制代码

Batcher

回复 29# aloha20200628


    setlocal足以，enabledelayedexpansion是否可以去掉