PCL0769

回复 21# newswan
老师好！谢谢！
请教老师，后缀是用bat吗？
源数据放在桌面C:\Users\Administrator\Desktop\15单\金额16\补数据文件夹下
这里是不是要这么修改：
$sour = "C:\Users\Administrator\Desktop\15单\金额16\补数据\aaa"
$dest = "C:\Users\Administrator\Desktop\15单\金额16\补数据\ccc"
按这修改后还是闪退，是不是在最后加上PUSH就不会出现闪退，实在太快退出界面不知道没运行起来是什么原因。

PCL0769

回复 22# Batcher
好的谢谢老师提醒，以后注意。
双击运行时，只见到闪了一下，来不及看批处理出现什么问题就退出界面，小白一枚，还请老师见谅！

Batcher

回复 18# PCL0769


建议以后不要再说“不行”、“一闪而过”、“没有反应”之类的话，因为这对于想要给你进一步帮助的人来说没有任何意义。希望大家都能学会的一个知识点是：如何查看代码的报错信息。

如果你在执行.bat脚本，请参考Q-01观察一下哪行代码在报错以及详细的报错信息：
https://mp.weixin.qq.com/s/6lbb97qUOs1sTyKJfN0ZEQ

如果你在执行.ps1脚本，请参考：
http://bbs.bathome.net/thread-31071-1-1.html

newswan

回复 20# PCL0769


数据量很大，powershell 效率高些

$sour = "D:\share\tech\New folder (2)\aaa"
$dest = "D:\share\tech\New folder (2)\ccc"
$exclude = "20210227"

Remove-Item $dest\*.txt

get-date

Get-ChildItem -path $sour *.txt -Recurse | foreach-object {
    $_.fullname
    ( get-content $_.fullname ) -match "\w+\s+\w+\s+[-]?\w+" -notmatch $exclude -replace "SZ","1" -replace "SH","0" -replace "\s+","|" | out-file -append $dest\$_
}

get-date

Get-ChildItem -path $dest *.txt | foreach-object {
    $_.fullname
    $a = get-content $_.fullname | sort-object -unique
    $a | out-file $dest\$_
}

get-date
复制代码

PCL0769

回复 19# newswan
老师好！刚刚传了部分文本到云盘。
链接:
https://pan.baidu.com/s/1hqJLvFBn6n1Y-g9518TVyw
提取码:
9ewg

newswan

我这里运行是正确的，你自己调试吧

PCL0769

回复 15# qixiaobin0715
老师好！
现在用老师你上次帮写的D:/ABC合并，然后用vbs  SZ替换为0|   SH 替换为1|  空格替换成| SZ138...-QQ...替换成空格（此处还是留有不全的一行数据）。
分两步完成，首先用bat合并 ，然后vbs替换，这么做的结果是会留有不完整的行数据

0|301075|20210930|44406634
1|601077|20210930|-67302759
0||20210930|0 （0|后面的空格就是SZ139...-QQ...替换后的空数值）

newswan老师好！
楼上的代码还是闪退。
谢谢！

newswan

@echo off
setlocal ENABLEDELAYEDEXPANSION

set sour=C:\Users\admin\Desktop\New folder (2)\aaa
set dest=C:\Users\admin\Desktop\New folder (2)\bbb
set exclude=20210226

del "%dest%\*.txt"

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%sour%\*.txt"`) do (
    sed -r -n -e "/\w+\s+\w+\s+\w+/p" -e "/%exclude%/d" "%%~fa">> "%dest%\%%~na.txt"
)

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%dest%\*.txt"`) do (
    for /f "usebackq tokens=2 delims==" %%a in (`set __ 2^>nul`) do (
        set %%a=
    )
    for /f "usebackq tokens=* delims=" %%a in ("%%~fa") do (
        set __%%a=1
    )
    
    (
        for /f "usebackq tokens=2 delims==" %%a in (`set __`) do (
            echo %%a
        )
    ) > "%%~fa"
    notepad.exe "%%~fa"
)
复制代码

newswan

回复 15# qixiaobin0715


欠考虑，如果是单文件去重，需要清除变量

谢谢！！！

qixiaobin0715

探讨关于在for循环中使用set name几个问题。
我也在关注如何解决此帖中问题，基本想法和你类似。其中有几个问题未考虑成熟：
1.当没有变量引导符时，比如set __，可以显示所有以__开头的变量，并以通常顺序显示；
2.当循环设置变量，并使用这些变量处理完成后，再次循环设置变量时，前面设置的变量并不会自动消失，还会存在，直到将它们设置为空值或是退出cmd后。
所以，使用set name来处理帖子中的问题时，如果没有顺序要求应当可行。并且要考虑在下次循环前清空前面的变量值。
我自己未想到解决的办法。

newswan

目录是这样的

├───aaa
│   ├───01
│   └───02
└───bbb
复制代码

刚才 网站 拒绝登陆

newswan

powershell 好一些

$sour = "aaa"
$dest = "bbb"
$exclude = "20210227"

Remove-Item $dest\*.txt

Get-ChildItem -path $sour *.txt -Recurse | foreach-object {
    ( get-content $_.fullname ) -match "\w+\s+\w+\s+[-]?\w+" -notmatch $exclude | out-file -append $dest\$_
}

Get-ChildItem -path $dest *.txt | foreach-object {
    $a = get-content $_.fullname | sort-object -unique
    $a | out-file $dest\$_
    notepad.exe $dest\$_
}
复制代码

newswan

@echo off
setlocal ENABLEDELAYEDEXPANSION

set sour=C:\Users\admin\Desktop\New folder (2)\aaa
set dest=C:\Users\admin\Desktop\New folder (2)\bbb
set exclude=20210226

del "%dest%\*.txt"

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%sour%\*.txt"`) do (
    sed -r -n -e "/\w+\s+\w+\s+\w+/p" -e "/%exclude%/d" "%%~fa">> "%dest%\%%~na.txt"
)

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%dest%\*.txt"`) do (
    for /f "usebackq tokens=* delims=" %%a in ("%%~fa") do (
        set __%%a=%%a
    )
    
    (
        for /f "usebackq tokens=2 delims==" %%a in (`set __`) do (
            echo %%a
        )
    ) > "%%~fa"
    notepad.exe "%%~fa"
)
复制代码

PCL0769

回复 11# newswan
找不到 C:\*.txt
文件名、目录名或卷标语法不正确。

@echo off
setlocal ENABLEDELAYEDEXPANSION

set sour=C:\Users\Administrator\Desktop\15单\新建文件夹
set dest=C:\Users\Administrator\Desktop\15单\新建文件夹2

del %dest%\*.txt

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%sour%\*.txt"`) do (
    sed -r -n -e "/\w+\s+\w+\s+\w+/p" -e "/%exclude%/d" "%%~fa">> "%dest%\%%~na.txt"
)

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%dest%\*.txt"`) do (
    set _file_=%%~fa
    for /f "usebackq tokens=* delims=" %%a in ("%_file_%") do (
        set __%%a=%%a
    )
   
    (
        for /f "usebackq tokens=2 delims==" %%a in (`set __`) do (
            echo %%a
        )
    ) > "%_file_%"
    notepad "%_file_%"
)

newswan

我测试正确的，你自己调试一下

set sour=aaa    源路径
set dest=bbb    目的路径

set exclude=20210226   排除列表