[文件操作] 批处理怎样对多个文本文件的指定数据统计？

dreamboc

大家好，最近工作上遇到一件麻烦事啊。问朋友说是用批处理来处理要快一些，但苦于不了解这个，因此特来此请教。
     因为快到春节了，要总结上一年的工作，而07的帐户要处理，问题如下。
有多个文件夹，命名方式如20070101一直到20071231，而每个文件夹里有多个TXT文本文件，其中有一个比如1357.TXT
打开1357.TXT，内容如下，最上边是文档说明，时间类别之类，然后下面就是各种产品交易信息等等
                    比如 1月1日  产品销售统计表，见附件，等等，每天的TXT表格式都是如此。
我想统计销售总金额应该怎么办啊。
针对朋友提出的问题，有两类表，一种是有小数的，一种是没有小数的，有小数的那种有两位有效数字。
我刚刚接手，烦啊。
期待大家指教
如果有能解决的朋友，也请把思路告诉我，日后再碰到类似问题 ，我也好处理啊。
非常感谢
我的邮箱是[email=bluedream5566@126.com]bluedream5566@126.com[/email]，若需要详细资料的可以联系我啦。

dreamboc

非常抱歉啊
要求更改了几次
谢谢论坛朋友。活活

namejm

　　楼主的要求经常变换，一些代码已经不再适合楼主，暂时不作关注。

namejm

　　楼主给我传了原始数据，并附上了处理要求，本来想通过QQ联系楼主，再进一步确认一些细节，可惜把附件里提到的QQ加上之后，那个QQ的主人说：楼主留的QQ不是楼主的=_=!现把我的代码发出来，楼主看看是否达到你的要求；若需要修改，请跟帖提出；如有必要，请站内短信联系。

　　以下代码必须放在 E:\nstpp\rbs 下执行，若盘符有变，不影响结果；若路径的层深有变，则需要修改部分代码：

@echo off
:: 1、搜索所有的数据文件
:: 2、提取所有数据文件中第5行后所有的第一列数据，
:: 3、重组为 "第一列数据 纯数字型文件夹名 纯数字型文件名"的格式(关键)
:: 4、把重组后的数据按照月份写入"根目录\tmp\××\tmp1.txt"文件中
:: 5、把tmp1.txt中的所有帐号内容提取到tmp2.txt中
:: 6、对tmp2.txt中的数据进行统计，按照
:: "帐户号      月份 总数" 或者
:: "帐户号 月份数 类型号 小计数" 的格式导入"根目录\tmp\tmp_月份号.txt"中
:: 7、按格式提取统计信息
:: 关键处有两点：1、重新组合相关数据并分类写入相关文件；2、各种相似数据的累加

rem ==========初始化各种设置=============
set begin=%time%
set root=%cd:~0,2%
set FileNum=0
:: 统计脚本所在目录存在的文件数量，为后面的 skip=%FileNum% 提供数据
for /f %%i in ('dir /a-d') do set /a FileNum+=1
echo.&echo 　　　　本程序将创建临时文件夹 %root%\tmp ，里面存放的是程序运行期间产
echo 　　生的各种临时数据。为便于跟踪测试，本程序保留所有的临时文件，这
echo 　　些文件可在程序运行完毕后全部删除。无论删除与否，都不会影响程序
echo 　　下一次运行的结果。
echo.&echo 　　　　正在处理数据。视待处理数据量的大小，这个过程将持续数分钟到
echo 　　数十分钟不等，请耐心等待...

rem ==========生成各种临时文件=============
:: 提取原始文件中的相关信息，重新组合，写入临时文件，以备最后的统计
rd /q /s %root%\tmp 2>nul
setlocal enabledelayedexpansion
:: 把每个月的相关的临时数据写入以月份命名的临时文件夹下
:: 要做的一些事情：过滤每个文件的头5行（skip=5）、重新组合相关数据（关键处之一）

:: 生成每个月的第一个临时文件
for /f "skip=%FileNum% tokens=1-6 delims=\" %%i in ('dir /a-d /b /s') do (
    title 正在提取 %%i\%%j\%%k\%%l\%%m\%%n 中数据
    set month=%%l
    set month=!month:~7,2!
    md %root%\tmp\!month! 2>nul
    if not exist %root%\tmp\!month!\tmp1.txt (
        echo ;本文件为临时中转文件，在 %%i\%%j\%%k 下!month!月份数据的基础上产生
        echo ;处理结果请看 %root%\tmp\%%i\tmp2.txt
        echo ;以下数据的含义为：交易帐号 纯数字文件夹名 纯数字文件名
        echo ;因为原文件数据格式不尽一致的原因，某些行的数据含义与上述描述不尽相符
        echo ;
    )>%root%\tmp\!month!\tmp1.txt
    for /f "skip=5" %%x in (%%i\%%j\%%k\%%l\%%m\%%n) do (
        echo %%x %%m %%n>>%root%\tmp\!month!\tmp1.txt
    )
)
cd.>result.txt

:: 生成每个月的第二个临时文件
for /f %%i in ('dir /ad /b %root%\tmp') do (
    if not exist %root%\tmp\%%i\tmp2.txt (
        echo ;本文件为临时中转文件，在 %root%\tmp\%%i\tmp1.txt 的基础上产生
        echo ;为后续处理做准备，处理结果请看 %root%\tmp\tmp_%%i.txt
        echo ;以下数据的含义为：交易帐号 纯数字文件夹名 纯数字文件名
        echo ;
    )>%root%\tmp\%%i\tmp2.txt
    findstr /b "[0-9]" %root%\tmp\%%i\tmp1.txt>>%root%\tmp\%%i\tmp2.txt
    for /f "delims==" %%j in ('set num_ 2^>nul') do set %%j=
    for /f "tokens=1-3" %%j in (%root%\tmp\%%i\tmp2.txt) do (
        title 正在统计%%i月份数据
        set /a num_%%k+=1&set /a num_%%k_%%l+=1
    )
    (
        echo ;本文件为临时中转文件，在所有子目录下的tmp2.txt基础上产生
        echo ;处理结果请看 %cd%\result.txt
        echo ;以下数据的含义为：纯数字文件夹名 月份 总数 或者 纯数字文件夹名 月份 纯数字文件名 小计
        echo ;
    )>%root%\tmp\tmp_%%i.txt
    for /f "tokens=2,3,4 delims=_=" %%j in ('set num_') do (
        if "%%l"=="" (
            >>%root%\tmp\tmp_%%i.txt echo %%j %%i      %%k
        ) else (
            >>%root%\tmp\tmp_%%i.txt echo %%j %%i %%k %%l
        )
    )
    for /f "tokens=1-4" %%j in ('sort %root%\tmp\tmp_%%i.txt') do (
        if "%%m"=="" (
            (echo.&echo %%j %%k月份新开户数 %%l，其中：)>>result.txt
        ) else (
            >>result.txt echo     %%l 为 %%m
        )
    )
)
(echo.&echo 程序开始运行时间 %begin%，结束运行时间 %time%)>>result.txt
start result.txt
复制代码

　　应楼主的要求，为保密起见，不提供原始数据，请原谅。

dreamboc

原帖由 foxJL 于 2008-1-28 23:26 发表
根据你给我的数据,增加了一点.@echo off&setlocal enabledelayedexpansion
set lx=6210,6221,6222
set "6210=认购" && set "6221=申购" && set "6222=赎回"
for %%a in (%lx%) do (
set nums=0
for /f %%i in ( ...

活活，老乡，谢谢啦

namejm

凌晨时发的第一个代码有错误，请用本次代码测试[2008-1-29 17:59]

namejm

　　在DOS联盟里也看到了你的求助帖，在那个帖子里，你最开始还想求出每个操作员的操作次数。其实，用批处理是完全可以办到的。

　　从你在顶楼发的数据来看，我并没有找到操作员的信息，姑且把客户帐号当作你想要的操作员吧，现在，我把你的环境做如下假设（若与你的情况不符，请跟帖提出）：
　　在某个文件夹下（假设是test），只存在从20070101到20071231为名的文件夹，而每个文件夹下，都存在一个1357.txt文件，这个文件存放的是你即将要统计的数据，金额一栏小数点后的两位数字都是0，现在要统计每个操作员的操作次数（在你的数据中，实际上对应的是客户帐号）及总共的金额，那么，可把如下代码放到test目录下运行即可。

　　以下代码的总体思路是：先在当前目录及其所有子目录中搜索1357.txt，然后，把所有1357.txt的内容都去掉头5行之后，合并到test.txt中，再对test.txt的内容进行排序，通过比较上下行第一列内容的不同求出客户帐号出现的次数（也就是操作员操作的次数），从而避免了设置大量变量的情况，和DOS联盟3742668的代码比起来，这个方案能够避免产生大量的临时文件：

@echo off
:: 凌晨时发的代码有错误，请用本次代码测试[2008-1-29 17:59]
cd.>test.txt
set /a total=0,times=1
for /f "delims=" %%i in ('dir /a-d /b /s 1357.txt') do (
    >>test.txt more +5 "%%i"
)
setlocal enabledelayedexpansion
for /f "tokens=1,4,5 delims=,. " %%i in ('sort test.txt') do (
    if defined ID (
        if "!ID!"=="%%i" (
            set /a times+=1
        ) else (
            echo !ID! 出现的次数是 !times!
            set times=1
        )
    )
    set /a total+=%%j%%k
    set ID=%%i
)
echo %ID% 出现的次数是 %times%
echo 总金额是 %total%.00
pause
复制代码

　　如果只需要统计总金额，那就太容易了：

@echo off
for /f "delims=" %%i in ('dir /a-d /b /s 1357.txt') do (
    for /f "usebackq skip=5 tokens=4,5 delims=,. " %%j in ("%%i") do (
        set /a total+=%%j%%k
    )
)
echo 总金额是 %total%.00
pause
复制代码

　　另：你在顶楼发了两个数据附件，但是内容都是一样的，我猜想你是想另传一个不带小数点的数据文件，但是选重了。我删除了其中一个，请把不带小数点的数据文件也发出来，让我们看一下格式吧。

dreamboc

收下来，活活。晚安呀，兄弟

梦想种子

因为小数问题，兼用VBS比较方便。

@echo off&setlocal enabledelayedexpansion
set batpath=%~d0%~p0
echo 统计中...
for /f %%i in ('dir /b /ad RPT2007*') do (
cd /d %%i
for /f "delims=" %%j in ('dir /b /s 62*') do (
for /f "skip=5 tokens=4" %%k in ('type "%%j"') do (
set t=%%k
echo !t:,=! >>"%batpath%result.txt"
)
)
cd ..
)
echo dim fso,data,n,sum,h >>cal.vbs
echo set fso=createobject("scripting.filesystemobject") >>cal.vbs
echo set data=fso.opentextfile("result.txt") >>cal.vbs
echo do >>cal.vbs
echo n=data.readline >>cal.vbs
echo if isnumeric(n) then >>cal.vbs
echo n=cdbl(n) >>cal.vbs
echo sum=sum+n >>cal.vbs
echo end if >>cal.vbs
echo loop until data.atendofstream >>cal.vbs
echo data.close >>cal.vbs
echo fso.deletefile("result.txt") >>cal.vbs
echo fso.deletefile "cal.vbs" >>cal.vbs
echo msgbox "总额为：" ^& sum ^& "元。" >>cal.vbs
start cal.vbs
复制代码

foxJL

根据你给我的数据,增加了一点.

@echo off&setlocal enabledelayedexpansion
set lx=6210,6221,6222
set "6210=认购" && set "6221=申购" && set "6222=赎回"
for %%a in (%lx%) do (
set nums=0
for /f %%i in ('dir /b /s %%a') do (
        for /f "skip=5 tokens=1-4" %%j in (%%i) do (
                if not "%%j"=="*" (
                        set num=%%m
                        set num=!num:,=!
                        set num=!num:.=!
                        set /a nums+=!num!>nul 2>nul
                        )
                )
        )
echo !%%a!类型 总交易金额是:!nums:~0,-2!.!nums:~-2!
)
echo.&echo ---统计完成,键任意键退出.&pause>nul
复制代码

[ 本帖最后由 foxJL 于 2008-1-28 23:29 编辑 ]

foxJL

那应该就没问题了,你测试一下看有没有什么问题,再反馈.

dreamboc

原帖由 foxJL 于 2008-1-28 21:11 发表
复制一份文本格式的发出来吧.我们也好复制.
还有:
从20070101到20071231目录都是在一个文件夹里面吗?

你所比如的"1357.TXT"数据文件是不是固定的名字?如果不是那有什么特征来判断哪个文件是数据文件?

从20070101到20071231都在一个文件夹里面，1357是固定名字，除了周末，每天都生成

dreamboc

我先去试试看呀，非常感谢

foxJL

因为你还有一些问题没有说清楚,所以按照你上面所描述的,查找每个目录里面的"1357.txt"这个文件,写了一个.
你只需把这个脚本放在20070101目录的上一层就可以了.

@echo off
set nums=0
for /f %%i in ('dir /b /s 1357.txt') do (
	for /f "skip=5 tokens=1-4" %%j in (%%i) do (
		set num=%%m
		call set num=%%num:,=%%
		call set num=%%num:.=%%
		call set /a nums+=%%num%%
		)
)
echo 总交易金额是:%nums:~0,-2%.%nums:~-2%
pause
复制代码

dreamboc

******************************************************************************************************************************
*                                                   销售表                                                                       *
******************************************************************************************************************************
                客户帐号      产品代码         公司帐号          交易金额      交易类型         
           =============   =============   ================   ==================                    
                     0691280      012         542660              3,000.00     111
                    1610530      803         616183             20,000.00     111                                          
                    0855230      003         007598             10,000.00     111                                          
                    0211090      001         435238             20,000.00     111                                          
                    0861920      001         561694             12,000.00     111                                          
                    0747690      001         544146             20,000.00     111                                          
                    0800420      803         543999             50,000.00     111                                          
                    0385610      803         266971             10,000.00     111                                          
                    1039860      803         050714             20,000.00     111                                          
                    0956590      005         564250             10,000.00     111