[其他] 批处理如何实现 oracle 数据批量入库？

winbat

1. 废话少说，先上代码

@echo off
@echo  菜鸟的菜
:importdb
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v5e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\4545e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\478e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\467984.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
......
@echo >>1.txt
pause
exit
复制代码

此种方法利是单线程数据包挨个读取上传减压负载，弊是每次上传数据包入库每次都要改写数据包文件名及路径麻烦且效率太慢
问：批处理能否自动读取某盘某路径文件夹下的所有dmp数据包[每个dmp名者不同]自动上传入库，然后读显记录输出 txt
也就是说 oracle 语句格式是固定的就是dmp数据包名不同（如上），就是把批处理放在某dmp数据文件夹内运行，批处理就自动读取dmp数据上传，或指定文件夹内读取数据自动上传。

2.

@echo off
@echo  菜鸟的菜
:importdb
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v545e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46454v5e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v5454e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v554e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
......
@echo >>2.txt
pause
exit
复制代码

就加了个 start 挨个读取单个执行此种方法利是多个弹窗挨个读取数据包上传效率快，弊是每次上传数据包入库每次都要改写数据包文件名及路径麻烦且弹窗太多（如50个dmp数据包得弹50个cmd ）
问：批处理能否自动读取某盘某路径文件夹下的所有dmp数据包[每个dmp名者不同]  挨个读取单个执行数据包自动上传入库，然后读显记录输出 txt
也就是说 oracle 语句格式是固定的就是dmp数据包名不同（如上），就是把批处理放在某dmp数据文件夹内运行，或指定文件夹内读取数据自动上传，批处理就自动读取每一个dmp数据类start上传只显示在一个cmd中，入完后读显记录输出 txt 。

小小小菜鸟一个，望各位大神大侠指点个解决的 BAT ，小生不胜感激。

winbat

回复 25# Batcher

@echo off
color 0A
echo    　 　　　   \\\ATA///     %date%
echo 　　   　　   \\　- -　//        %time:~0,8%
echo  　　   　　 　 (　@ @　)
echo     ┏━━━oOOo━━(_)━━oOOo━━━━┓
echo     ╀                                 ╀
echo    A◎      ID: @Batcher ; @winbat     ◎A
echo    A◎      Forum: www.bathome.net     ◎A
echo    A◎     非常感觉 @Batcher 的帮助    ◎A
echo    A◎                                 ◎A
echo     ╁                         Oooo    ╁
echo     ┗━━━━━━━━oooO━━(   )━━┛
echo                       (   )    ) / 
echo                        \ (    (_/ 
echo                         \_)
echo  
echo  
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=xxxxx recordlength=xxxxx commit=n ignore=y ignore=y feedback=xxx
)
:loop
ping -n 5 127.1 >nul
echo 正在判断 imp.exe 进程
tasklist | findstr /i "imp.exe" > nul && goto :loop
echo 正在合并日志文件
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "数据入库统计.log"
    set /a n+=1
)
echo 合并的文件个数：%n%
del %cd%\*.dmp.log
set TotalLine=0
for /f "tokens=2" %%i in ('findstr "导入了" 数据入库统计.log') do (
    set /a TotalLine+=%%i
)
echo                 %date:~0,4%年%date:~5,2%月%date:~8,2%日%time:~0,8%    数据入库统计：%TotalLine% 枚>>数据入库统计.log
exit
复制代码

sorry , 这两天一直在忙，问题解决了 perfect 。可以结帖了，非常感谢 @Batcher 的热心忙助让我少走了很多弯路也学到了很多，这里是个能学到东西的地方。
放上整理过的完整代码，分享给有用的人！
感谢 @Batcher www.bathome.net

Batcher

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
:loop
ping -n 5 127.1 >nul
echo 正在判断 imp.exe 进程
tasklist | findstr /i "imp.exe" > nul && goto :loop
echo 正在合并日志文件
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "test.log"
    set /a n+=1
)
echo 合并的文件个数：%n%
del %cd%\*dmp.log
pause
set TotalLine=0
for /f "tokens=2" %%i in ('findstr "导入了" test.log') do (
    set /a TotalLine+=%%i
)
echo 导入总行数：%TotalLine%>>test.log
pause

winbat

回复 23# Batcher

意思是明白了，添加了个 oracle imp.exe 命令进程判断 tasklist|find /i "imp.exe" 还是没效果，不知道这样是写对么？

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
tasklist|find /i "imp.exe"
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "test.log"
    set /a n+=1
)
echo 合并的文件个数：%n%
del %cd%\*dmp.log
pause
set TotalLine=0
for /f "tokens=2" %%i in ('findstr "导入了" test.log') do (
    set /a TotalLine+=%%i
)
echo 导入总行数：%TotalLine%>>test.log
pause
复制代码

还是要加个 for 判断呢，搞不定只能指望老大你了。

for /f "skip=1"%%i in ("imp.exe") do if not exist %%i start 
复制代码

Batcher

回复 22# winbat


    我不是已经告诉你了吗，看看进程。17楼你再看看

winbat

回复 21# Batcher

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "test.log"
    set /a n+=1
)
echo 合并的文件个数：%n%
del %cd%\*dmp.log
pause
set TotalLine=0
for /f "tokens=2" %%i in ('findstr "导入了" test.log') do (
    set /a TotalLine+=%%i
)
echo 导入总行数：%TotalLine%
pause
复制代码

第9行为什么使用中文括号？ 确实是中文输入，好意思打的太快输入法没切换。
第12行的括号是什么目的？ 编辑器自动添加了 T T
echo 导入总行数：%TotalLine% 为什么被你删掉了？
sorry ，我粗心大意了。测试时一直没成功修改时不小心给删到了，当也没加 pause 也没想到结果回显在屏幕，还以为结果会写到 test.log 里所以一直改不成功，抱歉 @Batcher 是我疏忽了，现在 ok 了

下星期上班在看下能否解决，延迟执行命令问题！非常感谢 @Batcher 周末愉快！

Batcher

回复 20# winbat


第9行为什么使用中文括号？
第12行的括号是什么目的？
echo 导入总行数：%TotalLine% 为什么被你删掉了？

你直接把16楼的代码放到13楼代码的后面，不要乱改。

winbat

回复 19# Batcher

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=6535 commit=n ignore=y feedback=1000
)
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "test.log"
    set /a n+=1
）
echo 合并的文件个数：%n%
pause
)
set TotalLine=0
for /f "tokens=2" %%i in ('findstr "导入了" test.log') do (
    set /a TotalLine+=%%i
)
exit
复制代码

Batcher

回复 18# winbat


    把你测试的代码和测试的结果发出来我看看

winbat

回复 16# Batcher

Batcher 您测试过了么，我怎么测试了没成功。能贴个完整的代码让我学习学习。我是菜鸟太菜了

Batcher

那就是 start 执行完 oracle imp 入库命令 dmp 数据入库到完成是要一定时间的

可以看看imp的时候是不是有对应的进程，根据进程判断imp是否执行完毕，类似于这个：
http://bbs.bathome.net/thread-33711-1-1.html

Batcher

回复 15# winbat

set TotalLine=0
for /f "tokens=2" %%i in ('findstr "导入了" test.log') do (
    set /a TotalLine+=%%i
)
echo 导入总行数：%TotalLine%
复制代码

winbat

回复 14# Batcher

今天试了下，改过后的代码，发现我们忽略了一个问题，那就是 start 执行完 oracle imp 入库命令 dmp 数据入库到完成是要一定时间的，而批处理命令执行完上一条命令会接着执行下一条所以 *dmp.log 生成时还没写入 oracle dmp 数据，文本是空的且被占用等待写入数据，而批处理命令接着执行空文本合并，会提示合并命令失败文件被占用。而之前测试的是早已生成后的文本所以未提示。
所以得加个判断条件等待 oracle dmp 数据入完库信息写入文本命令结束后才能接着执行文件合并命令。

Batcher

回复 13# winbat


    你把最后生成的test.log压缩一下，传上来，我告诉你如何计算。

winbat

回复 12# Batcher

最后一组数据合并重复了：

消微改了一下，您看这样可以么

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "test.log"
    set /a n+=1
)
echo 合并的文件个数：%n%
del %cd%\*dmp.log
pause
复制代码

sorry 但问题又来了，我们该如何在文件合并后自动统计入库数据数量呢？如上图入库数量 182340 行 + 237330 行,文件合并后自动统计为：419670 行 ; 当然我也知道打开手工计算，这样不是有驳批处理的理念么。
可以这样理解么：批处理，批量自动处理！
感谢 @Batcher 大大