[其他] 批处理如何实现 oracle 数据批量入库？

winbat

1. 废话少说，先上代码

@echo off
@echo  菜鸟的菜
:importdb
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v5e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\4545e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\478e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\467984.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
......
@echo >>1.txt
pause
exit
复制代码

此种方法利是单线程数据包挨个读取上传减压负载，弊是每次上传数据包入库每次都要改写数据包文件名及路径麻烦且效率太慢
问：批处理能否自动读取某盘某路径文件夹下的所有dmp数据包[每个dmp名者不同]自动上传入库，然后读显记录输出 txt
也就是说 oracle 语句格式是固定的就是dmp数据包名不同（如上），就是把批处理放在某dmp数据文件夹内运行，批处理就自动读取dmp数据上传，或指定文件夹内读取数据自动上传。

2.

@echo off
@echo  菜鸟的菜
:importdb
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v545e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46454v5e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v5454e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v554e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
......
@echo >>2.txt
pause
exit
复制代码

就加了个 start 挨个读取单个执行此种方法利是多个弹窗挨个读取数据包上传效率快，弊是每次上传数据包入库每次都要改写数据包文件名及路径麻烦且弹窗太多（如50个dmp数据包得弹50个cmd ）
问：批处理能否自动读取某盘某路径文件夹下的所有dmp数据包[每个dmp名者不同]  挨个读取单个执行数据包自动上传入库，然后读显记录输出 txt
也就是说 oracle 语句格式是固定的就是dmp数据包名不同（如上），就是把批处理放在某dmp数据文件夹内运行，或指定文件夹内读取数据自动上传，批处理就自动读取每一个dmp数据类start上传只显示在一个cmd中，入完后读显记录输出 txt 。

小小小菜鸟一个，望各位大神大侠指点个解决的 BAT ，小生不胜感激。

winbat

回复 2# Batcher


    单线程执行 ？？谢谢， 明上班整整看，

winbat

回复 4# Batcher

txt 输出是只显示：正在处理文件 E:\oracle数据入库\xxxx.dmp 没打印完整的输出结果。
如50个dmp ，start 得 50 个cmd 汗。包太多了，入的太慢还没入完，今天试了几个得以上结果。

可惜结果没整个输出，但还是要感谢 Batcher 大大

winbat

回复 6# Batcher

>>1.txt imp user/passwd@orcl_192.168.0.1 file=%%i fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
还是不能保存记录屏幕内容

我只能添加 pause ，但数据多的话，屏幕缓冲区调大也总是不如保存txt记录屏幕内容,这样也方便于后期统计。
下面这张是数据导入成功回显图，能记录导出txt每个数据包导入成功回显数据就ok了，为了就是方便于后期导入数据统计。有大侠能指点个下么，感激不尽。

winbat

回复 8# Batcher

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
复制代码

start 执行解决了。把批处理放在想入库的 dmp 数据目录下运行，dmp数据导入完后会在目录下生成以dmp数据名命名的.log文件

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
imp user/pwd@orcl_192.168.0.1 file=%%i log=test.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
复制代码

多数据单线程不能同写在一个test.log文体里 ，唉！留给大牛解决吧。
再次感谢 @Batcher 牛的帮助，结帖吧 虽然不完美但也算完成了

winbat

回复 10# Batcher

thank you, I think this is a good idea.

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
for /r %%i in (*dmp.log) do copy "test.log"/a+"%%i"/a "test.log"
del %cd%\*dmp.log
echo 合并完成.
复制代码

菜鸟东拼西凑的代码，如能实现下面的效果该如何写呢：

for /r %%i in (%leixing%) do copy /y %%i %goalfile% &&set num+=1
set /a set /a str=!num!*2
echo 共将!str!个文件，合并成!num!个文件
echo 合并完成.
复制代码

winbat

回复 12# Batcher

最后一组数据合并重复了：

消微改了一下，您看这样可以么

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "test.log"
    set /a n+=1
)
echo 合并的文件个数：%n%
del %cd%\*dmp.log
pause
复制代码

sorry 但问题又来了，我们该如何在文件合并后自动统计入库数据数量呢？如上图入库数量 182340 行 + 237330 行,文件合并后自动统计为：419670 行 ; 当然我也知道打开手工计算，这样不是有驳批处理的理念么。
可以这样理解么：批处理，批量自动处理！
感谢 @Batcher 大大

winbat

回复 14# Batcher

今天试了下，改过后的代码，发现我们忽略了一个问题，那就是 start 执行完 oracle imp 入库命令 dmp 数据入库到完成是要一定时间的，而批处理命令执行完上一条命令会接着执行下一条所以 *dmp.log 生成时还没写入 oracle dmp 数据，文本是空的且被占用等待写入数据，而批处理命令接着执行空文本合并，会提示合并命令失败文件被占用。而之前测试的是早已生成后的文本所以未提示。
所以得加个判断条件等待 oracle dmp 数据入完库信息写入文本命令结束后才能接着执行文件合并命令。

winbat

回复 16# Batcher

Batcher 您测试过了么，我怎么测试了没成功。能贴个完整的代码让我学习学习。我是菜鸟太菜了

winbat

回复 19# Batcher

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=6535 commit=n ignore=y feedback=1000
)
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "test.log"
    set /a n+=1
）
echo 合并的文件个数：%n%
pause
)
set TotalLine=0
for /f "tokens=2" %%i in ('findstr "导入了" test.log') do (
    set /a TotalLine+=%%i
)
exit
复制代码

winbat

回复 21# Batcher

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "test.log"
    set /a n+=1
)
echo 合并的文件个数：%n%
del %cd%\*dmp.log
pause
set TotalLine=0
for /f "tokens=2" %%i in ('findstr "导入了" test.log') do (
    set /a TotalLine+=%%i
)
echo 导入总行数：%TotalLine%
pause
复制代码

第9行为什么使用中文括号？ 确实是中文输入，好意思打的太快输入法没切换。
第12行的括号是什么目的？ 编辑器自动添加了 T T
echo 导入总行数：%TotalLine% 为什么被你删掉了？
sorry ，我粗心大意了。测试时一直没成功修改时不小心给删到了，当也没加 pause 也没想到结果回显在屏幕，还以为结果会写到 test.log 里所以一直改不成功，抱歉 @Batcher 是我疏忽了，现在 ok 了

下星期上班在看下能否解决，延迟执行命令问题！非常感谢 @Batcher 周末愉快！

winbat

回复 23# Batcher

意思是明白了，添加了个 oracle imp.exe 命令进程判断 tasklist|find /i "imp.exe" 还是没效果，不知道这样是写对么？

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
tasklist|find /i "imp.exe"
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "test.log"
    set /a n+=1
)
echo 合并的文件个数：%n%
del %cd%\*dmp.log
pause
set TotalLine=0
for /f "tokens=2" %%i in ('findstr "导入了" test.log') do (
    set /a TotalLine+=%%i
)
echo 导入总行数：%TotalLine%>>test.log
pause
复制代码

还是要加个 for 判断呢，搞不定只能指望老大你了。

for /f "skip=1"%%i in ("imp.exe") do if not exist %%i start 
复制代码

winbat

回复 25# Batcher

@echo off
color 0A
echo    　 　　　   \\\ATA///     %date%
echo 　　   　　   \\　- -　//        %time:~0,8%
echo  　　   　　 　 (　@ @　)
echo     ┏━━━oOOo━━(_)━━oOOo━━━━┓
echo     ╀                                 ╀
echo    A◎      ID: @Batcher ; @winbat     ◎A
echo    A◎      Forum: www.bathome.net     ◎A
echo    A◎     非常感觉 @Batcher 的帮助    ◎A
echo    A◎                                 ◎A
echo     ╁                         Oooo    ╁
echo     ┗━━━━━━━━oooO━━(   )━━┛
echo                       (   )    ) / 
echo                        \ (    (_/ 
echo                         \_)
echo  
echo  
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=xxxxx recordlength=xxxxx commit=n ignore=y ignore=y feedback=xxx
)
:loop
ping -n 5 127.1 >nul
echo 正在判断 imp.exe 进程
tasklist | findstr /i "imp.exe" > nul && goto :loop
echo 正在合并日志文件
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "数据入库统计.log"
    set /a n+=1
)
echo 合并的文件个数：%n%
del %cd%\*.dmp.log
set TotalLine=0
for /f "tokens=2" %%i in ('findstr "导入了" 数据入库统计.log') do (
    set /a TotalLine+=%%i
)
echo                 %date:~0,4%年%date:~5,2%月%date:~8,2%日%time:~0,8%    数据入库统计：%TotalLine% 枚>>数据入库统计.log
exit
复制代码

sorry , 这两天一直在忙，问题解决了 perfect 。可以结帖了，非常感谢 @Batcher 的热心忙助让我少走了很多弯路也学到了很多，这里是个能学到东西的地方。
放上整理过的完整代码，分享给有用的人！
感谢 @Batcher www.bathome.net