[其他] 批处理如何实现 oracle 数据批量入库？

winbat

1. 废话少说，先上代码

@echo off
@echo  菜鸟的菜
:importdb
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v5e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\4545e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\478e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\467984.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
......
@echo >>1.txt
pause
exitCOPY

此种方法利是单线程数据包挨个读取上传减压负载，弊是每次上传数据包入库每次都要改写数据包文件名及路径麻烦且效率太慢
问：批处理能否自动读取某盘某路径文件夹下的所有dmp数据包[每个dmp名者不同]自动上传入库，然后读显记录输出 txt
也就是说 oracle 语句格式是固定的就是dmp数据包名不同（如上），就是把批处理放在某dmp数据文件夹内运行，批处理就自动读取dmp数据上传，或指定文件夹内读取数据自动上传。

2.

@echo off
@echo  菜鸟的菜
:importdb
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v545e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46454v5e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v5454e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
start imp user/passwd@orcl_192.168.0.1 file=E:\oracle数据入库\46v554e4.dmp fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
......
@echo >>2.txt
pause
exitCOPY

就加了个 start 挨个读取单个执行此种方法利是多个弹窗挨个读取数据包上传效率快，弊是每次上传数据包入库每次都要改写数据包文件名及路径麻烦且弹窗太多（如50个dmp数据包得弹50个cmd ）
问：批处理能否自动读取某盘某路径文件夹下的所有dmp数据包[每个dmp名者不同]  挨个读取单个执行数据包自动上传入库，然后读显记录输出 txt
也就是说 oracle 语句格式是固定的就是dmp数据包名不同（如上），就是把批处理放在某dmp数据文件夹内运行，或指定文件夹内读取数据自动上传，批处理就自动读取每一个dmp数据类start上传只显示在一个cmd中，入完后读显记录输出 txt 。

小小小菜鸟一个，望各位大神大侠指点个解决的 BAT ，小生不胜感激。

Batcher

1.bat

@echo off
>1.txt type nul
for %%i in ("E:\oracle数据入库\*.dmp") do (
    >>1.txt echo 正在处理文件 %%i
    imp user/passwd@orcl_192.168.0.1 file=%%i fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
)COPY

winbat

回复 2# Batcher


    单线程执行 ？？谢谢， 明上班整整看，

Batcher

回复 3# winbat


    你不是已经知道在 imp 前面加 start 了吗

winbat

回复 4# Batcher

txt 输出是只显示：正在处理文件 E:\oracle数据入库\xxxx.dmp 没打印完整的输出结果。
如50个dmp ，start 得 50 个cmd 汗。包太多了，入的太慢还没入完，今天试了几个得以上结果。

可惜结果没整个输出，但还是要感谢 Batcher 大大

Batcher

回复 5# winbat


@echo off
>1.txt type nul
for %%i in ("E:\oracle数据入库\*.dmp") do (
    >>1.txt echo 正在处理文件 %%i
    >>1.txt imp user/passwd@orcl_192.168.0.1 file=%%i fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
)
你是想把imp的结果也输出？试试这样

winbat

回复 6# Batcher

>>1.txt imp user/passwd@orcl_192.168.0.1 file=%%i fromuser=user touser=user buffer=4096000 recordlength=65535 commit=n ignore=y ignore=y feedback=100000
还是不能保存记录屏幕内容

我只能添加 pause ，但数据多的话，屏幕缓冲区调大也总是不如保存txt记录屏幕内容,这样也方便于后期统计。
下面这张是数据导入成功回显图，能记录导出txt每个数据包导入成功回显数据就ok了，为了就是方便于后期导入数据统计。有大侠能指点个下么，感激不尽。

Batcher

回复 7# winbat


给你的 imp 命令加个参数试试
log=C:\imp.log

winbat

回复 8# Batcher

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)COPY

start 执行解决了。把批处理放在想入库的 dmp 数据目录下运行，dmp数据导入完后会在目录下生成以dmp数据名命名的.log文件

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
imp user/pwd@orcl_192.168.0.1 file=%%i log=test.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)COPY

多数据单线程不能同写在一个test.log文体里 ，唉！留给大牛解决吧。
再次感谢 @Batcher 牛的帮助，结帖吧 虽然不完美但也算完成了

Batcher

回复 9# winbat


    不能有多个进程同时写一个日志文件（类似数据库里面的写锁）。你可以每个进程写各自的日志，最后把多个日志合并成一个。

winbat

回复 10# Batcher

thank you, I think this is a good idea.

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
for /r %%i in (*dmp.log) do copy "test.log"/a+"%%i"/a "test.log"
del %cd%\*dmp.log
echo 合并完成.COPY

菜鸟东拼西凑的代码，如能实现下面的效果该如何写呢：

for /r %%i in (%leixing%) do copy /y %%i %goalfile% &&set num+=1
set /a set /a str=!num!*2
echo 共将!str!个文件，合并成!num!个文件
echo 合并完成.COPY

Batcher

回复 11# winbat

在for循环内部加个计数：

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
for /r %%i in (*dmp.log) do (
    copy "test.log"/a+"%%i"/a "test.log"
    set /a n+=1
)
echo 合并的文件个数：%n%
del %cd%\*dmp.log
echo 合并完成.

winbat

回复 12# Batcher

最后一组数据合并重复了：

消微改了一下，您看这样可以么

@echo off
for %%i in ("%cd%\*.dmp") do (
echo 正在处理文件 %%i
start imp user/pwd@orcl_192.168.0.1 file=%%i log=%%i.log fromuser=user touser=user buffer=40960 recordlength=65535 commit=n ignore=y ignore=y feedback=1000
)
for /r %%i in ("%cd%") do (
    copy "*.dmp.log"/a+"%%i"/a "test.log"
    set /a n+=1
)
echo 合并的文件个数：%n%
del %cd%\*dmp.log
pauseCOPY

sorry 但问题又来了，我们该如何在文件合并后自动统计入库数据数量呢？如上图入库数量 182340 行 + 237330 行,文件合并后自动统计为：419670 行 ; 当然我也知道打开手工计算，这样不是有驳批处理的理念么。
可以这样理解么：批处理，批量自动处理！
感谢 @Batcher 大大

Batcher

回复 13# winbat


    你把最后生成的test.log压缩一下，传上来，我告诉你如何计算。

winbat

回复 14# Batcher

今天试了下，改过后的代码，发现我们忽略了一个问题，那就是 start 执行完 oracle imp 入库命令 dmp 数据入库到完成是要一定时间的，而批处理命令执行完上一条命令会接着执行下一条所以 *dmp.log 生成时还没写入 oracle dmp 数据，文本是空的且被占用等待写入数据，而批处理命令接着执行空文本合并，会提示合并命令失败文件被占用。而之前测试的是早已生成后的文本所以未提示。
所以得加个判断条件等待 oracle dmp 数据入完库信息写入文本命令结束后才能接着执行文件合并命令。