aa77dd@163.com

LOAD DATA INFILE

http://dev.mysql.com/doc/refman/5.6/en/load-data.html

aa77dd@163.com

回复 8# idctop

在 7 楼基础上加入了 mysql 导入代码, 注意 BAT 文件保存为 ANSI 编码, 经测试 "[标签:内容]这样内容整行" 是完全可以正常过滤掉的.

这一部分的字母大小写不要修改

mysql -h127.0.0.1 -P3306 -uroot -p123456 -Dgupiao -e 
复制代码

完全代码

@if(0)==(0) echo off
set str="code,name,description,market,suggestion,closing_price,price,exchange rate,price earnings ratio,the main cost,institutional participation"
dir /b *.txt | cscript -nologo -e:jscript %0 %str%

for /f "delims=" %%a in ('dir /b *.txt') do (
echo %%a
mysql -h127.0.0.1 -P3306 -uroot -p123456 -Dgupiao -e "LOAD DATA LOCAL INFILE '%%a' INTO TABLE `sszjlx` FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n' IGNORE 1 LINES (`code`, `name`, `description`, `market`, `suggestion`, `closing_price`, `price`, `exchange rate`, `price earnings ratio`, `the main cost`, `institutional participation`);"
)

pause & exit
@end
var fso = new ActiveXObject("Scripting.FileSystemObject");
var s = WScript.Arguments.Item(0);
var re = new RegExp("^" + s, "i");
var reg = /.*\[标签:内容\].*/g;
var fso = new ActiveXObject("Scripting.FileSystemObject");
while (!WScript.StdIn.AtEndOfStream){
    var filename = WScript.StdIn.Readline();
    var text = adoLoadText(filename, 'UTF-8').replace(/\r?\n/ig,'');
    while (!(re.test(text))){
       text = s + "\r\n" + text.replace(/&sbquo/ig,',').replace(/","/ig,'\r\n').replace(reg,'');
       TextToFile(text, filename);
    }
}

function adoLoadText(filename, charset) {
    var fs, text;
    fs = new ActiveXObject("ADODB.Stream");
    fs.type = 2;
    fs.charset = charset;
    fs.open();
    fs.loadFromFile(filename);
    text = fs.readText(-1);
    fs.close();
    return text;
}

function TextToFile(text, filename) {
    var fs = new ActiveXObject("Adodb.Stream");
    fs.Charset = 'UTF-8';
    fs.Open();
    fs.WriteText(text);
    fs.SaveToFile(filename, 2);
    fs.Close();
}
复制代码

aa77dd@163.com

回复 14# idctop

你没有安装 mysql 吗? 或者 path 变量里没有加入对应的目录

mysql 下载地址:
http://dev.mysql.com/get/Downloads/MySQLInstaller/mysql-installer-community-5.6.25.0.msi

那么你就把 mysql 安装并且找到 mysql.exe 所在的目录:
假定你安装了 5.6 版, 并且安装时用的默认路径, 那么会是如下的:
对 32 位 XP, WIN7:

"%ProgramFiles%\MySQL\MySQL Server 5.6\bin\mysql.exe"
复制代码

对 64 位 WIN7:

"%ProgramFiles(x86)%\MySQL\MySQL Server 5.6\bin\mysql.exe"
复制代码

弄清那个全路径是怎样的, 并且用它替换 第 7 行开头的 mysql   注意如果路径中有空格, 那么必须用双引号对括起来

aa77dd@163.com

回复 14# idctop

可能你改错了, 你把修改的代码贴出来看看

-h127.0.0.1 -P3306 -uroot -p123456 -Dgupiao
复制代码

这里的这些参数中

-p123456    已经指定了密码, 不会要输入密码的,  -p后是不跟空格的, 你是不是用了给加了空格了, 成了
-p 123456

aa77dd@163.com

回复 18# idctop


" -h127.0.0.1 -P3306 -uroot -p123456 -Dgupiao -e "

上面的这部分(不包括红色的引号), 严格的按我给你的处理, 不要修改大小写! 不要另加空格!

aa77dd@163.com

回复 21# idctop

(`code`, `name`, `description`, `market`, `suggestion`, `closing_price`, `price`, `exchange rate`, `price earnings ratio`, `the main cost`, `institutional participation`)
复制代码

指定了导入的数据是要插入到哪些字段, 每行数据都会按顺序和这些字段对应,
id 没有在上面指定, 是不会有影响的, 它是自动增长的, 也不能由数据给出, 只能由系统自动处理.
如果一个输入行含有过多的字段，则多余的字段被忽略，并且警告的数量增加。
如果一个输入行含有的字段过少，则输入字段缺失的表中的列被设置为默认值。
如果字段值缺失，则对一个空字段值会被按不同方式理解：
·         对于字符串类型，列被设置为空字符串。
·         对于数字类型，列被设置为0。
·         对于日期和时间类型，列被设置为该类型相应的“zero”。

你给出的样本数据中, 有很多行数据是有缺失的, 如果在 mysql 控制台, 你就会看到它们产生的警告信息

If an input line has too many fields, the extra fields are ignored and the number of warnings is incremented.

If an input line has too few fields, the table columns for which input fields are missing are set to their default values. Default value assignment is described in Section 11.6, “Data Type Default Values”.

An empty field value is interpreted different from a missing field:

For string types, the column is set to the empty string.

For numeric types, the column is set to 0.

For date and time types, the column is set to the appropriate “zero” value for the type. See Section 11.3, “Date and Time Types”.

http://dev.mysql.com/doc/refman/5.6/en/load-data.html

aa77dd@163.com

回复 24# idctop

在 18 楼代码里新增两行

if not exist done md done
move /y *.txt done\
复制代码

放在第 8 行

pause & exit
复制代码

的上面

被处理过的文件会被转移到 done\ 目录中, 不会被再次处理

关于只导入了 1000 行数据, 可能是数据库的配置上对表的大小作了限制

aa77dd@163.com

回复 23# idctop

可以用下面的批处理代码 检查下 表  zuoriqgqp   的配置信息, 看有没有相关的限制

@echo off
if exist "d:\tab_info" del /f /s /q "d:\tab_info"

"%ProgramFiles%\MySQL\MySQL Server 5.6\bin\mysql.exe" -h127.0.0.1 -P3306 -uroot -p123456 -Dgupiao -e "SELECT 'TABLE_NAME','ENGINE','AVG_ROW_LENGTH','MAX_DATA_LENGTH','CREATE_OPTIONS' UNION ALL select TABLE_NAME, ENGINE, AVG_ROW_LENGTH, MAX_DATA_LENGTH, CREATE_OPTIONS from information_schema.`TABLES` where table_schema = 'gupiao' and table_name = 'zuoriqgqp' INTO OUTFILE 'd:/tab_info';"

type "d:\tab_info"

pause
exit
复制代码

aa77dd@163.com

回复 27# idctop

经测试的完全代码, 注意包括原来的 jscript 代码也在多处作了修改, mysql 改成你自己的全路径即可了

@if(0)==(0) echo off
set str="code,name,description,market,suggestion,closing_price,price,exchange rate,price earnings ratio,the main cost,institutional participation"
dir /b *.txt | cscript -nologo -e:jscript %0 %str%

set "mysql=%ProgramFiles(x86)%\MySQL\MySQL Server 5.6\bin\mysql.exe"
set "server=127.0.0.1"
set "port=3306"
set "username=root"
set "userpwd=123456"
set "dbname=gupiao"
set "tabname=zuoriqgqp"

REM 下行代码为 表 %tabname% 新增两个字段 riqi 和 shijian, 如果字段还没有建立, 就运行一次, 之后就不要再运行了.
rem "%mysql%" -h%server% -P%port% -u%username% -p%userpwd% -D%dbname% -e "ALTER TABLE `%tabname%` ADD COLUMN (`riqi` DATE, `shijian` TIME);"

for /f "delims=" %%a in ('dir /b *.txt') do (
  echo %%a
  "%mysql%" -h%server% -P%port% -u%username% -p%userpwd% -D%dbname% -e "LOAD DATA LOCAL INFILE '%%a' INTO TABLE `%tabname%` FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n' IGNORE 1 LINES (`riqi`, `shijian`, `code`, `name`, `description`, `market`, `suggestion`, `closing_price`, `price`, `exchange rate`, `price earnings ratio`, `the main cost`, `institutional participation`);"
)

if not exist done md done
move /y *.txt done\

pause & exit
@end
var fso = new ActiveXObject("Scripting.FileSystemObject");
var s = WScript.Arguments.Item(0);
var re = new RegExp("^" + s, "i");
var reg = /.*\[标签:内容\].*/g;
var fso = new ActiveXObject("Scripting.FileSystemObject");
var now = new Date();
var s_date = now.getFullYear() + '-' + (now.getMonth() + 1) + '-' + now.getDate();
var s_time = now.getHours() + ':' + now.getMinutes() + ':' + now.getSeconds();

var time_source = 'file_name'; // 值为 'file_name' : 从数据文件名获取时间;  否则, 获取系统当前时间;

while (!WScript.StdIn.AtEndOfStream){
    var filename = WScript.StdIn.Readline();
    if (time_source == 'file_name') {
      var s_dt = filename.replace(/股票数据|\.txt/gi, '').split(' ');
      s_date = s_dt[0];
      s_time = s_dt[1].replace(/-/g, ':');
    }
    var text = adoLoadText(filename, 'UTF-8').replace(/\r?\n/ig,'');
    while (!(re.test(text))){
       text = s + "\r\n" + s_date + ',' + s_time + ',' + text.replace(/&sbquo/ig,',').replace(/","/ig,'\r\n' + s_date + ',' + s_time + ',').replace(reg,'');
       TextToFile(text, filename);
    }
}
function adoLoadText(filename, charset) {
    var fs, text;
    fs = new ActiveXObject("ADODB.Stream");
    fs.type = 2;
    fs.charset = charset;
    fs.open();
    fs.loadFromFile(filename);
    text = fs.readText(-1);
    fs.close();
    return text;
}
function TextToFile(text, filename) {
    var fs = new ActiveXObject("Adodb.Stream");
    fs.Charset = 'UTF-8';
    fs.Open();
    fs.WriteText(text);
    fs.SaveToFile(filename, 2);
    fs.Close();
}
复制代码