[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
依山居

Rank: 5Rank: 5

帖子
593 
积分
935 
技术
49  
捐助
0  
注册时间
2008-1-3 
1楼 跳转到 »
发表于 2015-11-22 00:52 | 显示全部帖子
过大的文件进行任务要么直接改逐行，要么拆分再处理,都是这样的思路。人家大的日志系统就上分布式了。
1

评分人数

    • yu2n: 乐于助人技术 + 1
下载安装python3 https://www.python.org/downloads/ 代码存为xx.py 双击运行或IDLE打开F5运行

TOP

依山居

Rank: 5Rank: 5

帖子
593 
积分
935 
技术
49  
捐助
0  
注册时间
2008-1-3 
2楼
发表于 2015-11-22 09:35 | 显示全部帖子
回复 3# yu2n


    假设一个文件可以等分成N分处理。平均N行拆成N个文件，然后逐N个处理。
下载安装python3 https://www.python.org/downloads/ 代码存为xx.py 双击运行或IDLE打开F5运行

TOP

依山居

Rank: 5Rank: 5

帖子
593 
积分
935 
技术
49  
捐助
0  
注册时间
2008-1-3 
3楼
发表于 2015-11-28 14:31 | 显示全部帖子
试了一下python。直接一性读取文件不处理，就好说。

但是如果进行使用列表解析的处理的话或者要生成新对象的话。内存占用也会是会有高出数倍内存的情况。

所以不能一次读取处理太大的文件。
下载安装python3 https://www.python.org/downloads/ 代码存为xx.py 双击运行或IDLE打开F5运行

TOP

依山居

Rank: 5Rank: 5

帖子
593 
积分
935 
技术
49  
捐助
0  
注册时间
2008-1-3 
4楼
发表于 2015-11-28 20:37 | 显示全部帖子
回复 8# yu2n


    我不懂VBS啊。不过直觉上应该是有的。
下载安装python3 https://www.python.org/downloads/ 代码存为xx.py 双击运行或IDLE打开F5运行

TOP

依山居

Rank: 5Rank: 5

帖子
593 
积分
935 
技术
49  
捐助
0  
注册时间
2008-1-3 
5楼
发表于 2015-11-28 21:06 | 显示全部帖子
回复 8# yu2n


   用python 读1.8G的文本发现，光一性次性文件，python 进程内存峰值就可以达达好几G。
我总内存12G。可用内存至少有7。8G 如果进行处理的那就报内存错误了。
下载安装python3 https://www.python.org/downloads/ 代码存为xx.py 双击运行或IDLE打开F5运行

TOP

依山居

Rank: 5Rank: 5

帖子
593 
积分
935 
技术
49  
捐助
0  
注册时间
2008-1-3 
6楼
发表于 2015-11-28 21:14 | 显示全部帖子
回复 10# 523066680


    他应该是会PHP的吧。
下载安装python3 https://www.python.org/downloads/ 代码存为xx.py 双击运行或IDLE打开F5运行

TOP

依山居

Rank: 5Rank: 5

帖子
593 
积分
935 
技术
49  
捐助
0  
注册时间
2008-1-3 
7楼
发表于 2015-11-28 23:17 | 显示全部帖子
- -用GVIM打开很大的文本，并不占用很高的内存。甚至不比chrome占用内存高。
下载安装python3 https://www.python.org/downloads/ 代码存为xx.py 双击运行或IDLE打开F5运行

TOP

依山居

Rank: 5Rank: 5

帖子
593 
积分
935 
技术
49  
捐助
0  
注册时间
2008-1-3 
8楼
发表于 2015-11-29 09:11 | 显示全部帖子
回复 19# yu2n


    你需要的是16进制修改工具啊
下载安装python3 https://www.python.org/downloads/ 代码存为xx.py 双击运行或IDLE打开F5运行

TOP

依山居

Rank: 5Rank: 5

帖子
593 
积分
935 
技术
49  
捐助
0  
注册时间
2008-1-3 
9楼
发表于 2015-11-29 09:33 | 显示全部帖子
这里有例子。POWERSHELL 和python都可以。

hextool 这个工具，只写不能读。。
http://www.bathome.net/thread-37858-1-1.html
下载安装python3 https://www.python.org/downloads/ 代码存为xx.py 双击运行或IDLE打开F5运行

TOP

返回列表