标题: [原创教程] [Perl]通过 pack 压缩运行时数组的体积，节省内存空间 [打印本页]
作者: 523066680 时间: 2019-1-28 17:05 标题: [Perl]通过 pack 压缩运行时数组的体积，节省内存空间
本帖最后由 523066680 于 2019-1-28 18:23 编辑
- use Devel::Size qw/total_size/;
- our ($a, $b, $c) = ([], [], '');
- for my $idx ( 0 .. 2000000 )
- {
- '1'; push @$a, [0.5, 0.6, 0.8];
- '2'; push @$b, pack("fff", 0.5, 0.6, 0.8);
- '3'; $c .= pack('f3', 0.5, 0.6, 0.8 );
- }
-
- grep { printf "%s %.2f MB\n", $_, total_size(${"$_"})/1024**2 } ('a','b','c');
-
- =result
- a 298.87 MB
- b 96.69 MB
- c 25.08 MB
- =cut
Devel::Size 是一个外部模块，用于检测某个容器的体积。
假设有一堆三维点阵数据，需要一次载入数组，为了方便会选用二维数组，通过数组引用的形式将 [x y z] 打包起来。
但是实测中发现内存很容易就爆满，特别是最初为了方便而使用哈希 {'x'=>0.5, 'y'=>'0.6', 'z'=>'0.8'}，千万个坐标点秒秒钟 out of memory。
如果改用 pack 将数据打包，以二进制而不是字符串表面形式，push @$b, pack("fff", 0.5, 0.6, 0.8); 可以将体积压缩到1/3 (针对此例)
而如果使用字符串“流”的形式进行打包 $c .= pack('f3', 0.5, 0.6, 0.8 )，可将占用缩减到原来的 1/10 不到。
内存又宽松起来了 
作者: 523066680 时间: 2019-1-28 20:35 标题: 对 pack 过的二维数组进行排序
本帖最后由 523066680 于 2019-1-28 21:47 编辑
在使用 pack 打包数据的情况下对二维数组排序。（以前写过一个普通版本的，参考：http://www.bathome.net/viewthread.php?tid=45306）
最初的方案是在 sort { } 内嵌函数中使用 unpack 释放数据逐项对比（每次都unpack会产生冗余消耗）。
但细想似乎不需要unpack，由于每一个字段都是对齐的，可以直接按字符串对比，操作上反而简单了：- =info
- 使用 pack 压缩数组的内存占用空间
- 二维不定长数组排序测试
- 523066680/vicyang
- =cut
- STDOUT->autoflush(1);
- srand(23);
- my @arr;
- print "Stage1\n";
- for (1 .. 20) {
- push @arr, pack("L*", reverse sort { $a <=> $b } map { int(rand(15)) } ( 1 .. rand(8)+2 ) );
- }
-
- print "Stage2\n";
- grep { print join(",", unpack "L*", $_ ),"\n" } reverse sort @arr;
- 14,14,10,9,1
- 14,13,9,8,8,7,4,2,2
- 14,10,8
- 14,8,7,4,3,3,3,0,0
- 14,8,1
- 13,13,13,13,9,8,6,4
- 13,11,9,7,7,6,2,1
- 13,10,7,0
- 13,9,8,7,5,1,1,1,0
- 12,12,11,6,6,6,4,4,2
- 12,11,6
- 12,10,2,2,2,0
- 12,6
- 11,10,1,0
- 11,9,9,1,1,0
- 11,4,3
- 10,9,7,0
- 9,8,7,7,6,3,3,3,1
- 7,7,4,1
- 6,3
（排序规则，以开头元素的数值优先排序，后面的其次，最后如果同列的数字都相等，按长度判定。）
| 欢迎光临 批处理之家 (http://bbs.bathome.net/) |
Powered by Discuz! 7.2 |