[Perl]通过 pack 压缩运行时数组的体积，节省内存空间
[i=s] 本帖最后由 523066680 于 2019-1-28 18:23 编辑 [/i][code]use Devel::Size qw/total_size/;
our ($a, $b, $c) = ([], [], '');
for my $idx ( 0 .. 2000000 )
{
'1'; push @$a, [0.5, 0.6, 0.8];
'2'; push @$b, pack("fff", 0.5, 0.6, 0.8);
'3'; $c .= pack('f3', 0.5, 0.6, 0.8 );
}
grep { printf "%s %.2f MB\n", $_, total_size(${"$_"})/1024**2 } ('a','b','c');
=result
a 298.87 MB
b 96.69 MB
c 25.08 MB
=cut
[/code]Devel::Size 是一个外部模块，用于检测某个容器的体积。
假设有一堆三维点阵数据，需要一次载入数组，为了方便会选用二维数组，通过数组引用的形式将 [x y z] 打包起来。
但是实测中发现内存很容易就爆满，特别是最初为了方便而使用哈希 {'x'=>0.5, 'y'=>'0.6', 'z'=>'0.8'}，千万个坐标点秒秒钟 out of memory。
如果改用 pack 将数据打包，以二进制而不是字符串表面形式，push @$b, pack("fff", 0.5, 0.6, 0.8); 可以将体积压缩到1/3 (针对此例)
而如果使用字符串“流”的形式进行打包 $c .= pack('f3', 0.5, 0.6, 0.8 )，可将占用缩减到原来的 1/10 不到。
内存又宽松起来了 :)
对 pack 过的二维数组进行排序
[i=s] 本帖最后由 523066680 于 2019-1-28 21:47 编辑 [/i]在使用 pack 打包数据的情况下对二维数组排序。（以前写过一个普通版本的，参考：[url]http://www.bathome.net/viewthread.php?tid=45306[/url]）
最初的方案是在 sort { } 内嵌函数中使用 unpack 释放数据逐项对比（每次都unpack会产生冗余消耗）。
但细想似乎不需要unpack，由于每一个字段都是对齐的，可以直接按字符串对比，操作上反而简单了：[code]=info
使用 pack 压缩数组的内存占用空间
二维不定长数组排序测试
523066680/vicyang
=cut
STDOUT->autoflush(1);
srand(23);
my @arr;
print "Stage1\n";
for (1 .. 20) {
push @arr, pack("L*", reverse sort { $a <=> $b } map { int(rand(15)) } ( 1 .. rand(8)+2 ) );
}
print "Stage2\n";
grep { print join(",", unpack "L*", $_ ),"\n" } reverse sort @arr;
[/code][code]
14,14,10,9,1
14,13,9,8,8,7,4,2,2
14,10,8
14,8,7,4,3,3,3,0,0
14,8,1
13,13,13,13,9,8,6,4
13,11,9,7,7,6,2,1
13,10,7,0
13,9,8,7,5,1,1,1,0
12,12,11,6,6,6,4,4,2
12,11,6
12,10,2,2,2,0
12,6
11,10,1,0
11,9,9,1,1,0
11,4,3
10,9,7,0
9,8,7,7,6,3,3,3,1
7,7,4,1
6,3[/code]（排序规则，以开头元素的数值优先排序，后面的其次，最后如果同列的数字都相等，按长度判定。）
页:
[1]