[问题求助] powershell快速创建\分割大文本

for_flr

想用powershell写一个按行数分割文本的脚本。
于是用以下代码生成300000行的txt,耗时80秒！

1..300000 >30w.txt 
复制代码

用以下代码按行数（15000行）来分割30w.txt成20个小文本，耗时0.7秒！

$txt="30w.txt"
$lines=15000
$name=(dir $txt).basename
$ext=(dir $txt).extension
$sn=$begin=0
$filecontent=gc $txt -readcount 0
do{
$lend=$lbegin+$lines-1
$cut=$filecontent[$lbegin..$lend]
$sn++
$fname="{0}{1}{2:d3}{3}" -f $name,"_",$sn,$ext
sc -value $cut $fname
clv cut
$lbegin+=$lines
}until($lbegin -ge $filecontent.length)
write-host "$txt 切分完毕"
write-host "共$sn 个文本"
#$null=[console]::readkey()
复制代码

不能理解，为啥两者用时会相差这么远
另，有更好的方法来生成或者分割这样的大文本吗？谢谢。

zaqmlp

$arr=1..300000;
$file='30w.txt';
Out-File -literal $file -input $arr -enco default;
Set-Content -literal $file -value $arr -enco default;
[IO.File]::WriteAllLines($file, $arr, [Text.Encoding]::GetEncoding('GB2312'));
复制代码

WHY

> 是重定向，等同于 管道符 + 不带其它参数的 Out-File
即等同于：

1..300000 | Out-File a.txt
复制代码

管道（重定向）就像阀门，细水长流，速度不快，但资源占用比 for 循环一次性读取要好。
如果速度比资源占用更重要，可以考虑少用甚至不用管道。

for_flr

https://www.pstips.net/speeding-up-powershell-multithreading.html
这里补充一点关于powershell效率的知识

wudi61600963

Powershell 是解释型的脚本语言，排除实现方法和优化问题外想了解具体速度差异建议了解背后编译的过程（解释器），解释器在解释不同语法组合时难免会产生额外操作，因此带来了不同的执行效率。
此外，运行效率来说越接近底层越高效。Powershell 可以通过使用 .net 语法来达到近乎最高效。

对于楼主的情况如果每行文本长度固定的话可以考虑通过文件大小来分割，应该能做到更快。

$fromFile=[io.file]::OpenRead('文件路径')
$buff=New-Object byte[] 字节数
$count=$i=0
do{
  $count=$fromFile.Read($buff,0,$buff.Length)
  if($count -gt 0){
    $to='分割文件名{0}' -f ($i)
    $toFile=[io.file]::OpenWrite($to)
    try{
        $tofile.Write($buff,0,$count)
    }finally{
        $tofile.Close()
    }
  }
  $i++
}while($count -gt 0)
$fromFile.Close()
复制代码

最后，降低操作量也是优化效率的关键。例如上述代码中，跳过输出非必要分段也可以进一步提升效率。