[文本处理] [已解决]如何能打开文件时自动识别编码处理后保存为ANSI？

xp3000

一些txt文件，里面很多多余内容需要删除，例如
PS：……
PS2：……
PS3：……
最后需要保存为ANSI编码。
搜索到一个这个不知道怎么用

function detectEncoding(str) {
  // 检查字符串开头的 BOM
  if (str.charCodeAt(0) === 0xFEFF) {
    return 'UTF-16BE';
  } else if (str.charCodeAt(0) === 0xFFFE) {
    return 'UTF-16LE';
  } else if (str.charCodeAt(0) === 0xEFBB && str.charCodeAt(1) === 0xBF) {
    return 'UTF-8BOM';
  }

  // 检查字符串开头的“UTF-32”标识符
  if (str.charCodeAt(0) === 0x0000 && str.charCodeAt(1) === 0x0000 && str.charCodeAt(2) === 0xFEFF) {
    return 'UTF-32BE';
  } else if (str.charCodeAt(0) === 0xFEFF && str.charCodeAt(1) === 0x0000 && str.charCodeAt(2) === 0x0000) {
    return 'UTF-32LE';
  }

  // 如果未找到上述模式，则假定字符串以 ASCII 或 ANSI 编码
  return 'ANSI/ASCII';
}
复制代码

To determine the character encoding of a string in JavaScript, you can use the .charCodeAt() method to get the numeric Unicode representation of each character in the string and then use some logic to determine the character encoding based on the values that are returned.

For example, to determine if a string is encoded in ANSI, you could use the following approach:

Copy code
function isANSI(str) {
  for (let i = 0; i < str.length; i++) {
    // If any character has a Unicode value greater than 255,
    // the string is not encoded in ANSI
    if (str.charCodeAt(i) > 255) return false;
  }

  // If all characters have a Unicode value less than or equal to 255,
  // the string is encoded in ANSI
  return true;
}
To determine if a string is encoded in UTF-8, you could use the following approach:

Copy code
function isUTF8(str) {
  for (let i = 0; i < str.length; i++) {
    let c = str.charCodeAt(i);

    // If the Unicode value of the character is in the range 0-127,
    // it is encoded as a single byte in UTF-8
    if (c >= 0 && c <= 127) continue;

    // If the Unicode value of the character is in the range 128-2047,
    // it is encoded as two bytes in UTF-8
    if (c >= 128 && c <= 2047) {
      i++;
      continue;
    }

    // If the Unicode value of the character is in the range 2048-65535,
    // it is encoded as three bytes in UTF-8
    if (c >= 2048 && c <= 65535) {
      i += 2;
      continue;
    }

    // If the Unicode value of the character is in the range 65536-1114111,
    // it is encoded as four bytes in UTF-8
    if (c >= 65536 && c <= 1114111) {
      i += 3;
      continue;
    }

    // If the character is not encoded as a single, double, triple, or
    // quadruple byte in UTF-8, the string is not encoded in UTF-8
    return false;
  }

  // If all characters in the string are encoded as a single, double,
  // triple, or quadruple byte in UTF-8, the string is encoded in UTF-8
  return true;
}
To determine if a string is encoded in UTF-8 with a BOM (Byte Order Mark), you could use the following approach:

Copy code
function isUTF8BOM(str) {
  // The BOM for UTF-8 is the byte sequence EF BB BF
  if (str.charCodeAt(0) === 0xEF && str.charCodeAt(1) === 0xBB && str.charCodeAt(2) === 0xBF) {
    // If the first three bytes of the string match the BOM for UTF-8,
    // check if the rest of the string is encoded in UTF-8
    return isUTF8(str.substring(3));
  }

  // If the first three bytes of the string do not match the BOM for UTF-8,
  // the string is not encoded in UTF-8


Try again
复制代码

czjt1234

原文件能确定都是啥编码吗？
全部unicode，还是全部utf-8，还是全部ANSI，还是各种都有？

xp3000

各种编码都有，可能还有UTF-32，文件被人上传会删除空行，网站处理后我下载的是正常和乱码的混合文本

czjt1234

其他的都好处理，utf-32编码的不知道怎么读取

czjt1234

utf-32文件你是用啥软件打开的？
发个utf-32文件来看看

xp3000

\x2B\x2F\x76        文件为 UTF-7 编码
\xEF\xBB\xBF        文件为 UTF-8 BOM 编码
\xFE\xFF        文件为 UTF-16 BE 编码
\xFF\xFE        文件为 UTF-16 LE 编码
\x00\x00\xFE\xFF        文件为 UTF-32 BE 编码
\xFF\xFE\x00\x00        文件为 UTF-32 LE 编码

不能上传文件，查了下文件开头这样的，以二进制十六进制查看文件，开头是上面去掉\x内容

hlzj88

findstr /i "的" 1.txt&&goto wc || @iconv -c -f utf-8 -t GBK 1.txt>>gb1.txt
findstr /i "的" gb1.txt&&move /y gb1.txt 1.txt&&goto wc || @iconv -c -f utf-32 -t GBK 1.txt>>gb2.txt
findstr /i "的" gb2.txt&&move /y gb2.txt 1.txt&&goto wc || @iconv -c -f UCS-2LE -t GBK 1.txt>>gb3.txt
findstr /i "的" gb3.txt&&move /y gb3.txt 1.txt
:wc
del /q gb*.txt
echo 完成
findstr /iv "ps2 ps3 ps" 1.txt>>2.txt
pause
复制代码

http://bcn.bathome.net/s/tool/index.html?key=iconv

这是一个文件处理的苯办法，utf-8 和unicode 测试都成功。utf-32，软件iconv是支持的，但我没有这样的文件，也不会保存为这样的文件。所以这个只是臆测写了。

其他什么格式的文件，不知道还能有什么格式，所以没有多写。  查找  的  字的目的是中文的字的字频最高。处理英文可以用 the

WHY

Test.ps1，右键使用PowerShell运行，增加 utf-7 编码识别

function Get-Encoding($filePath){
    $reg = '[\xC0-\xDF](?:[^\x80-\xBF]|$)';
    $reg += '|[\xE0-\xEF].{0,1}(?:[^\x80-\xBF]|$)';
    $reg += '|[\xF0-\xF7].{0,2}(?:[^\x80-\xBF]|$)';
    $reg += '|[\xF8-\xFB].{0,3}(?:[^\x80-\xBF]|$)';
    $reg += '|[\xFC-\xFD].{0,4}(?:[^\x80-\xBF]|$)';
    $reg += '|[\xFE-\xFE].{0,5}(?:[^\x80-\xBF]|$)';
    $reg += '|[\x00-\x7F][\x80-\xBF]';
    $reg += '|[\xC0-\xDF].[\x80-\xBF]';
    $reg += '|[\xE0-\xEF]..[\x80-\xBF]';
    $reg += '|[\xF0-\xF7]...[\x80-\xBF]';
    $reg += '|[\xF8-\xFB]....[\x80-\xBF]';
    $reg += '|[\xFC-\xFD].....[\x80-\xBF]';
    $reg += '|[\xFE-\xFE]......[\x80-\xBF]';
    $reg += '|^[\x80-\xBF]';
    $byte = [IO.File]::ReadAllBytes($filePath);
    $BOM  = [BitConverter]::ToString($byte[0..3]);
    If ($BOM -eq 'FF-FE-00-00'){
        return (New-Object System.Text.UTf32Encoding $false, $true); #UTF32LE with BOM
    } elseIf ($BOM -eq '00-00-FE-FF'){
        return (New-Object System.Text.UTf32Encoding $true, $true);  #UTF32BE with BOM
    } elseIf ($BOM.StartsWith('FF-FE') -or $BOM.StartsWith('FE-FF')){
        return [Text.Encoding]::GetEncoding('UNICODE');              #UTF16 with BOM
    } elseIf ($BOM.StartsWith('EF-BB-BF')){
        return [Text.Encoding]::GetEncoding('UTF-8');                #UTF8 with BOM
    } elseIf ($BOM.StartsWith('2B-2F-76')){
        return [Text.Encoding]::GetEncoding('UTF-7');                #UTF7 with BOM
    } else {
        $m = [regex]::Match([char[]]$byte -join '', $reg);
        If ($m.Success){
            return [Text.Encoding]::GetEncoding('GB2312');           #ANSI
        } else {
            return [Text.Encoding]::GetEncoding('UTF-8');            #UTF8 without BOM
        }
    }
}

$path = $MyInvocation.MyCommand.Path -replace '\\[^\\]*$', '\';     #脚本自身路径
$dstFolder = $path + 'Result\';                                     #目标文件路径
if(![IO.Directory]::Exists($dstFolder)){$null = md $dstFolder};     #创建目标目录

forEach( $file In (dir -Literal $path -Filter *.txt) ){
    $enc = Get-Encoding $file.FullName;                             #获取编码
    $arr = [IO.File]::ReadAllLines($file.FullName, $enc);
    $arr = $arr -NotMatch 'PS[0-9]*：';   #删除包含 'PS' + 数字 + '：'的行
    #另存为ansi编码
    [IO.File]::WriteAllLines($dstFolder + $file.Name, $arr, [Text.Encoding]::GetEncoding('GB2312'));
}

echo 'Done';
[Console]::ReadLine();
复制代码

hlzj88

回复 8# WHY

非常牛

czjt1234

回复 6# xp3000


   你有空用百度网盘上传一个文件，分享个链接
我想看看utf-32文件啥模样，notepad++是不支持的

xp3000

回复 10# czjt1234
https://cowtransfer.com/s/215a0b55e04c4e 点击链接查看 [ UTF-32.zip ] ，或访问奶牛快传 cowtransfer.com 输入传输口令 mdty5z 查看；

xp3000

这个BAT+JS可以实现吗

czjt1234

回复 12# xp3000


   为什么要js，我测试了一下你发的文件，vbs可以实现

xp3000

vbs也可以，主要是js能看懂一点

czjt1234

回复 14# xp3000


   这样啊，那就算了，vbs没有读写utf32编码的com对象，要读取二进制数据然后逐个解码，太繁了