[文本处理] gawk 支持哪些编码？

娜美

gawk 支持有那些编码

可以让gawk对UTF16编码文本直接处理吗

例,偿试不行

gawk --locale=ZH_CN.UTF16 "/A+/"  1
复制代码

UTF16测验文本
  https://wwkt.lanzoul.com/i0yCB15dwcti

gawk5.1 版本
https://wwkt.lanzoul.com/iOZVa15gopbi

Five66

回复 21# 娜美

只是看起来那样，实际又没变，不使用cmd的输出重定向应该就行了吧
实在不行或者就是想用gawk，那就用cygwin或者mingw的gawk

娜美

回复 20# Five66


  那怎么解嘛  中文是占了2个字节,   ,要等gawk升级, 还是只能只样了

Five66

回复 19# Five66

还是说一下吧，图里用的就是1楼的gawk和txt
第一个命令，能读取并输出，只不过连utf16的bom也一起输出了
第二个命令，用了--locale选项，也能读取并输出，跟第一个命令相比，输出时连utf16的bom也没了
至于那些空格，就是utf16那些00字节，大概是gawk输出也是utf16，由于cmd编码默认ansi，输出时的utf16被cmd当成ansi了，然后00字节显示成空了

Five66

回复 18# 娜美

也不能说不支持，总之看下面的图

娜美

gawk是支持utf16的吧，也许是你文件路径问题
Five66 发表于 2023-8-15 16:35

gawk不支持utf16编码文件 !

娜美

回复 13# Five66

试了不行, 但没任何错误提示,   但输出为空

这个是gawk5.1 版本, 你试试看
   https://wwkt.lanzoul.com/iOZVa15gopbi

娜美

回复  娜美


试试这样：建议把文件链接更新到顶楼方便大家查看
Batcher 发表于 2023-8-15 16:49

顶楼已添加测验文件链接

我想弄明白gawk是否支持UTF16编码文本

   因为gawk5.1版本有一个区域编码提示

gawk --h 
 GNU Awk 5.1.0, API: 4.1 (GNU MPFR 4.1.0, GNU MP 6.2.0) (mingw-w64)Copyright (C) 1989, 1991-2020 Free Software Foundation.
-Z locale-name          --locale=locale-name
复制代码

Batcher

回复 3# 娜美


试试这样：

type 1.txt | gawk "/A+/" > 2.txt
复制代码

建议把文件链接更新到顶楼方便大家查看

Five66

gawk是支持utf16的吧，也许是你文件路径问题

Five66

这个呢
--locale=zh_CN.65001

娜美

回复 10# Five66

都试了,

"gawk": bad locale name specified by the option '--locale': zh_CN.Unicode
"gawk": bad locale name specified by the option '--locale': zh_CN.UNICODE
"gawk": bad locale name specified by the option '--locale': zh_CN.unicode
"gawk": bad locale name specified by the option '--locale': zh_CN.utf-16
"gawk": bad locale name specified by the option '--locale': zh_CN.UTF-16
"gawk": bad locale name specified by the option '--locale': zh_CN.Utf-16
"gawk": bad locale name specified by the option '--locale': zh_CN.utf-16LE
"gawk": bad locale name specified by the option '--locale': zh_CN.UTF-16LE
"gawk": bad locale name specified by the option '--locale': zh_CN.Utf-16LE
"gawk": bad locale name specified by the option '--locale': zh_CN.utf-16le
"gawk": bad locale name specified by the option '--locale': zh_CN.UTF-16le
"gawk": bad locale name specified by the option '--locale': zh_CN.Utf-16le
"gawk": bad locale name specified by the option '--locale': zh_CN.utf-16Le
"gawk": bad locale name specified by the option '--locale': zh_CN.UTF-16Le
"gawk": bad locale name specified by the option '--locale': zh_CN.Utf-16Le
请按任意键继续. . .
复制代码

娜美

回复 9# Five66

gawk似乎支持区域编码的

其中有一行提示

gawk --h 
-Z locale-name          --locale=locale-name
复制代码

Five66

回复 8# 娜美

试试
--locale=zh_CN.Unicode
--locale=zh_CN.UNICODE
--locale=zh_CN.unicode
--locale=zh_CN.utf-16
--locale=zh_CN.UTF-16
--locale=zh_CN.Utf-16
--locale=zh_CN.utf-16LE
--locale=zh_CN.UTF-16LE
--locale=zh_CN.Utf-16LE
--locale=zh_CN.utf-16le
--locale=zh_CN.UTF-16le
--locale=zh_CN.Utf-16le
--locale=zh_CN.utf-16Le
--locale=zh_CN.UTF-16Le
--locale=zh_CN.Utf-16Le

Five66

那就试试过管道或者切换代码页

type 1.txt|gawk "/BBBBBBBBBF/"
复制代码

chcp 65001
gawk "/BBBBBBBBBF/" 1.txt
复制代码