Board logo

标题: [问题求助] 批处理如何替换多种标点符号为换行,并输出新的文本? [打印本页]

作者: siesta    时间: 2016-2-16 06:03     标题: 批处理如何替换多种标点符号为换行,并输出新的文本?

求破解难题,想通过脚本实现如下效果:

txt文本为一段文字,内容如下:

这辆货运列车的试运行是中国按照力图实现国际交通线路多元化的”丝绸之路经济带“进行的,这项旨在建设亚非欧国家间合理交通网络的项目囊括公路、铁路、机场,以及交通基础设施的建设。


实现如下格式:


这辆货运列车的试运行是中国按照力图实现国际交通线路多元化的
丝绸之路经济带
进行的
这项旨在建设亚非欧国家间合理交通网络的项目囊括公路
铁路
机场
以及交通基础设施的建设。


即把标点部分替换为换行,标点可能是多种的,也可能是全角,半角的,替换完毕后生成新的文档

搜索了论坛类似的帖子没有找解决办法,请大虾帮助
作者: pcl_test    时间: 2016-2-16 08:26

论坛一搜一大堆,不会变通是硬伤
作者: wskwfkbdn    时间: 2016-2-16 10:16

本帖最后由 pcl_test 于 2016-7-16 22:37 编辑

http://baiy.cn/utils/_regex_doc/index.htm
用正则表达式匹配标点符号
  1. 正则表达式说明
  2.  
  3. 简介
  4. 大体来讲,正则表达式的文法分为3种标准:BRE、ERE 和 ARE。其中 BER 和 ERE 属于 POSIX 标准,ARE 则是由各家定义的扩展。
  5.  
  6. POSIX 正则表达式
  7.   传统上,POSIX 定义了两种正则表达式语法, 即:基本正则表达式(BRE)和扩展正则表
  8.   达式(ERE)。
  9.   其中, BRE 定义的语法符号包括:
  10.   .       - 匹配任意一个字符。
  11.   []      - 字符集匹配,匹配方括号中定义的字符集之一。
  12.   [^]     - 字符集否定匹配,匹配没有在方括号中定义的字符。
  13.   ^       - 匹配开始位置。
  14.   $       - 匹配结束位置。
  15.   \(\)    - 定义子表达式。
  16.   \n      - 子表达式向前引用,n 为 1-9 之间的数字。 由于此功能已超出正则语义,需
  17.             要在字符串中回溯,因此需要使用 NFA 算法进行匹配。
  18.   *       - 任意次匹配(零次或多次匹配)。
  19.   \{m,n\} - 至少 m 次,至多 n 次匹配;\{m\} 表示 m 次精确匹配;\{m,\} 表示至少 m
  20.             次匹配。
  21.   ERE 修改了 BRE 中的部分语法,并增加了以下语法符号:
  22.   ?       - 最多一次匹配(零次或一次匹配)。
  23.   +       - 至少一次匹配(一次或更多次匹配)。
  24.   |       - 或运算,其左右操作数均可以为一个子表达式。
  25.   同时,ERE 取消了子表达式 "()" 和 次数匹配 "{m,n}" 语法符号的转义符引用语法,在
  26.   使用这两种语法符号时,不在需要添加转义符。 与此同时, ERE 也取消了非正则语义的
  27.   子表达式向前引用能力。
  28.   BRE 和 ERE 共享同样的 POSIX 字符类定义。同时,它们还支持字符类比较操作 "[. .]"
  29.   和字符来等效体 "[= =]" 操作,但很少被使用。
  30.   
  31.   f / fr / wfr / bwfr 等工具默认使用 ERE 模式,同时支持以下 perl 风格的字符类:
  32.   
  33. POSIX 类        perl类     描述
  34.     ----------------------------------------------------------------------------
  35. [:alnum:]                字母和数字
  36. [:alpha:]       \a         字母
  37. [:lower:]       \l         小写字母
  38. [:upper:]       \u         大写字母
  39. [:blank:]                  空白字符(空格和制表符)
  40. [:space:]       \s         所有空格符(比[:blank:]包含的范围广)
  41. [:cntrl:]                  不可打印的控制字符(退格、删除、警铃...)
  42. [:digit:]       \d         十进制数字
  43. [:xdigit:]      \x         十六进制数字
  44. [:graph:]                  可打印的非空白字符
  45. [:print:]       \p         可打印字符
  46. [:punct:]                  标点符号
  47.   - 此外,还有以下特殊字符类:
  48. perl类    等效POSIX表达式   描述
  49.     ----------------------------------------------------------------------------
  50. \o        [0-7]             八进制数字
  51. \O        [^0-7]            非八进制数字
  52. \w        [[:alnum:]_]      单词构成字符
  53. \W        [^[:alnum:]_]     非单词构成字符
  54. \A        [^[:alpha:]]      非字母
  55. \L        [^[:lower:]]      非小写字母
  56. \U        [^[:upper:]]      非大写字母
  57. \S [^[:space:]]      非空格符
  58. \D        [^[:digit:]]      非数字
  59. \X        [^[:xdigit:]]     非十六进制数字
  60. \P        [^[:print:]]      非可打印字符
  61.   - 还可以使用以下特殊字符换码序列:
  62. \r  -  回车
  63. \n  -  换行
  64. \b  -  退格
  65. \t  -  制表符
  66. \v  -  垂直制表符
  67. \"  -  双引号
  68. \'  -  单引号
  69.  
  70. 高级正则表达式
  71.   除了 POSIX BRE 和 ERE 之外,libutilitis 还支持与TCL 8.2兼容的高级正则表达式语
  72.   法(ARE)。 通过为 stRegEx 参数增加前缀 "***:" 就可以开启 ARE 模式,这个前缀覆
  73.   盖 bExtended 选项。基本上讲,ARE 是 ERE 的超集。 它在 ERE 的基础上进行了如下几
  74.   项扩展:
  75.   1. 支持"懒惰匹配"(也叫"非贪婪匹配"或"最短匹配"):在 '?', '*', '+' 或 '{m,n}'
  76.      后追加 '?' 符号就可以启用最短匹配,使得该正则表达式子句在满足条件的前提下匹
  77.      配尽可能少的字符(默认是匹配尽可能多的字符)。例如:将 "a.*b" 作用于 "abab"
  78.      时,将匹配整个串("abab"),若使用 "a.*?b",则将只匹配前两个字符("ab")。
  79.   2. 支持子表达式的向前引用匹配:在 stRegEx 中,可以使用 '\n' 向前引用曾经定义的
  80.      子表达式。如:"(a.*)\1" 可匹配 "abcabc" 等。
  81.   3. 无名子表达式:使用 "(?:表达式)" 的方式创建一个无名表达式, 无名表达式不返回
  82.      到一个 '\n' 匹配。
  83.   4. 向前预判:要命中匹配,必须向前满足指定条件。 向前预判分为肯定预判和否定预判
  84.      两种。肯定预判的语法为:"(?=表达式)",例如:"bai.*(?=yang)" 匹配 "bai yang"
  85.      中的前四个字符("bai "),但在匹配时保证字符串在 "bai.*" 后必须包含 "yang".
  86.      否定判断的语法为:"(?!表达式)", 例如:"bai.*(?!yang)" 匹配 "bai shan" 的前
  87.      四个字符,但在匹配是保证字符串在 "bai.*" 后不出现 "yang"。
  88.   5. 支持模式切换前缀,在 "***:" 之后可以紧跟形如 "(?模式串)" 样式的模式串,模式
  89.      串影响其后表达式的语义和行为。模式串可以是一下字符的组合:
  90.      b - 切换至 POSIX BRE 模式,覆盖 bExtended 选项。
  91.      e - 切换至 POSIX ERE 模式,覆盖 bExtended 选项。
  92.      q - 切换至文本字面匹配模式, 表达式中的字符都作为文本进行搜索,取消一切正则
  93.          语义。此模式将正则匹配退化为一次简单字符串查找。"***=" 前缀是其快捷表示
  94.          方式,意即:"***=" 等同于 "***:(?q)"。
  95.      c - 执行大小写敏感的匹配,覆盖 bNoCase 选项。
  96.      i - 执行忽略大小写的匹配,覆盖 bNoCase 选项。
  97.      n - 开启行敏感的匹配:'^' 和 '$' 匹配行首和行尾;'.' 和否定集('[^...]')不
  98.          匹配换行符。此功能等同于 'pw' 模式串。覆盖 bNewLine 选项。
  99.      m - 等同于 'n'。
  100.      p - '^' 和 '$' 只匹配整个字符串的首尾,不匹配行;'.' 和否定集不匹配换行符。
  101.          覆盖 bNewLine 选项。
  102.      w - '^' 和 '$' 匹配行首和行尾;'.' 和否定集匹配换行符。覆盖 bNewLine 选项。
  103.      s - '^' 和 '$' 只匹配整个字符串的首尾,不匹配行;'.' 和否定集匹配换行符。覆
  104.          盖 bNewLine 选项。ARE 状态下默认使用此模式。
  105.      x - 开启扩展模式:在扩展模式中,将忽略表达式中的空白符和注释符 '#' 后的内容
  106.          例如:
  107.          @code@
  108. (?x)
  109. \s+ ([[:graph:]]+)      # first number
  110. \s+ ([[:graph:]]+)      # second number
  111.          @code@
  112.          等同于 "\s+([[:graph:]]+)\s+([[:graph:]]+)"。
  113.      t - 关闭扩展模式,不忽略空白符和注释符后的内容。ARE 状态下默认使用此模式。
  114.   6. 与 BRE/ERE 模式不同的 Perl 风格字符类换码序列:
  115. perl类    等效POSIX表达式   描述
  116.     ----------------------------------------------------------------------------
  117. \a        -                 响铃字符
  118. \A        -                 不论当前模式如何,仅匹配整个串的最开头
  119. \b        -                 退格字符 ('\x08')
  120. \B        -                 转义字符本身 ('\\')
  121. \cX       -                 控制符-X (= X & 037)
  122. \d        [[:digit:]]       10 进制数字 ('0' - '9')
  123. \D        [^[:digit:]]      非数字
  124. \e        -                 退出符 ('\x1B')
  125. \f        -                 换页符 ('\x0C')
  126. \m        [[:<:]]           单词开始位置
  127. \M        [[:>:]]           单词结束位置
  128. \n        -                 换行符 ('\x0A')
  129. \r        -                 回车符 ('\x0D')
  130. \s        [[:space:]]       空白符
  131. \S        [^[:space:]]      非空白符
  132. \t        -                 制表符 ('\x09')
  133. \uX       -                 16 位 UNICODE 字符 (X∈[0000 .. FFFF])
  134. \UX       -                 32 位 UNICODE 字符 (X∈[00000000 .. FFFFFFFF])
  135. \v        -                 纵向制表符 ('\x0B')
  136. \w        [[:alnum:]_]      组成单词的字符
  137. \W        [^[:alnum:]_]     非单词字符
  138. \xX       -                 8 位字符 (X∈[00 .. FF])
  139. \y        -                 单词边界(\m 或 \M)
  140. \Y        -                 非单词边界
  141. \Z        -                 不论当前模式如何,仅匹配整个串的最尾部
  142. \0        -                 NULL,空字符
  143. \X        -                 子表达式向前引用 (X∈[1 .. 9])
  144. \XX       -                 子表达式向前引用或 8 进制表示的 8 字符
  145. \XXX      -                 子表达式向前引用或 8 进制表示的 8 字符
复制代码

作者: CrLf    时间: 2016-2-16 13:28

本帖最后由 CrLf 于 2016-2-16 13:30 编辑

perl 或 java 支持 Unicode 的 \pP 属性:
  1. @perl -n -e "use Encode;$s=decode('gbk',$_);$s=~s/[\pP‘’“”]+/\r\n/g;print encode('gbk',$s)" 输入.txt >输出.txt
复制代码

作者: Tianorder    时间: 2016-2-16 15:21

Ctrl+H?
标点符号总共也没有几个吧
作者: ivor    时间: 2016-2-16 16:14

本帖最后由 ivor 于 2016-2-16 20:58 编辑

回复 1# siesta
  1. # python 3.5.1
  2. # coding:gbk
  3. # 功能:非汉字字符替换为换行
  4. # 把要处理的txt拖拽到此脚本上运行,不限制文件数量
  5. import re, sys
  6. # 生成的新文档后缀_new.txt
  7. for path in sys.argv:
  8.     if path == __file__:
  9.         continue
  10.     with open(path, 'r') as rFile:
  11.         wFile = open('%s_new.txt' % path, 'w')
  12.         text = rFile.readlines()
  13.         for line in text:
  14.             repStr = re.compile(r'[^\u4e00-\u9fa5]')
  15.             nl = repStr.sub('\n', line)
  16.             wFile.write(nl)
  17.     wFile.close()
复制代码

作者: siesta    时间: 2016-2-16 19:08

回复 6# ivor

感觉无私赐教,这个需求主要是想实现一键处理当前目录下的TXT文档,VBS或BAT实现这个是不是有些复杂??
作者: ivor    时间: 2016-2-16 19:21

本帖最后由 ivor 于 2016-2-16 20:40 编辑

回复 7# siesta


    BAT对于正则表达式不支持,需要借助第三方工具,VBS不熟悉。你要一键处理当前所有文档?
    如果用python,几条命令就可以了

6楼的代码已更新,你把要处理的所有txt都拖拽到脚本上运行就可以了
作者: siesta    时间: 2016-2-16 20:43

回复 8# ivor


    刚刚在折腾原来的代码,PY可以实现效果,在打包exe的时候提示pywintype 错误,正在排除,马上试一下新脚本,感谢
作者: ivor    时间: 2016-2-16 21:03

回复 9# siesta


    最后修改了一次,使用了re.replace函数,速度更快点了,代码逻辑思路比re.split清晰,有什么问题,欢迎指正~~
作者: siesta    时间: 2016-2-16 21:23

回复 10# ivor


    效果确实快了,有没有推荐的可以在PY3下面使用的生成EXE的工具,折腾的半天不能生成,可能是缺少某些东西。刚入坑,不知道所以
作者: ivor    时间: 2016-2-16 21:37

回复 11# siesta


    支持python2.7-2.5版本:https://sourceforge.net/projects/py2exe/files/py2exe/0.6.9/
作者: siesta    时间: 2016-2-16 21:45

回复 12# ivor


    你的代码是使用2.7的吗, 我看代码提示是3.5。1的,高版本的PY2EXE可能支持不好??这一小段代码在2.7上也能正常使用吗?
作者: ivor    时间: 2016-2-16 22:45

回复 13# siesta


    应该没问题,早期的版本我也没用过,最明显的print用法不一样,但是代码里没用到
作者: 依山居    时间: 2016-2-23 06:13

这帮人太懒了。网站都不更新一下。
py2exe 比较新的是0.9.2 https://pypi.python.org/pypi/py2exe/0.9.2.0
作者: codegay    时间: 2016-2-23 06:49

回复 6# ivor


    感觉应该把            repStr = re.compile(r'[^\u4e00-\u9fa5]')
放在循环外更好。
作者: WHY    时间: 2016-2-23 08:45

本帖最后由 WHY 于 2016-2-29 15:45 编辑
  1. PowerShell -c "(get-Content a.txt) -Split '[\p{P}]+' > b.txt"
复制代码





欢迎光临 批处理之家 (http://bbs.bathome.net/) Powered by Discuz! 7.2