[文本处理] [已解决]批处理怎样对手机号码归属地数据进行筛选？

jack1505

数据下载(更新了地址及quhao.txt)
http://www.rayfile.com/files/bd808cca-58db-11df-98b5-0015c55db73d/

说明：
1.第一个原始数据文件data.txt内含有20万条数据(中间以tab分隔)，文件大小超过8MB
2.第二个quhao.txt文件有300多条数据(中间以空格分隔)，文件大小不到5KB

==============================================================================
1.原始数据
手上有一个比较详尽的手机号码归属地数据文件data.txt，格式如下(中间以tab分隔)：
1534960 宁夏银川 电信CDMA卡
1534961 宁夏银川 电信CDMA卡
1534967 宁夏银川 电信CDMA卡
1534968 宁夏银川 电信CDMA卡
1534969 宁夏银川 电信CDMA卡
1534970 青海西宁 电信CDMA卡
1534971 青海西宁 电信CDMA卡
1534972 青海西宁 电信CDMA卡
1534973 青海西宁 电信CDMA卡
1534974 青海西宁 电信CDMA卡
1534975 青海海东 电信CDMA卡
1534976 青海海东 电信CDMA卡
1534977 青海海西 电信CDMA卡
1534978 青海共和 电信CDMA卡
1534979 青海格尔木 电信CDMA卡
1534985 安徽巢湖 电信CDMA卡
1534986 安徽六安 电信CDMA卡
1534987 安徽六安 电信CDMA卡
多数为三段（多数号码是连续的，前后仅相差1，但部分号码不是连续的）

1566023 广东佛山 联通 GSM卡
1864353 吉林通化 联通WCDMA 3G卡
1881943 广东广州 移动TD-SCDMA 3G卡
1892413 广东广州 电信天翼  3G卡
部分数据为四段数据

2.数据精简
预将上述数据中，归属地相同的连续号码，精简为号段形式，并删掉手机卡类型，输出格式如下：
1534960 宁夏银川
1534962 未知
1534967 宁夏银川
1534970 青海西宁
1534975 青海海东
1534977 青海海西
1534978 青海共和
1534979 青海格尔木
1534980 未知
1534985 安徽巢湖
1534986 安徽六安

精简的目的就是极大地减小数据量，仅表示该号段第一个号码，所有大于第一个号码的均视为同一个归属地
解释为：1534960～1534961 宁夏银川，1534962～1534966 未知，1534967～1534969 宁夏银川，1534970～1534974 青海西宁……

data.txt中多数号码是连续的，前后仅相差1
但部分不是连续的号码，应增加一行内容为“最后一个连续号码+1 空格 未知”，见增加的蓝色内容

如：1534961、1534963、1534967不是连续的，因此应增加“1534961+1 空格 未知”，即“1534962 未知”
       若不加“1534962 未知”，则会误认为1534962与1534961归属相同



3.更改归属地名称为区号代码
另有一个quhao.txt文件，格式如下(中间以空格分隔)：
111 未知
564 安徽六安
565 安徽巢湖
951 宁夏银川
971 青海西宁
972 青海海东
977 青海海西
979 青海格尔木

将刚才第二步精简后的数据中，参考quhao.txt，将对应的归属地名称改为区号代码，最终输出格式如下(中间以空格分隔)：
1534960 951
1534962 111
1534967 951
1534970 971
1534975 972
1534977 977
1534978
1534979 979
1534980 111
1534985 565
1534986 564

因quhao.txt中没有1534978对应的“青海共和”，所以后面为空(便于今后补充)


4.结果输出
如果最后结果文件大小不到5KB，显然把所有归属相同的都精简了，每个地区只剩一个号段了
最终结果文件大小应该超过600KB才合理

结果应该是这种格式(从小到大排列)：
1300000 10
1300001 519
1300002 565
1300003 111
1300006 25
1300007 111
1300008 27
1300009 111
1300010 10
1300012 22
1300015 533
1300016 535
1300017 531
1300018 22
1300020 21
1300025 25
1300027 535
1300028 25
1300033 510
1300040 20
1300045 10

data20100506.rar 于 2010-5-6 14:48  更新
http://pan.baidu.com/share/link?shareid=4185092398&uk=1124163200

neorobin

57楼代码稍作修改后, 可输出地区连续但号段不连续的断点, 输出结果去掉所有尾部的 空格111 后将与 CUer 的 gawk 版的结果完全一致:

@echo off&setlocal enabledelayedexpansion
sort data.txt /o data1.txt
for /f "tokens=1-2" %%a in (quhao.txt) do set %%b=%%a

::\\取第一个电话号码
set /p num=<data1.txt
set /a num=num
::\\\\\\\
(
for /f "tokens=1-2" %%a in (data1.txt) do (
  if !num! neq %%a (echo;!num! !未知!)&(set var=)
  if "!var!" neq "%%b" (
    echo;%%a !%%b!
    set var=%%b
  )  
  set /a num=%%a+1
)
)>结果.txt
复制代码

jack1505

这次代码运行没问题，结果也正确
尤其体现出gawk命令的速度优势

谢谢！！！

[ 本帖最后由 jack1505 于 2010-5-6 23:58 编辑 ]

CUer

type data.txt | gawk -F"[ \t]" "(NR!=1)&&($1!=p1+1){print p1+1\" 未知\"}($1!=p1+1)||(p2!=$2){print $1,$2}{p1=$1;p2=$2}" >jingjian.txt
gawk "NR==FNR{a[$2]=$1}NR>FNR{if($2 in a)print $1,a[$2];else print $1}" quhao.txt jingjian.txt >result.txt
复制代码

57楼得到的结果是50641行
我的代码得到和54楼得到的结果一样都是50679行

Batcher

楼主不是说1534978后面应该为空么，但你的结果里面对应的是111。

netbenton

改成这样应该可以了

@echo off&setlocal enabledelayedexpansion
sort data.txt /o data1.txt
for /f "tokens=1-2" %%a in (quhao.txt) do set %%b=%%a

::\\取第一个电话号码
set /p num=<data1.txt
set /a num=num
::\\\\\\\
(
for /f "tokens=1-2" %%a in (data1.txt) do (
    if "!var!" neq "%%b" (
        if !num! neq %%a echo;!num! !未知!
        if #!%%b! equ # (echo;%%a !未知!) else echo;%%a !%%b!
        set var=%%b
    ) 
set /a num=%%a+1
)
)>结果.txt
复制代码

[ 本帖最后由 netbenton 于 2010-5-6 21:38 编辑 ]

neorobin

测试了下,结果最前面的几行为

1300000 10
1300000 111
1300001 519
1300000 111
1300002 565
1300000 111
1300006 25
1300000 111
1300008 27
1300000 111
1300010 10

与 LZ 在顶楼的要求是不符的:

1300000 10
1300001 519
1300002 565
1300003 111
1300006 25
1300007 111
1300008 27
1300009 111

netbenton

1，如果号码不是连续的增加一个未知项
2，如果区域在quhao.txt中不存在，转为未知项

@echo off&setlocal enabledelayedexpansion
sort data.txt /o data1.txt
for /f "tokens=1-2" %%a in (quhao.txt) do set %%b=%%a

::\\取第一个电话号码
set /p num=<data1.txt
set /a num=num
::\\\\\\\
(
for /f "tokens=1-2" %%a in (data1.txt) do (
    if "!var!" neq "%%b" (
        if !num! neq %%a echo; !num! !未知!
        if #!%%b! equ # (echo;%%a !未知!) else echo;%%a !%%b!
        set var=%%b
) else (set /a num=%%a+1)
)
)>结果.txt
复制代码

qzwqzw

按照新要求重新写了代码
急就章之作请多做测试
因为不确定连续同一地区的多个号码段中是否存在未知号码段
所以对数据中的每个号码段都做了之前是否存在未知号码段的判定
因此代码运行时间增加为3倍左右

@echo off & setlocal enabledelayedexpansion
set t=%time%
for /f "tokens=1,2" %%i in (quhao.txt) do set %%j=%%i
set nextnum=1300000
(for /f "tokens=1,2" %%i in (data.txt) do (
    if %%i neq !nextnum! (
		echo !nextnum! 111
		set area=未知
	)
    if not "%%j"=="!area!" (
        echo %%i !%%j!
        set area=%%j
    )
	set /a nextnum=%%i+1
))>result.txt
echo 起始时间：%t%
echo 终止时间：%time%
pause
start result.txt
复制代码

[ 本帖最后由 qzwqzw 于 2010-5-6 18:47 编辑 ]

jack1505

感谢了，你的代码测试后，没问题
目前你和37楼的结果正确

42楼和46楼都增加了进度显示，确实速度大大降低
看来你的做法，加上起止的时间较为方便

不过我一楼补充了内容，这个没有实现，详见一楼第2条

[ 本帖最后由 jack1505 于 2010-5-6 18:11 编辑 ]

qzwqzw

46楼的代码存在楼主所说的
一个地区一个号段的问题
算法与42楼存在本质的不同

42楼的代码有几个问题

setlocal的位置不知为何放在for之后
但是如果在命令行环境中执行此代码
将使cmd的当前会话产生大量临时变量
这显然违背了程序的设计原则

echo %%i %%j>con
应该是显示进度的
但正是它严重影响力程序的性能
去掉它运行速度可以提高十几倍
所以不如去掉

@echo off & setlocal enabledelayedexpansion
set t=%time%
for /f "tokens=1,2" %%i in (quhao.txt) do set %%j=%%i
(for /f "tokens=1,2" %%i in (data.txt) do (
    if not "%%j"=="!address!" (
        echo %%i !%%j!
        set address=%%j
    )
))>result.txt
echo 起始时间：%t%
echo 终止时间：%time%
pause
start result.txt
复制代码

jack1505

原帖由 随风 于 2010-5-6 14:29 发表
已帮楼主把数据上传到顶楼

谢谢版主，但是我把data.txt和quhao.txt更新了
可惜权限不够，无法编辑

随风

已帮楼主把数据上传到顶楼

jack1505

原帖由 CUer 于 2010-5-6 09:56 发表
这跟你顶楼的描述不是冲突了吗？你的要求到底是怎样的呢？

谢谢一如既往的关注，我修改了顶楼的说明，这次应该能说明白

CUer

这跟你顶楼的描述不是冲突了吗？你的要求到底是怎样的呢？

应该将归属地相同的连续号段进行精简
如1331000 至1331019都是上海，保留1331000即可
而往下1351210至1351219还是上海，同理保留1351210