[已解决]批处理如何对比处理2个文本之间重复的内页域名？

yiduancang · 发表于 2012-3-31 18:02:41

各位大大我有2个文本假设为A B或者新旧。。新文本里有http://www.bathome.net/1  http://www.bathome.net/2 这样的网站二级域名内页网址  然后旧文本里有http://www.bathome.net/123 http://www.bathome.net/4565  这样的网址  批处理有办法去除新文本里在旧的文本已经包含的二级域名吗？

再举个简单的例子
比如我第一份文本里有WWW.XXX.COM/123 第二份里有www.xxx.com/234
这样就判断为重复、、这样说来的简单点、、对了。。因为要求的结果是二级域名保存下来。。所以没办法用一些手段去掉后面/123 内页域名保留顶级域名不然网上倒是有几款现成的软件可以处理

大概就是这样了请问下各位大大神批处理能提取这样不重复的网址吗  或者直接删除新文本里跟旧文本比较起来重复的内容也行、、、重点是数据量比较大十几W 几十W的网址这样。。处理多了会崩溃不  试用过notepad++这个文本神器。。。可能是我太菜了不会正则表达。求解啊。。这个问题困扰我蛮久了。。日常工作中。。依靠人肉去去重复实在太坑爹了。。。。求大神解救于我水生火热之中。。拜谢。。

batman · 发表于 2012-3-31 19:50:32

说实话，看了半天硬是不明白楼主所说的重复概念。。。

问题倒是很简单。。。

find · 发表于 2012-3-31 21:59:21

请分别从两个文件里面各取10行真实数据贴出来，然后把你希望得到的结果也贴出来。

yiduancang · 发表于 2012-4-1 09:09:04

回复 3# find

好的可能我意思表达的不太清楚假设下面10条网址是我的旧资源
http://pluesystem.com/seo.html
http://plumbingcosydney.com.au/links
http://pn-kuningan.go.id/node/2
http://pnsbfc.com/v2/node/118
http://pnwoutdoors.com/hunting/1380-meet-swingers-threesomes.html
http://pocketpaindoctor.com/?q=node/21
http://pocketpaindoctor2.corporateconstipation.com/?q=node/21
http://pocketshark.com/blog/page/joseshin?entry=wonderful_prospect_for_the_industry
http://pointspread.com/news/mlb/brandon-league-hasn’t-blown-closer’s-role-yet.html

再下面这10条是我的新资源
http://pluesystem.com/s23423523522424eo.html
http://plumbingcosydney.com.au/links114124141313412
http://pn-kuningan.go.id/node/222222222222222224241414
http://pnsbfc.com/v2/node/11812222222222124124
http://pnwoutdoors.com/hunting/1380-meet-swingers-threesomes.html14444411214

http://guardian.co.uk/books/2004/oct/27/booksforchildrenandteenagers
http://guardiannews.us
http://guccihoody.medykblog.pl
http://gudangfiles.com/showpads.php?cat=desktop::screen%20savers:%20other
http://guernicamag.com/blog/2133/okey_ndibe_my_debt_to_nigerias

然后这5个网址是我想要的结果
http://guardian.co.uk/books/2004/oct/27/booksforchildrenandteenagers
http://guardiannews.us
http://guccihoody.medykblog.pl
http://gudangfiles.com/showpads.php?cat=desktop::screen%20savers:%20other
http://guernicamag.com/blog/2133/okey_ndibe_my_debt_to_nigerias

我这样举例不知道版主和这位大大能否看明白没你门仔细看就会发现旧资源中有http://pluesystem.com/seo.html 而新资源中有http://pluesystem.com/s23423523522424eo.html 它们同是http://pluesystem.com 这个网站的内页域名。。。也就是说我的排除条件是建立在http://pluesystem.com 这种主域名上的再说的土点就是到.com(当然网址后缀不止是.com。。总之就是以网站主域名来判断）这里为判断是否重复条件而不是看整条网址这样不知道能否做到。。。提醒下在下处理的数据量都是几十W级别的。。如果批处理的话在数据量大的时候不知道会出错不还望版主及各位大侠出手啊

yiduancang · 发表于 2012-4-1 09:10:01

回复 2# batman

哈哈抱歉。。表达能力比较差= =！例子我已经举例在楼下了麻烦版主帮忙看下谢谢。。

ArdentMan · 发表于 2012-4-1 09:21:20

本帖最后由 ArdentMan 于 2012-4-1 09:28 编辑

几十万条无法测试效率

@Echo Off
For /F "Tokens=2 Delims=/" %%a In (旧文本) Do Set "%%a=a"
(For /F "Tokens=2* Delims=/" %%a In (新文本) Do (
If Not Defined %%a Echo http://%%a/%%b
))>$
move $ 新文本

复制代码

yiduancang · 发表于 2012-4-1 17:18:32

回复 6# ArdentMan

测试了下木有动静啊文本命名为新文本旧文本

yiduancang · 发表于 2012-4-1 17:23:35

回复 6# ArdentMan

生成出来的文件为未知文件

yiduancang · 发表于 2012-4-1 17:39:18

回复 2# batman

召唤版主各路神仙

yiduancang · 发表于 2012-4-7 09:49:38

哎最终还是个朋友帮忙解决了不过还是感谢上面的大大

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] [已解决]批处理如何对比处理2个文本之间重复的内页域名？

评分

评分

评分