批处理怎样删除组成元素相同的重复行？

DAIC · 发表于 2011-9-2 11:55:59

文本中有很多行，下面只是一部分，每行都是三列随机数字：
1 1 1
1 1 2
1 2 1
2 3 0
2 1 1
0 2 3
4 5 6

只要组成元素相同，就视为重复行。比如以下三行均视为重复行：
1 1 2
1 2 1
2 1 1
还有以下两行也是重复行：
2 3 0
0 2 3

对于重复行，任意保留中一行即可。对于非重复行，原样保留。

CrLf · 发表于 2011-9-2 12:44:28

来一个兼容性很差的...抛砖了哈：

@echo off&setlocal enabledelayedexpansion
for /f "delims=" %%a in (1.txt) do (
set /a n=0
for %%b in (%%a) do set /a "n+=1<<%%b"
if not defined _!n! echo %%a
set _!n!=_
)
pause

复制代码

DAIC · 发表于 2011-9-2 13:42:16

回复 2# CrLf

多谢版主
请问兼容性差是指什么？

DAIC · 发表于 2011-9-2 15:30:24

回复 4# else

多谢，看来2楼的代码不能用了，我的数据很重要，不能漏掉。

CrLf · 发表于 2011-9-2 18:05:36

来一个列排序版的，用的是比较简陋的排序方式，列数一多就蛋疼了...

@echo off&setlocal enabledelayedexpansion
for /f "tokens=1-3" %%a in (1.txt) do (
set /a a=%%a,b=%%b,c=%%c
for %%d in (c-b b-a c-b) do (
for /f "tokens=1,2 delims=-" %%e in ("%%d") do (
if !%%e! gtr !%%f! set /a %%e=!%%f!,%%f=!%%e!
)
)
if not defined _!a!_!b!_!c! (
echo %%a %%b %%c
set _!a!_!b!_!c!=_
)
)
pause

复制代码

CrLf · 发表于 2011-9-2 18:30:06

来一个不那么蛋疼的，只要在 str 中给够足量的变量名，应可兼容任意列数：

@echo off&setlocal enabledelayedexpansion
set str=a b c
::abc 分别代表三个变量名，表示只有三列
for %%a in (!str!) do (
for /f %%b in ("!str:*%%a=!") do (
if defined list set "list=!list!%%a "
set "list=%%a !list!"
set list=!list:%%a =%%b-%%a !
)
)
::获取用于 if 判断的顺序表
for /f "delims=" %%a in (1.txt) do (
set tmp=%%a
for %%b in (%str%) do (
for /f %%c in ("!tmp!") do set %%b=%%c
set tmp=!tmp:~2!
)
rem 设置每列的值到对应变量
for %%d in (%list%) do (
for /f "tokens=1,2 delims=-" %%b in ("%%d") do (
if !%%b! gtr !%%c! set /a %%b=!%%c!,%%c=!%%b!
)
)
if not defined _!a!_!b!_!c! (
echo %%a
set _!a!_!b!_!c!=_
)
)
pause

复制代码

545810831 · 发表于 2011-9-2 21:42:53

每一行元素相同且都是数字, 相同的数字之和相等，元素都必然相同

@echo off
setlocal enabledelayedexpansion
for /f "tokens=1-3" %%a in (1.txt) do (
set /a num=%%a+%%b+%%c
for /f "tokens=1-4" %%i in ("!num! %%a %%b %%c") do (
set /a _%%i+=1
if "!_%%i!"=="1" echo %%j %%k %%l
)
)
pause

复制代码

DAIC · 发表于 2011-9-2 22:23:45

回复 9# 545810831

1+2+3=2+2+2

545810831 · 发表于 2011-9-3 06:21:52

错了？解决不了问题

545810831 · 发表于 2011-9-5 11:21:37

一行各个元素平方和只有各个元素相同时才会相等，所以稍稍改一下代码即可,不知文本有多长，可能导致卡机？

CrLf · 发表于 2011-9-5 12:34:02

有想法，不过也是不严谨，3 0 0 与 2 2 1 平方和相同

CrLf · 发表于 2011-9-5 12:40:10

不过如果列数与指数相同，好像没想到有反例可以证明这种算法不严谨

sxw · 发表于 2011-9-5 14:08:34

本着解决问题的思想，如果只是数字可以试试用Perl解决：

#!/usr/bin/perl
use warnings;
use strict;
my %count;
while (<DATA>) {
my @number=split;
chomp (my $sorted_number=join "",sort { $a <=> $b } @number);
$count{$sorted_number}++;
print "$_" if $count{$sorted_number}==1;
}
__END__
1 1 1
1 1 2
1 2 1
2 3 0
2 1 1
0 2 3
5 4 6
4 5 6
7 8 9
8 7 9
1 1 1

复制代码

wc726842270 · 发表于 2011-9-5 16:35:14

@echo off
if exist temp1.txt (del /a /f temp1.txt)
if exist temp2.txt (del /a /f temp2.txt)
for /f "tokens=1-3" %%i in (1.txt) do (
(echo %%i&echo %%j&echo %%k)|sort
)>>temp1.txt
for /f "tokens=1,2 delims=:" %%i in ('findstr /n .* temp1.txt') do (
setlocal enabledelayedexpansion
set /a a=%%i%%3
if !a! equ 1 (echo.&&set /p=%%j<nul) else (set /p=%%j<nul)
)>>temp2.txt
del /a /f temp1.txt
pause

复制代码

运行这个代码可以帮你转换成"去掉重复行",之后就好处理了
好久没写了,可能不给力

wc726842270 · 发表于 2011-9-5 17:05:04

另外怎么没人用冒泡排序啊,个人认为可以在FOR /F中用它来达到我16L的转换

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] 批处理怎样删除组成元素相同的重复行？