[问题求助] PowerShell怎样将csv中大致重复的项另存为新csv文件

5i365

如何用powershell将csv文件中大致重复的项另存为新csv文件,
例如下面的这个csv文件, 歌手和歌名并非完全重复

------------------------------------------------------------------------------
排序,语言,歌手,歌名
66,国语,安静,红颜知己
67,国语,韩可可,错位时空 (女版)
68,国语,于洋,望爱却步
75,国语,胡小斐,无药可愈
76,国语,en,嚣张
565,国语,韩可可(3),错位时空
566,国语,杜宣达,原来我从未忘记你
567,国语,悦开心,别想他
568,国语,新乐尘符,123我爱你

5i365

这个有解吗?  一点头绪也没有

went

只根据括号内容(.*?)区分就很简单
输入0.csv  输出1.csv

#&cls&@ cd /d "%~dp0" & powershell -c "Get-Content '%~0' | Out-String | Invoke-Expression" & pause&exit
$set = @{}
$content = Get-Content '0.csv' -Encoding UTF8 
$content | foreach {
    $arr = $_ -split ','
    $a = ($arr[2] -replace '\(.*?\)','').Trim() + ',' + ($arr[3] -replace '\(.*?\)','').Trim()
	if($set.$a -eq $null){
		$set.$a = $_
	} else {
		$set.$a = $set.$a + "`n" + $_
	}
}

$set.Values | Where-Object { ($_ -split '\n').Count -gt 1 } | Out-File '1.csv'
复制代码

5i365

回复 3# went


    感谢帮忙, 我现在想了一个逻辑,
如果歌手中有连续的三个字重复【即csv文件第三行】, 同时歌名中有连续的三个字重复【即csv文件第四行】, 此时就算满足条件， 最好有个变量， 我可以修改连续文字的数量
还有个可能的情况是，不只两行中的有重复的情况， 还有可能是三行或N行中有上面描述的重复情况

went

回复 4# 5i365


    没有测试大量数据

cls
#函数 获取两个字符串最大相同字符个数
function Get-SameNum([string]$str1,[string]$str2){
    $max = 0
    $len = 0
    if($str1.Length -le $str2.Length){
        $len = $str1.Length 
        $s1 = $str1
        $s2 = $str2
    } else {
        $len = $str2.Length
        $s1 = $str2
        $s2 = $str1
    }
    for($i = 0;$i -lt $len; $i++){
        for($j = 1; $j -lt $len-$i+1; $j++){
            $s_t = $s1.Substring($i,$j)
            if($s2.IndexOf($s_t) -ne -1){
                if($s_t.Length -gt $max){
                    $max = $s_t.Length
                }
            }
        }
    }
    return $max
}

#阈值设置 >=
$m1 = 3
$m2 = 3
#比较并输出
$content = Get-Content '0.csv' -Encoding UTF8 
&{
    $content | foreach {
        $__ = $_
        $content | Where-Object { $_ -ne $__} | foreach {
            $arr1 = $__ -split ','
            $arr2 = $_ -split ','
            $a = Get-SameNum -str1 $arr1[2] -str2 $arr2[2]
            $b = Get-SameNum -str1 $arr1[3] -str2 $arr2[3]
            if($a -ge $m1 -and $b -ge $m2){
                $__
            }
        }
    }
} | Out-File '1.csv'
复制代码

5i365

回复 6# xczxczxcz


    感谢分享， 执行后，生成的文件为空， 请问如何使用？

5i365

回复 5# went


    如果csv有1000条，不知是对比时间太漫长还是怎么一直不能结束， 然后我就手动关闭了，生成的结果中，还是有问题，相同的并没有上下显示在相邻行

xczxczxcz

回复 7# 5i365

不会用那就不用，你还是使用低效版吧。

实测上万条数据也就弹指一挥间完成，稍为改一下就是高效率了。

禁止套娃。

went

回复 7# 5i365


    可以传csv附件给我测试优化

5i365

回复 8# xczxczxcz


大侠, 侠气凛然, 着实让从人佩服!!!

在下不才,  昨晚真是试了很多次没有结果, 到头了没看懂你写的怎么用,

论坛本来就是个学习的地方, 但凡路过的坛友, 学习一翻你的代码, 更显你的豪气, 更多一份敬佩!!

但是刚才一找, 代码删了, 不见了, 那真就是在俺一个入门者面前耍一下大刀, 炫技了一翻, 没有任何意义

无论如何, 大侠能抽自己的时间和精力加入到处理这个论坛问题的队伍中来, 还是非常感谢的

不明白什么叫 禁止套娃, 百度了一下刚懂, 现在娃没有了, 是不是大家可以随便套了?

5i365

回复 9# went


    感谢回复, 已传, 大侠认真的态度让人钦佩, 宛若论坛中的一股清流!

went

回复 11# 5i365
还是 输入0.csv 输出1.csv

#&cls&@powershell -c "Get-Content '%~0' | Select-Object -Skip 1 | Out-String | Invoke-Expression" &pause&exit
cls
#函数 获取两个字符串最大相同字符个数
function Get-SameNum([string]$str1,[string]$str2){
    $max = $len = 0
    if($str1.Length -le $str2.Length){
        $len = $str1.Length; $s1 = $str1; $s2 = $str2
    } else {
        $len = $str2.Length; $s1 = $str2; $s2 = $str1
    }
    for($i = 0;$i -lt $len; $i++){
       if($len-$i -le $max){ break; }
        for($j = 1; $j -lt $len-$i+1; $j++){
            $s_t = $s1.Substring($i,$j)
            if($s2.IndexOf($s_t) -ne -1){
                if($s_t.Length -gt $max){ $max = $s_t.Length }
            }
        }
    }
    return $max
}

#阈值设置 >=
$m1 = 3
$m2 = 3
#比较并输出
$list = [System.Collections.ArrayList](Get-Content '0.csv' -Encoding UTF8 | Select-Object -Skip 1)
&{
    &{
        $list | Sort-Object {
            $arr = $_ -split ',' 
            ($arr[2] -replace '[\(\[\{].*[\)\]\}]',''),
            ($arr[3] -replace '[\(\[\{].*[\)\]\}]',''),
            ($arr[0])
        } | foreach {
            $line = $_
            $singer = ($_ -split ',')[2]
            $song = ($_ -split ',')[3]
            if($last_line -ne $null){ 
                $a = Get-SameNum -str1 $singer -str2 $last_singer
                if($a -ge $m1){
                    $b = Get-SameNum -str1 $song -str2 $last_song
                    if($b -ge $m2){
                        if(!$last){ $last_line; $last = $true}
                        $_
                    }
                } else {
                    $last = $false
                }
            }
            $last_line = $line
            $last_singer = $singer
            $last_song = $song
        }
    }
} | Out-File '1.csv'
复制代码

5i365

回复 12# went


    感谢, 刚才试了一下, 得到下面的结果:

但有些项不应输出,例如;
795和534, 562和578, 851和501, 都是两首歌, 是同一歌手唱

前两组的输出是对的

感觉现在对比的逻辑是: 要先排除歌名中的括号中的内容后再对比

------------------------------------------------------
546,国语,Bomb比尔,0222心动-比尔的歌
407,国语,Bomb比尔,1022-比尔的歌
67,国语,韩可可,错位时空 (女版)
565,国语,韩可可(3),错位时空
795,粤语,亮声open,多年以后 (粤语版)
534,粤语,亮声open,无人与我 (粤语版)
562,国语,刘大壮,我很好 (吉他版)
578,国语,刘大壮,一吻天荒 (吉他版)
851,国语,杨冰心,红尘谁不是过客 (女版)
501,国语,杨冰心,学会爱自己 (女版)

went

回复 13# 5i365


    37.38行修改下

$singer = ($_ -split ',')[2] -replace '[\(\[\{].*[\)\]\}]',''
$song = ($_ -split ',')[3] -replace '[\(\[\{].*[\)\]\}]',''
复制代码