[文本处理] [已解决]excel表A列内容有不同数量的重复，A列相同的行，取B列数字最大的那一行

13545876873

求助大哥们：这个要怎么实现啊 ；  如果A列相同的行对应的B列数值，是一样的，只需要复制其中的一个就行了

13545876873

回复 23# czjt1234
感谢大哥，这个也可以

13545876873

回复 22# aloha20200628
感谢大哥，这个可以，都复制出来了

13545876873

回复 21# buyiyang
谢谢大哥，我的电脑好像安装不了这个，下载下来双击后，cmd窗口一闪而过

czjt1234

回复 25# 13545876873


    要速度的话，应该是21楼的第三方软件最快

13545876873

回复 20# ppll2030
这样也行，只是时间长一些， 昨天用2楼大哥的excel函数，处理了一晚没关电脑，今天早上处理好了

13545876873

回复 19# flashercs
哦，是这样啊

czjt1234

我也来练练手，用楼主提供的 1.csv 另存为 1.xlsx
就是说直接读取 excel 文件，不用先转换为 csv 再读取
用数据库SQL语言统计结果
win7x64测试通过

rem 另存为 ANSI 编码 bat
' & cls & %windir%\SysWOW64\cscript.exe /nologo /e:vbscript "%~f0" %* & pause & exit /b

f1 = "1.xlsx"    '源文件
f2 = "2.csv"     '输出文件

s = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" & f1 & ";Extended Properties='Excel 12.0 Xml;HDR=YES'"
Set oConnection = CreateObject("ADODB.Connection")
oConnection.Open s
Set oRecordset = oConnection.OpenSchema(20)    'adSchemaTables
Do Until oRecordset.EOF = True
    Select Case oRecordset("TABLE_TYPE")
        Case "TABLE"
            s = oRecordset("TABLE_NAME")
    End Select
    oRecordset.MoveNext()
Loop
oRecordset.Close()
Set oRecordset = CreateObject("ADODB.Recordset")
oRecordset.CursorLocation = 3    'adUseClient
oRecordset.Open "SELECT 基因名称, MAX(基因长度) AS 基因长度 FROM [" & s & "] GROUP BY 基因名称", oConnection
s = ""
For i = 0 To oRecordset.Fields.Count - 1
    s = s & oRecordset(i).Name & ","
Next
s = Left(s, Len(s) - 1) & vbCrLf
Do Until oRecordset.EOF = True
    For i = 0 To oRecordset.Fields.Count - 1
        s = s & oRecordset(i).Value & ","
    Next
    s = Left(s, Len(s) - 1) & vbCrLf
    oRecordset.MoveNext()
Loop
oRecordset.Close()
Set oFSO = CreateObject("Scripting.FileSystemObject")
Set oTextStream = oFSO.OpenTextFile(f2, 2, True)
oTextStream.Write s
oTextStream.Close()
wsh.Echo "ok"
复制代码

aloha20200628

回复 18# 13545876873

再给楼主一个版本吧 请出 sort76.exe 和 jscript 保驾护航，可以轻松越过批处理读写每行8192字符量的大限... 以下代码存为 test.bat 运行，先从本坛第三方下载 sort.exe R7.6版 ( http://bcn.bathome.net/tool/7.6/sort.exe ) 更名为 sort76.exe 与 test.bat 同目录

@set @v=1 /* &echo off & sort76 -t "," -k1,1 -k2n,2 1.csv|cscript /nologo /e:jscript "%~f0">2.csv
pause&exit/b */
ws=WSH.stdin, _s='', _s1='';
while (!ws.atendofstream) {
	s=ws.readline(), ac=s.split(',');
	if (ac[0] != _s1 && _s1 != '') WSH.echo(_s);
	_s=s, _s1=ac[0];
}
WSH.echo(_s), WSH.quit();
复制代码

buyiyang

追求速度的话，试试gawkhttp://bcn.bathome.net/tool/5.1.0/gawk.exe

gawk -F"," "BEGIN{max[\"\"]=-999999}{if($2 ~ /^[0-9]+$/){if($2>max[$1]){max[$1]=$2;line[$1]=$0}}else{print}}END{for(key in line){print line[key]}}" 1.csv >2.csv
复制代码

ppll2030

回复 18# 13545876873


    你的表格中，基因序列和蛋白序列的内容太长了。随便删掉一列估计就行了

这么大的数据量，还是老老实实用excel处理吧，
你可以把我的步骤录制成宏保存起来，或者把10楼大佬的vba添加到模块中，使用的时候直接导入点击，等个几十秒即可完成了。

flashercs

回复 18# 13545876873


在Windows命令行界面（CMD）中，命令行的最大长度是有限制的。根据微软的技术文档，命令行的最大长度为 8191 字符。这包括命令本身以及所有传递给命令的参数。
如果csv行长度太长就不会输出.

13545876873

回复 16# aloha20200628
大哥，好像有一点bug呀 ，  我第一次针对3万8千多行的excel数据使用，复制出来了2万多一点；  但还是有一些没复制出来， 于是我把没复制出来的新建一个表再运行一次test.bat,结果这次只复制出来两个
表1有很多数据（已经排过序了的），只复制出来了两个（第一个复制还不是最大的）：
这是网盘地址，大哥有空帮忙看看呀 ：https://wwfe.lanzoue.com/iM2U42a9b4cj
密码:6kto

我发现一个问题，我第一次筛出来2万多行的B列数值，都在6000以下。 第二次出来的数值也是6000以下的， 6000以上的都没出来，不知为啥

aloha20200628

回复 15# 13545876873

复查了有关 sort.exe 的参数说明，其中 /rec 用于设置排序最大行长度，默认=4096 每行字符量，楼主实际用的 1.csv 已经超过这个默认值了，因此会报警 ‘输入记录超过最大长度。请指定更大的最大限度。’ 解决方法是将该值设为 8192，此值也是批处读取每行文本字符量的极限（sort 允许此值高达 64K 但对批处的极限能力已无意义）。据此重新订正了3楼代码，如 1.csv 的最大行长度不超过 8192 字符量，即可用3楼代码再试一试...

13545876873

回复 16# aloha20200628
哦哦！谢谢大哥