【已解决】WPS从10万条数据中找记录，耗时1小时，有什么快的方法

朱科技

WPS从10万条数据中找记录，耗时1小时，有什么快的方法
附件链接: https://pan.baidu.com/s/1utKLL5Dwxeu3MgR1AcnErQ 提取码: khw2

a20150604

好多人就是要把数据库的活 硬塞在表格里折腾，折腾得不爽了，被建议塞回数据库

523066680

回复 24# slimay

   哇靠这么快被人抢注了。
这两年忙工作，先把内容备份了，如果有时间再重建恢复资料吧，换个域名。
以前百度博客还活着的时候，设置的头像，其实百度博客当时就是最好用的，但是不知道策划吃了什么浆糊，改到后面四不像，没人用了

slimay

回复 22# 523066680
http://www.code-by.org/怎么变成后花园征婚网站了
你的百度头像nice

523066680

分享一下补充了60W虚构数据的表格：
https://pan.baidu.com/s/1Yyhyl5TazZ2eKi3mfeYTJQ
提取码：23s7

523066680

回复 21# slimay

使用数据库比如sql server或者my sql
至少得用access
zq1210 发表于 2021-8-7 21:52

    我看到 ExcelHome 有个人说要用 Access 的时候想不至于吧，实操一顿发现：哦豁。

slimay

回复 20# 523066680
是的,这个只要语言支持哈希, 那直接打表最省心. 貌似也没法用字典树, 这个比较的单号太长, 字典树也会爆了.
换我就直接导入mysql, 然后写个查询语句,也不用编程.这种关系到数据准确性的问题, 最好还是直接上sql.前端写个网页, 能登陆动态查询数据库,一般企业都这么搞

523066680

回复 19# slimay

    我猜他后面的需求会扩充，不会只是 无锡中心。所以该建立的表还是要建。
二分没有去试，10W查询*60W条明细，三层哈希查表，调Win32::OLE接口，脚本耗时60秒。

slimay

回复 17# 523066680

可以先对表格筛选啊, 先筛选出 包含 "下车扫描" 的表1,  然后 在这个新表中筛选出 包含 "无锡中心"  的 表2,  然后表2就是很小的范围 , 在匹配单号时(先用表格的排序功能排好序), 单号后几位都是纯数字,  可以二分折半查询, 这样他就是有60万行数据 也只需  循环 几万次就搞定了.即使用C语言, 按这个思路,也是控制在一秒内搞定.
他的描述就是 : 只要无锡中心 下车扫描的 运单号的行数,  他估计就在无锡工作, 既然只关心这一点的下车扫描 件, 那这种方法是最快, 且最能解决问题的.

不过,你的思路具有一般普适性, 适用于各种情况下的,匹配..但是那个计算量和内存确实很难优化.

a20150604

相当于 比对数据 A 和 数据 B, 为其中一者建字典, 优先选两者中规模小的, 因为 建字典过程 耗时也正相关于 数据规模;

而后的 比对过程  比对量 = 数据A 规模 * 数据 B 规模, 基本固定

523066680

如果表1要处理的项目有10W条，明细（走件流程）的数据有60W条。按先查找单号，后判断操作网点名称，最后判断操作名称，那确实要些时间的，10W*60W*三个判断（大致的，不精确）。

VBA不熟，不够思路大概这样：
创建字典，先筛选 网点名称 和 操作状态 符合的所有单号+行号存储到字典，
然后遍历表1，获取匹配单号的行号填入。

但如果表1待查的每一项，网点名称 和 操作状态 的值不一定一致，每次都需要做判断，用支持哈希表的语言处理好用一些，
我大概会这么创建：$hash{操作名称}{网点名称}{单号} = 行号
（内存占用还未测试）

另外就是数据的读写，最好是整块读出和写入，逐行处理时调用接口的消耗会被10W倍放大

slimay

回复 15# 朱科技
写的逻辑很糟糕, 问题很大. 怪不得速度慢了

朱科技

回复 14# slimay


    有6列都是用的这个公式，也就是6列5000行
=SMALL(IFERROR(IF((走件流程!$A$1A$600000=C4)*(走件流程!$E$1:$E$600000="无锡转运中心")*(走件流程!$F$1:$F$600000="下车扫描"),ROW(走件流程!$E$1:$E$600000)),9^9),1)

slimay

回复 13# 朱科技
我用的100元的CPU,也就1秒出结果了,你把你的函数贴出来, 我看看你怎么写的,不会这么慢的, 肯定是你的表格函数有问题,做了无用的功,导致反应变慢

朱科技

回复 12# slimay


    实际操作和你说的不切实际，取值确实 是耗时40分钟-小时左右