【收藏版】最快的大文本去重复，1G 3000+W行21秒支持4G+

风清云游 · 发表于 2021-12-23 12:02:27

幻月工作室发表于 2021-12-14 09:51
纯内存去重速度确实能快点，但处理不了太大的文本，1G的文本最起码将近3G的内存消耗，4G文本没个16G+内存搞 ...

1g的文本额外消耗高于1g 这个思路本身不可取

Sir928 · 发表于 2021-12-23 09:19:24

确认过眼神是神一样的女人~

fyqjfb · 发表于 2021-12-18 10:31:08

感谢分享！

神女软件定制 · 发表于 2021-12-14 17:55:43

幻月工作室发表于 2021-12-14 17:26
不是这么算的，你实测一下看看吧

除了vector内存不是分配的，其他内存都是我分配的，可能vector会预申请一部分空间，可能2.2这个系数，还会大一点
但一定是线性增长的

神女软件定制 · 发表于 2021-12-14 17:51:31

幻月工作室发表于 2021-12-14 17:26
不是这么算的，你实测一下看看吧

…………

幻月工作室 · 发表于 2021-12-14 17:26:17

神一样的女人发表于 2021-12-14 16:32
1G应该要2.2G内存，nG 2.2nG

不是这么算的，你实测一下看看吧

神女软件定制 · 发表于 2021-12-14 16:32:04

幻月工作室发表于 2021-12-14 09:51
纯内存去重速度确实能快点，但处理不了太大的文本，1G的文本最起码将近3G的内存消耗，4G文本没个16G+内存搞 ...

1G应该要2.2G内存，nG 2.2nG

yuan1 · 发表于 2021-12-14 15:25:41

感谢分享

幻月工作室 · 发表于 2021-12-14 09:51:09

纯内存去重速度确实能快点，但处理不了太大的文本，1G的文本最起码将近3G的内存消耗，4G文本没个16G+内存搞不下来，8G的文本纯内存就不要想了

神女软件定制 · 发表于 2021-12-13 18:42:36

lizebin90 发表于 2021-12-13 18:40
筛选完的文本会不会全部汇总成一份保存起来下次跟新文本一起对比

源文本不会修改，保存出一份没有重复的，和一份包含剔除行的。
不可以2个文本一起对比

		自动登录	找回密码
密码			注册

[优秀原创软件] 【收藏版】最快的大文本去重复，1G 3000+W行21秒支持4G+