---
title: "Discussion on \"海量数据去重\" | Hashnode"
description: "Discussion on \"海量数据去重\". 起因\n有个哥们，有 5000G 数据需要去重。\n这么大数据其实挺不好处理的，尤其是超不注意就内存/磁盘炸裂。\n所以，如何做到性能、内存、磁盘之间的平衡，就是这个问题的难题……\n其实这个问题让我想起「编程珠玑」中的一篇内容……\n方案\n刚开始大家觉得使用使用 redis 的 hash 能力来处理，set/hash 都可以，但是不管是直接丢字符串，还是将字符串 hash 计算后存储，其实都会比较耗费内存。并且 hash 后的数据还会存在一定概率 hash 碰撞，此时更不好处理了。\n于是在我们小群里面进..."
url: "https://hashnode.com/posts/5rw36yep5pww5o2u5y676yen/645675a830be1a2397aa4ca9"
---

[Feed](https://hashnode.com/feed) /

Discussion

# [海量数据去重](https://mozz.in/5rw36yep5pww5o2u5y676yen?utm_source=hashnode&utm_medium=feed)

起因 有个哥们，有 5000G 数据需要去重。 这么大数据其实挺不好处理的，尤其是超不注意就内存/磁盘炸裂。 所以，如何做到性能、内存、磁盘之间的平衡，就是这个问题的难题…… 其实这个问题让我想起「编程珠玑」中的一篇内容…… 方案 刚开始大家觉得使用使用 redis 的 hash 能力来处理，set/hash 都可以，但是不管是直接丢字符串，还是将字符串 hash 计算后存储，其实都会比较耗费内存。并且 hash 后的数据还会存在一定概率 hash 碰撞，此时更不好处理了。 于是在我们小群里面进...

Apr 21, 2021 · 1 min read · mozz.in  
Read the article

## Written by

[粒 莫](https://hashnode.com/@molix2)

@molix2 · Shen zhen

  
[View profile](https://hashnode.com/@molix2)

Software Developer @golang @react

Software Developer @golang @react

## Responses

Markdown supported · ⌘↵ to post

No responses yet.
