---
title: "Discussion on \"BPE\" | Hashnode"
description: "Discussion on \"BPE\". Byte Pair Encoding (BPE)\n论文：Neural Machine Translation of Rare Words with Subword Units\n\n核心思想：从一个基础小词表开始，通过不断合并最高频的连续 token 对来产生新的 token。\n\n具体做法：\n\n输入训练语料和期望词表大小 V。\n\n准备基础词表：比如英文中 26 个字母加上各种符号，并初始化 ID。"
url: "https://hashnode.com/posts/bpe/69f2cb946e0124c05e996ae3"
---

[Feed](https://hashnode.com/feed) /

Discussion

# [BPE](https://blog.wpixiu.cn/bpe?utm_source=hashnode&utm_medium=feed)

Byte Pair Encoding (BPE) 论文：Neural Machine Translation of Rare Words with Subword Units 核心思想：从一个基础小词表开始，通过不断合并最高频的连续 token 对来产生新的 token。 具体做法： 输入训练语料和期望词表大小 V。 准备基础词表：比如英文中 26 个字母加上各种符号，并初始化 ID。

Apr 30 · 1 min read · blog.wpixiu.cn  
Read the article

## Written by

[wpixiu](https://hashnode.com/@wzh)

@wzh

  
[View profile](https://hashnode.com/@wzh)

## Responses

Markdown supported · ⌘↵ to post

No responses yet.
