---
title: "Discussion on \"Architecture 大模型整体架构\" | Hashnode"
description: "Discussion on \"Architecture 大模型整体架构\". 分词粒度\n\n词粒度 word：英文天生使用空格分隔词汇，中文可使用 jieba 分词工具。\n\n优点：词的边界和含义得到保留。\n\n缺点：\n\n由于长尾效应，词粒度的词表可能会非常大，包含很多的稀有词，存储和训练成本高，稀有词往往很难学习好。\n\nOOV（out of vocabulary）问题：对词表之外的词无能为力。\n\n无法处理单词的形态关系和词缀关系。同一个词的不同形态，语义相近，完全当做不同的单词"
url: "https://hashnode.com/posts/architecture/69f2c9736e0124c05e97f615"
---

[Feed](https://hashnode.com/feed) /

Discussion

# [Architecture 大模型整体架构](https://blog.wpixiu.cn/architecture?utm_source=hashnode&utm_medium=feed)

分词粒度 词粒度 word：英文天生使用空格分隔词汇，中文可使用 jieba 分词工具。 优点：词的边界和含义得到保留。 缺点： 由于长尾效应，词粒度的词表可能会非常大，包含很多的稀有词，存储和训练成本高，稀有词往往很难学习好。 OOV（out of vocabulary）问题：对词表之外的词无能为力。 无法处理单词的形态关系和词缀关系。同一个词的不同形态，语义相近，完全当做不同的单词

Apr 30 · 1 min read · blog.wpixiu.cn  
Read the article

## Written by

[wpixiu](https://hashnode.com/@wzh)

@wzh

  
[View profile](https://hashnode.com/@wzh)

## Responses

Markdown supported · ⌘↵ to post

No responses yet.
