---
title: "Discussion on \"Tokenization 分词\" | Hashnode"
description: "Discussion on \"Tokenization 分词\". 分词：将输入文本分成一个个词元，保证各个词元拥有相对完整和独立的语义，以供后续任务（如：学习 embedding、作为高级模型的输入）使用。【分词器：在字符串和整数序列之间进行映射。】"
url: "https://hashnode.com/posts/tokenization/69f2c9156e0124c05e97b072"
---

[Feed](https://hashnode.com/feed) /

Discussion

# [Tokenization 分词](https://blog.wpixiu.cn/tokenization?utm_source=hashnode&utm_medium=feed)

分词：将输入文本分成一个个词元，保证各个词元拥有相对完整和独立的语义，以供后续任务（如：学习 embedding、作为高级模型的输入）使用。【分词器：在字符串和整数序列之间进行映射。】

Apr 30 · 1 min read · blog.wpixiu.cn  
Read the article

## Written by

[wpixiu](https://hashnode.com/@wzh)

@wzh

  
[View profile](https://hashnode.com/@wzh)

## Responses

Markdown supported · ⌘↵ to post

No responses yet.
