LLMs 파인튜닝 프로젝트: 제품 설명으로 가격 예측하기 (4)

이번 포스트에서는 LLM의 토큰화에 대해서 잠깐 짚고 넘어가겠다. 🔍 코드 설명 def report(item): prompt = item.prompt # 아이템의 프롬프트(설명) 가져오기 tokens = Item.tokenizer.encode(item.prompt) # 프롬프트를 토큰화해 토큰 ID 리스트로 변환 print(prompt) # 원본 프롬프트 출력 print(tokens[-10:]) # 마지막 ...