LLMs 파인튜닝 프로젝트: 제품 설명으로 가격 예측하기 (3)

데이터를 다운 받고, 카테고리가 어떻게 구성되어 있는지 살펴보면 다음과 같다. 🚗 데이터 현황 – 자동차 카테고리가 너무 많다! 자동차 카테고리가 90만 개 이상의 데이터 포인트로 가장 많다. 총 데이터 포인트: 280만 개 이상으로 매우 방대하다. 이러한 데이터 포인트수는 훈련에 필요한 데이터 수를 훨씬 초과한다. ➡️ 목표: 더 가치 있고 의미 있는 데이터 포인트를 선택하여 작고 강력한 데이터셋을 만들기. 📏 토큰과 가격 ...