---
title: "Discussion on \"챗봇과 사용자의 대화 내용이 길어질수록 llm 호출 시 토큰 수가 증가하여 응답 시간이 지연되는 문제가 발생\" | Hashnode"
description: "Discussion on \"챗봇과 사용자의 대화 내용이 길어질수록 llm 호출 시 토큰 수가 증가하여 응답 시간이 지연되는 문제가 발생\". https://youtu.be/5soSQgVHGEA\n \nOpenAI API를 이용한 챗봇을 만들면서 대화가 길어질수록 LLM 호출 시 토큰 수 증가로 응답 시간이길어지는 문제가 발생\n문제분석\n여기서 생각하는 문제는\n\ndb 조회의 부하\n\n처음 챗봇에게 부여하는 역할이 너무 긴데, 이걸 매 API 호출마다 전송함\n\n대화 흐름을 기억하기 위해 챗봇-유저 간 대화 내용을 모두 DB에 저장한 다음 그대로 API 호출 마다 LLM에 전달함 → 모든 대화 ..."
url: "https://hashnode.com/posts/llm/6788b66741ce52210728cf0f"
---

[Feed](https://hashnode.com/feed) /

Discussion

# [챗봇과 사용자의 대화 내용이 길어질수록 llm 호출 시 토큰 수가 증가하여 응답 시간이 지연되는 문제가 발생](https://yeonnan.hashnode.dev/llm?utm_source=hashnode&utm_medium=feed)

https://youtu.be/5soSQgVHGEA OpenAI API를 이용한 챗봇을 만들면서 대화가 길어질수록 LLM 호출 시 토큰 수 증가로 응답 시간이길어지는 문제가 발생 문제분석 여기서 생각하는 문제는 db 조회의 부하 처음 챗봇에게 부여하는 역할이 너무 긴데, 이걸 매 API 호출마다 전송함 대화 흐름을 기억하기 위해 챗봇-유저 간 대화 내용을 모두 DB에 저장한 다음 그대로 API 호출 마다 LLM에 전달함 → 모든 대화 ...

Jan 16, 2025 · 3 min read · yeonnan.hashnode.dev  
Read the article

## Written by

[Dayeon](https://hashnode.com/@yeonan)

@yeonan

  
[View profile](https://hashnode.com/@yeonan)

## Responses

Markdown supported · ⌘↵ to post

No responses yet.