법률 AI 검색 실험기 (3) — 복수 정답 문제와 LLM Selector 모델 비교
검색 결과에서 정답을 "선택"하는 것도 문제다
법률 QA 시스템에서 검색(retrieval) 품질은 기본 전제다. 검색이 어느 정도 궤도에 오르자, 다음 병목이 드러났다. Top-50 검색 결과 안에 정답 근거가 들어 있는데도 최종 답변에서 빠지는 경우가 생긴 것이다.
예를 들어 "택배 배송 중 물건이 파손되었을 때 누구에게 책임을 물을 수 있는가?"라는 질문에 대해, 검색 결과에는 민법 제756조(사용자책임)가 포함되어 있었다. 그런데 LLM...
blog.dongjun.win5 min read
Ali Muwwakkil
One surprising insight we've seen is that even when AI retrieval systems surface relevant legal documents, the challenge often lies in aligning these with user intent. It's not just about having the right data -it's about the model understanding the nuance of the question to select the most applicable answer. In our experience with enterprise teams, focusing on context-specific tuning of models significantly enhances outcome relevance. - Ali Muwwakkil (ali-muwwakkil on LinkedIn)