환각
Hallucination
다른 표기: 할루시네이션
모델이 사실이 아닌 내용을 사실처럼 그럴듯하게 만들어 내는 현상.
언어 모델은 사실을 조회하는 장치가 아니라 다음에 올 말을 잇는 장치입니다. 그래서 모르는 부분도 문장으로는 매끄럽게 이어 버립니다.
줄이는 방법은 몇 가지가 있습니다. 근거 문서를 함께 넣어 주기, 출처를 요구하기, 모르면 모른다고 답하도록 지시하기, 그리고 사람이 확인하는 절차를 두는 것입니다.
교육 자료에서는 숫자와 인용이 특히 위험합니다. 버딧이 글에 쓰는 연구 인용을 원문에서 다시 확인하는 것도 이 때문입니다.
- 가장 흔한 곳숫자, 인용, 사람 이름, 날짜.
- 대책검색 붙이기(RAG), 출처 표시, 사람 검수.