AI가 "모른다"고 말하지 못하는 이유

챗GPT나 제미나이 같은 인공지능(AI) 모델은 절대 "모른다"고 답하지 않는다. 어떻게든 그럴듯한 답을 내놓아야 마는데, 때론 없는 사실을 날조하거나 오답을 정답처럼 교묘하게 포장한다. 이런 현상을 '환각(Hallucination·할루시네이션)'이라 부른다. 왜 AI는 "모르겠습니다"라고 솔직하게 말하지 못할까? 오픈AI에 따르면, 이는 AI 훈련 방식(설계) 자체에 원인이 있다. AI가 정답을 모를 때에도 정답률을 높이기 위해 무조건 추측해서 대답하도록 학습되었기 때문이다. 쉽게 말해 AI는 "다음에 올 확률이 가장 높은 단어"를 예측해 문장을 생성하는데, 이 과정에서 사실 검증 없이 그럴듯한 답변을 만들어내게 된다.

충격적 역설: 최신 AI일수록 환각이 더 심하다

상식적으로 생각하면 AI가 발전할수록 환각 현상은 줄어들어야 한다. 하지만 2025년 4월 공개된 오픈AI의 최신 모델에서 정반대 결과가 나타났다. 오픈AI 자체 벤치마크(PersonQA)에 따르면, 최신 모델인 o3는 33%, o4-미니는 무려 48%의 환각률을 기록했다. 이전 모델인 o1(16%)보다 2~3배 높은 수치다. 더 놀라운 점은 오픈AI조차 이 현상의 정확한 원인을 파악하지 못했다는 것이다. 오픈AI는 기술보고서에서 "추론 모델은 전반적으로 더 많은 주장을 하기 때문에, 더 정확한 주장뿐만 아니라 더 부정확하거나 왜곡된 주장도 하게 된다"고만 설명했다.

모델	출시 시기	환각률	정확도	특징
GPT-4o	2024년	약 20%	-	비추론 모델
o1	2024년	16%	47%	1세대 추론 모델
o3-미니	2025년 2월	14.8%	-	경량 추론 모델
o3	2025년 4월	33%	59%	최신 추론 모델
o4-미니	2025년 4월	48%	36%	최신 경량 모델

법률 분야의 실제 피해 사례들

AI 환각 문제가 가장 치명적인 분야는 단연 법률이다. 권리·의무 관계를 규정하는 법률 분야에선 단 하나의 잘못된 판례 인용이 한 사람의 인생을 바꿀 수 있기 때문이다. 실제로 국내외에서 AI가 만든 '가짜 판례'로 인한 피해 사례가 속출하고 있다.

RAG 기술도 완벽한 해결책이 아니다

AI 업계는 환각 문제를 해결하기 위해 RAG(검색 증강 생성) 기술을 도입하고 있다. RAG는 AI가 답변을 생성하기 전 외부 데이터베이스에서 관련 정보를 검색해 참고하는 방식으로, 마치 '열린 책 시험(open-book)'을 치르게 하는 것과 같다. 그러나 스탠포드 대학 연구진의 최근 연구에 따르면, RAG를 적용한 법률 AI 도구도 여전히 33% 이상의 환각률을 보였다. 연구진은 "법률 기술 산업은 RAG에 의존해 '환각 없는 제품'을 자신 있게 주장해왔지만, 연구 결과 RAG가 환각 문제를 해결하지 못했다"고 밝혔다.

그렇다면 AI를 어떻게 활용해야 할까?

2025년 법원은 '사법에서의 인공지능 활용에 관한 가이드라인'을 발표했다. 핵심은 "AI는 판단을 '보조'하는 수단일 뿐, 최종적인 판단과 그에 대한 책임은 전적으로 '사람'에게 있다"는 것이다.

법률 전문 AI 서비스, 믿을 만할까?

현재 국내에서는 슈퍼로이어, 엘박스AI, 빅케이스GPT 등 법률 특화 AI 서비스들이 운영 중이다. 대형 로펌들도 자체 폐쇄형 AI 시스템 구축에 나서고 있다. 율촌은 28년간 축적한 지식 자산을 토대로 한 AI 시스템을 가동 중이며, 광장·지평 등도 자체 RAG 시스템을 구축 중이다.

서비스/기업	특징	환각 방지 기술
슈퍼로이어	법률 리서치, 초안 작성, 문서 요약	복수 LLM 활용, 자체 아키텍처
빅케이스GPT	329만건 국내 판례 기반	자체 RAG 모델
앨리비(allibee)	법률 문서 이해·분석 특화	환각 방지 전용 기술
대형 로펌 자체 시스템	내부 데이터 + 판례 통합	폐쇄형 RAG, 기밀 보호

그러나 전문가들은 "법률 특화 AI라 해도 맹신해서는 안 된다"고 경고한다. 한 연구에 따르면 거대 언어 모델 기반의 법률 AI 시스템은 응답의 58~82%에서 환각 현상이 발생할 정도로 부정확성이 심각했다.

결론: AI 시대의 새로운 문해력

"더 똑똑해진 AI가 더 많이 거짓말한다"는 역설은 우리에게 중요한 교훈을 준다. AI의 답변이 아무리 자신감 있고 논리적으로 보여도, 그것이 사실인지 검증하는 것은 사용자의 몫이다. 나홀로 소송에서 AI를 무비판적으로 맹신해 가짜 판례를 믿고 재판에 임한다면, 잘못된 지도를 들고 여행을 떠난 것과 다름없다. AI 시대에 필요한 것은 AI를 잘 다루는 능력이 아니라, AI의 한계를 정확히 이해하고 결과를 검증할 수 있는 '새로운 문해력'이다.