콜로라도 대학교의 연구자들(Anirudh Maiya, Razan Alghamdi, Maria Leonor Pacheco, Ashutosh Trivedi, Fabio Somenzi)은 6×6 스도쿠 퍼즐에서 LLM을 테스트했다. 최근 연구에 따르면 최신 언어 모델은 논리 문제를 풀 수 있지만 추론 과정을 명확히 설명하지는 못한다:
- 연구에서는 2,293개의 고유한 퍼즐을 사용했다.
- 다섯 개의 모델을 테스트했으며, 네 개는 오픈소스(Gemma, Mistral, Llama 두 버전), 하나는 OpenAI의 폐쇄형 모델(o1-preview)이었다.
- 퍼즐의 난이도는 쉬움부터 "악마급"까지 다양했다.
결과:
- 오픈소스 모델은 1% 미만의 퍼즐만 해결했지만 OpenAI는 훨씬 더 잘 수행해 65%의 정답률을 보였다.
- 쉬운 퍼즐(Easy, Medium)에서는 OpenAI가 100% 정확도를 보였지만, 가장 어려운 스도쿠("Diabolical")에서는 정확도가 40%로 떨어졌다.
AI 능력의 한계
연구 저자들은 AI가 풀이 과정을 어떻게 설명하는지 살펴보았다. 20개의 퍼즐을 선택하고 전문가들에게 세 가지 기준으로 평가하도록 했다:
- 근거. 모델이 특정 숫자를 선택한 이유를 설명한 경우는 5%에 불과했다. 대부분은 퍼즐과 관련 없는 일반적인 스도쿠 규칙을 나열하는 데 그쳤다.
- 명확성. 설명의 7.5%만이 명확하고 일관성이 있었고, 나머지는 모호하거나 모순되거나 단계를 건너뛰었다.
- 실용적 가치. 단 2.5%의 설명만이 실제 해결 전략을 이해하는 데 도움이 되었다.
정답만으로는 충분하지 않은 이유
오늘날 AI는 의학, 비즈니스, 법률 등에서 점점 더 많이 사용되고 있다. 그러나 모델이 추론 과정을 투명하게 설명하지 못한다면 중요한 분야에서의 사용은 위험하다. 진단이나 법적 결정과 같은 경우, 설명이 답변 자체보다 더 중요할 수 있다. 연구자들은 모델이 진정으로 유용한 파트너가 되기 위해서는 정답을 찾는 것뿐만 아니라 복잡한 추론 과정을 사람이 이해할 수 있는 언어로 바꾸는 능력이 필요하다고 지적한다.
