Naukowcy z Uniwersytetu Kolorado (Anirudh Maiya, Razan Alghamdi, Maria Leonor Pacheco, Ashutosh Trivedi, Fabio Somenzi) przetestowali LLM na łamigłówkach 6×6 sudoku. Najnowsze badania pokazują, że współczesne modele językowe potrafią rozwiązywać zadania logiczne, ale wciąż nie potrafią jasno wyjaśniać swojego rozumowania:
- W badaniu wykorzystano 2293 unikalne łamigłówki.
- Sprawdzono pięć modeli: cztery otwarte (Gemma, Mistral i dwie wersje Llama) oraz jeden zamknięty od OpenAI (o1-preview).
- Zadania miały różny poziom trudności: od łatwych po „diabelskie”.
Wyniki:
- Otwarte modele rozwiązały mniej niż 1% zadań, podczas gdy OpenAI poradził sobie znacznie lepiej – 65% poprawnych rozwiązań.
- Dla prostych łamigłówek (Easy i Medium) OpenAI osiągnął 100% dokładności. W przypadku najtrudniejszych sudoku („Diabolical”) dokładność spadła do 40%.
Granice możliwości AI
Autorzy badania sprawdzili, jak AI tłumaczy swoje kroki. Wybrali 20 łamigłówek i poprosili ekspertów o ocenę odpowiedzi według trzech kryteriów:
- Uzasadnienie. Tylko w 5% przypadków model potrafił wyjaśnić, dlaczego wybrał daną liczbę. W pozostałych ograniczał się do ogólnych zasad sudoku, które nie miały związku z daną łamigłówką.
- Jasność przekazu. Zaledwie 7,5% wyjaśnień było zrozumiałych i spójnych, pozostałe były chaotyczne, pełne sprzecznych terminów lub pomijały kroki.
- Wartość praktyczna. Tylko 2,5% wyjaśnień pomagało zrozumieć strategię rozwiązania sudoku.
Dlaczego same odpowiedzi nie wystarczą
AI jest coraz częściej stosowana w medycynie, biznesie i prawie. Jeśli jednak model nie potrafi przejrzyście tłumaczyć swoich decyzji, używanie go w kluczowych dziedzinach staje się ryzykowne. W takich przypadkach, jak diagnoza czy decyzje prawne, wyjaśnienie bywa ważniejsze niż sama odpowiedź. Naukowcy podkreślają, że aby modele stały się naprawdę użytecznymi partnerami, trzeba je nauczyć nie tylko znajdować poprawne odpowiedzi, ale także przekładać złożone rozumowanie na zrozumiały język.
Badanie: https://arxiv.org/pdf/2505.15993
