Colorado Üniversitesi’nden araştırmacılar (Anirudh Maiya, Razan Alghamdi, Maria Leonor Pacheco, Ashutosh Trivedi, Fabio Somenzi) 6×6 sudoku bulmacalarında LLM’leri test etti. Son araştırmalar, modern dil modellerinin mantıksal problemleri çözebildiğini ancak akıl yürütme süreçlerini net şekilde açıklayamadığını gösteriyor:
- Araştırmada 2.293 benzersiz bulmaca kullanıldı.
- Beş model test edildi: dört açık kaynaklı (Gemma, Mistral ve iki Llama sürümü) ve OpenAI’dan bir kapalı model (o1-preview).
- Görevlerin zorlukları kolaydan “şeytani” seviyeye kadar değişiyordu.
Sonuçlar:
- Açık kaynaklı modeller bulmacaların %1’inden azını çözerken, OpenAI çok daha başarılı oldu – %65 doğru çözüm oranı.
- Basit bulmacalarda (Easy ve Medium) OpenAI %100 doğruluk gösterdi. En zor sudoku’larda (“Diabolical”) doğruluk %40’a düştü.
Yapay zekânın sınırları
Araştırmanın yazarları, yapay zekânın adımlarını nasıl açıkladığını inceledi. 20 bulmaca seçtiler ve uzmanlardan cevapları üç kritere göre değerlendirmelerini istediler:
- Gerekçe. Model sadece %5 vakada neden belirli bir sayıyı seçtiğini açıklayabildi. Diğerlerinde, bulmacayla ilgisi olmayan genel sudoku kurallarını sıraladı.
- Açıklık. Açıklamaların yalnızca %7,5’i açık ve tutarlıydı; geri kalanları belirsiz, çelişkili veya adımları atlamıştı.
- Pratik değer. Açıklamaların yalnızca %2,5’i çözüm stratejisini anlamaya yardımcı oldu.
Neden sadece cevaplar yeterli değil
Bugün yapay zekâ giderek daha fazla tıp, iş dünyası ve hukukta kullanılıyor. Ancak bir model akıl yürütmesini şeffaf biçimde açıklayamazsa, kritik alanlarda kullanımı riskli hale gelir. Teşhis veya hukuki karar gibi durumlarda, açıklama bazen cevabın kendisinden daha önemlidir. Araştırmacılar, modellerin gerçekten faydalı ortaklar olabilmesi için yalnızca doğru cevabı bulmayı değil, aynı zamanda karmaşık mantık adımlarını insanın anlayabileceği bir dile çevirmeyi de öğrenmeleri gerektiğini vurguluyor.
Araştırma: https://arxiv.org/pdf/2505.15993
