Investigadores de la Universidad de Colorado (Anirudh Maiya, Razan Alghamdi, Maria Leonor Pacheco, Ashutosh Trivedi, Fabio Somenzi) probaron LLM en rompecabezas de sudoku 6×6. Investigaciones recientes muestran que los modelos de lenguaje modernos pueden resolver problemas lógicos pero aún no logran explicar claramente su razonamiento:
- Se utilizaron 2.293 rompecabezas únicos en el estudio.
- Se probaron cinco modelos: cuatro de código abierto (Gemma, Mistral y dos versiones de Llama) y uno cerrado de OpenAI (o1-preview).
- Las tareas variaban en dificultad, desde fáciles hasta «diabólicas».
Resultados:
- Los modelos de código abierto resolvieron menos del 1% de los rompecabezas, mientras que OpenAI logró un 65% de soluciones correctas.
- Para los rompecabezas fáciles (Easy y Medium), OpenAI alcanzó una precisión del 100%. En los sudoku más difíciles («Diabolical»), la precisión bajó al 40%.
Los límites de la IA
Los autores del estudio analizaron cómo la IA explica sus pasos. Seleccionaron 20 rompecabezas y pidieron a expertos evaluar las respuestas según tres criterios:
- Justificación. Solo en el 5% de los casos el modelo explicó por qué eligió un número concreto. En el resto, se limitó a enumerar reglas generales de sudoku sin relación.
- Claridad. Solo el 7,5% de las explicaciones fueron claras y coherentes, mientras que las demás fueron vagas, contradictorias o saltaron pasos.
- Utilidad práctica. Solo el 2,5% de las explicaciones ayudó a entender la estrategia de resolución.
Por qué las respuestas no son suficientes
Hoy en día la IA se usa cada vez más en medicina, negocios y derecho. Pero si un modelo no puede explicar de forma transparente su razonamiento, su uso en áreas críticas se vuelve arriesgado. En casos como un diagnóstico o una decisión legal, la explicación puede ser más importante que la respuesta misma. Los investigadores señalan que para que los modelos se conviertan en socios realmente útiles, deben aprender no solo a encontrar la respuesta correcta, sino también a traducir razonamientos complejos en un lenguaje comprensible para los humanos.
Estudio: https://arxiv.org/pdf/2505.15993
