Sebastián Sarmiento
← El cuaderno

Rastreo Bayesiano del Conocimiento, con honestidad

El BKT son cuatro números y un supuesto fuerte. Usado con honestidad es una disciplina para acumular creencia; usado descuidadamente convierte las conjeturas en certezas.

El Rastreo Bayesiano del Conocimiento (BKT) tiene una reputación que solo merece a medias. Hay quienes lo tratan como si fuera un motor mágico de personalización o una reliquia desacreditada. No es ninguna de las dos cosas. Son cuatro números y un supuesto fuerte, y casi todo lo que sale mal con él sale mal en el supuesto.

Los cuatro números son conocidos: conocimiento previo, tasa de aprendizaje, y los dos términos de ruido — desliz (sabías la respuesta pero contestaste mal) y adivinanza (no la sabías pero contestaste bien). El supuesto es que una habilidad, una vez aprendida, permanece aprendida. Esa única decisión de modelado es donde vive o muere la honestidad.

Dónde justifica su existencia

Bien utilizado, el BKT es una disciplina para no desperdiciar evidencia. El rendimiento de un estudiante el martes debería informar lo que crees el jueves. Una calificación en un examen no debería reiniciar la creencia a cero. Llevar hacia adelante una distribución posterior a través de los encuentros es el punto central, y la mayoría de los sistemas simples de calificaciones no lo hacen.

El desliz y la adivinanza no son parámetros molestos. Son el modelo admitiendo, en voz alta, que una sola respuesta es evidencia débil.

Dónde miente en silencio

El modo de fallo es tratar los parámetros como verdades fijas en lugar de estimaciones ajustadas. Una tasa de aprendizaje alta con datos escasos es una conjetura disfrazada de medición. Un modelo que nunca olvida reportará alegremente dominio un mes después de que el estudiante tocó la habilidad por última vez. Si tu producto muestra un número confiado encima de eso, has convertido la incertidumbre en autoridad.

La solución no es un modelo más sofisticado. Es mostrar la confianza junto a la creencia, y negarse a reportar una distribución posterior que los datos no pueden sostener. La misma contención que hace del dominio una afirmación en lugar de una secuencia aplica aquí: mide menos cosas, y di con qué seguridad lo haces.

Una regla de trabajo

Si no puedes enunciar, en una oración, por qué el modelo cree lo que cree sobre un estudiante y una habilidad determinados, no pongas esa creencia frente a un docente. La legibilidad no es una función que se agrega después; es una propiedad que debes diseñar en el modelo desde el principio.