Scoping review on the integration of artificial intelligence and machine learning with structured instruments to predict juvenile recidivism

Abstract

Predicting the risk of recidivism in juvenile justice has traditionally relied on structured instruments, while the incorporation of AI/ML models has been proposed as a means of improving their performance. However, the actual added value of these models, their integration with structured tools, and their implications for practice remain a subject of debate. This scoping review evaluates whether integrating AI/ML models with structured risk assessment tools in juvenile justice meaningfully enhances recidivism prediction and practice. Five studies that met these criteria were included. Overall, the results show a consistent pattern of moderate discrimination and generally marginal improvements as model complexity increases, suggesting the existence of a certain empirical limit to predictive capacity in this field. Improvements are more likely when the comparator is strictly linear or when contrasted with unstructured judgment, suggesting that the added value of AI/ML may lie in modeling interactions between variables rather than in a substantial increase in accuracy. Nevertheless, aggregate performance may mask relevant differences among subgroups, including disparities associated with sociodemographic variables, which raises implications regarding equity and institutional legitimacy. Added to this are the challenges arising from their implementation, including model traceability, the interaction between professionals and these automated systems, and the need for frameworks that ensure oversight and auditing.

La predicción del riesgo de reincidencia en justicia juvenil se ha apoyado tradicionalmente en instrumentos estructurados, mientras que la incorporación de modelos de IA/ML se ha propuesto como una vía para mejorar su rendimiento. No obstante, el valor añadido real de estos modelos, su integración con herramientas estructuradas y sus implicaciones para la práctica siguen siendo objeto de debate. La presente revisión de alcance sintetiza la evidencia empírica disponible sobre la aplicación de IA/ML en población juvenil cuando existe una vinculación con instrumentos estructurados de evaluación del riesgo. Se incluyeron cinco estudios que cumplían estos criterios. En conjunto, los resultados muestran un patrón consistente de discriminación moderada y mejoras generalmente marginales al incrementar la complejidad de los modelos, lo que sugiere la existencia de cierto límite empírico en la capacidad predictiva en este ámbito. Las mejoras son más probables cuando el comparador es estrictamente lineal o cuando se contrasta con juicio no estructurado, lo que apunta a que el valor añadido de la IA/ML puede residir en modelar interacciones entre variables más que en un incremento sustancial de la precisión. Sin embargo, el rendimiento agregado puede ocultar diferencias relevantes entre subgrupos, incluyendo disparidades asociadas a variables sociodemográficas, lo que introduce implicaciones en términos de equidad y legitimidad institucional. A ello se suman los desafíos derivados de su implementación, incluyendo la trazabilidad de los modelos, la interacción entre profesionales y sistemas automatizados, y la necesidad de marcos que garanticen supervisión y auditoría.