The Challenge of Multidisciplinary Evaluation in Doctoral Awards. A Proposal

Abstract

ABSTRACT. This paper addresses the growing challenge of evaluating doctoral student performance in multidisciplinary contexts, particularly within the framework of university doctoral awards. It highlights the importance of PhD outcomes as quality indicators for universities and situates doctoral education as a strategic element in the European Higher Education and Research Areas. In Spain, reforms introduced by Royal Decree 99/2011 have reshaped doctoral programs, intensifying the need for robust and fair evaluation systems. The authors propose a model designed to assess PhD graduates across disciplines while ensuring balanced incentives. The model combines two main components: a quantitative evaluation of scientific contributions, weighted through an algorithm that accounts for authorship position and number of contributors, and a qualitative assessment of additional merits such as academic activities, international experience, and supervision. These components contribute approximately 70% and 30% of the final score, respectively. Simulation results demonstrate that the model produces consistent scoring ranges across different knowledge areas, suggesting fairness and comparability. However, the authors emphasize the need for periodic recalibration to avoid bias by discipline. Overall, the proposal offers a structured and adaptable framework to improve transparency and equity in doctoral award evaluations.RESUMEN. Este artículo aborda el creciente desafío de evaluar el desempeño de los estudiantes de doctorado en contextos multidisciplinarios, particularmente en el marco de los premios de doctorado universitarios. Destaca la importancia de los resultados del doctorado como indicadores de calidad para las universidades y sitúa la formación doctoral como un elemento estratégico en los Espacios Europeos de Educación Superior e Investigación. En España, las reformas introducidas por el Real Decreto 99/2011 han transformado los programas de doctorado, intensificando la necesidad de sistemas de evaluación sólidos y justos. Los autores proponen un modelo diseñado para evaluar a los doctores de diversas disciplinas, garantizando al mismo tiempo incentivos equilibrados. El modelo combina dos componentes principales: una evaluación cuantitativa de las contribuciones científicas, ponderada mediante un algoritmo que considera la posición de autoría y el número de colaboradores, y una evaluación cualitativa de méritos adicionales como actividades académicas, experiencia internacional y supervisión. Estos componentes contribuyen aproximadamente con el 70% y el 30% de la puntuación final, respectivamente. Los resultados de la simulación demuestran que el modelo produce rangos de puntuación consistentes en diferentes áreas del conocimiento, lo que sugiere equidad y comparabilidad. Sin embargo, los autores enfatizan la necesidad de una recalibración periódica para evitar sesgos por disciplina. En general, la propuesta ofrece un marco estructurado y adaptable para mejorar la transparencia y la equidad en las evaluaciones de los premios de doctorado.