An intuitive number conversion system employing gestural recognition for students with special educational needs in Computer Science

Abstract

Duty of a teacher is to effectively engage the different types of students in the classroom into the teaching-learning environment. Each class has a variety of students varying in intelligence, communication, understanding levels, problem solving skills, learning and mathematical abilities. It is the need of the hour to make the differently abled learners with learning or intellectual disabilities to compete with regular students to avoid a social divide in class. Computer science curriculum has many topics/areas that pose learning difficulty for the differently abled. The problems faced by such learners were not taken care of sufficiently, which leaves them behind in the learning process. The paper proposes a hand gesture method, implemented using AI for number conversions, which can be used by teachers and differently abled learners. The efficiency of the hand gesture tool to understand hand gestures is tested for various classifiers and an average accuracy of 96.97% is obtained across various number systems. The hand gesture based method is evaluated among learners and proved efficient in retention and recovery of concepts. Learners showed greater improvement from pre-test to post-test scores across all categories. This method proved very helpful in engaging students, enhancing understanding, enjoyable learning, notable clarity, effectiveness, and ease of use, making it a valuable educational tool.

La función primordial de un docente es lograr una participación activa y significativa de todos los alumnos en el proceso educativo. Cada clase está constituida por una diversidad de estudiantes que varían en inteligencia, comunicación, niveles de comprensión, habilidades para resolver problemas, aprendizaje y habilidades matemáticas. Es una necesidad urgente hacer que los estudiantes con discapacidades de aprendizaje o intelectuales puedan competir con los otros estudiantes para evitar una división social en el aula. El currículo de ciencias de la computación tiene muchos temas/áreas que plantean dificultades de aprendizaje para las personas con capacidades diferentes. Desafortunadamente, los problemas que enfrentan estos estudiantes no han sido abordados adecuadamente, lo que provoca que se queden atrás en el proceso de aprendizaje. El artículo propone un método de gestos manuales, implementado mediante inteligencia artificial (IA) para conversiones numéricas, que puede ser utilizado tanto por docentes como estudiantes con capacidades diferentes. La eficiencia de la herramienta de gestos manuales para interpretar gestos se probó con varios clasificadores, y se obtuvo una precisión media del 96,97 % en varios sistemas numéricos. El método basado en gestos manuales se evaluó entre los estudiantes y demostró ser eficiente en la retención y recuperación de conceptos. Los estudiantes mostraron una mayor mejora desde las puntuaciones del pre-test hasta el post-test en todas las categorías. Este método resultó muy útil para involucrar a los estudiantes, mejorar la comprensión, hacer el aprendizaje más agradable, con una claridad notable, efectividad y facilidad de uso, lo que lo convierte en una valiosa herramienta educativa.