Algoritmos de Aprendizaje Automtico en la Prediccin del Rendimiento Acadmico en la Educacin Superior

 

Machine Learning Algorithms in Predicting Academic Performance in Higher Education

 

Algoritmos de aprendizagem automtica na previso do desempenho acadmico no ensino superior

Mara Gabriela Lpez-Barriga I
gaby07lopez12@gmail.com
https://orcid.org/0000-0003-3728-3078

,Alex Eduardo Pozo-Valdiviezo II
eduardo.pozo@espoch.edu.ec
https://orcid.org/0000-0003-0480-5669
Natalia Alexandra Prez-Londo III
nperez@espoch.edu.ec
https://orcid.org/0000-0001-9068-8790

,Cristina Estefana Ramos-Araujo IV
cristina.ramos@espoch.edu.ec
https://orcid.org/0000-0002-8644-5814
 

 

 

 

 

 

 

 

 

 


Correspondencia: gaby07lopez12@gmail.com

 

Ciencias de la Educacin

Artculo de Investigacin

 

 

* Recibido: 01 de mayo de 2024 *Aceptado: 07 de junio de 2024 * Publicado: 25 de julio de 2024

 

        I.            Ingeniera Estadstica, Investigador Externo en la Escuela Superior Politcnica de Chimborazo, Riobamba, Ecuador.

      II.            Mster en Ciencias, Tecnologas, Salud Mencin Matemticas y Aplicaciones-Matemticas para las Ciencias de la Vida, Profesor Ocasional Tiempo Completo en la Escuela Superior Politcnica de Chimborazo, Riobamba, Ecuador.

    III.            Mster Universitario en Estadstica Aplicada, Profesor Ocasional en la Escuela Superior Politcnica de Chimborazo, Riobamba, Ecuador.

    IV.            Mster of Science in Applied Mathematics, Profesor Ocasional Tiempo Completo en la Escuela Superior Politcnica de Chimborazo, Riobamba, Ecuador.

 


Resumen

En la educacin un problema controversial es el desempeo acadmico de los estudiantes lo cual est asociado con mltiples factores internos y externos que afectan a los universitarios los mismos que conllevan al xito o fracaso del estudiante, por lo tanto, el objetivo de la presente investigacin fue elaborar una revisin sistemtica de los algoritmos de Aprendizaje Automtico para predecir el rendimiento acadmico de los estudiantes universitarios. La metodologa implementada tuvo un enfoque cualitativo y cuantitativo, se utiliz un diseo no experimental y la poblacin de estudio corresponde a los artculos relacionados al rendimiento acadmico encontrados en las bases de datos como: Scopus, Dialnet, SciELO y ERIC. Se utiliz el diagrama de flujo PRISMA en donde se encontraron un total de 6437 publicaciones correspondiente a los ltimos 10 aos, posteriormente a partir de criterios de inclusin y exclusin se redujeron a 52 artculos para ser analizados. Mediante esta metodologa se logr determinar que durante el 2022 hubo mayor parte de publicaciones sobre el tema las mismas que fueron desarrolladas en el continente americano. Tambin, se compar las mtricas de evaluacin como la precisin, exactitud, sensibilidad, especificidad, el puntaje F1 y la curva ROC de los algoritmos de Aprendizaje Automtico obteniendo que el mejor algoritmo supervisado para predecir el rendimiento acadmico fue rbol de Decisin con un valor superior al 90% en casi todos los indicadores. En este contexto se concluy que las variables que ms influyen en el rendimiento acadmico fueron las variables relacionadas al factor socioeconmico, familiar, demogrfico, personal, institucional, acadmico pre-universidad y acadmico universitario los mismos que podran ser recolectados para realizar un anlisis del rendimiento acadmico en la ESPOCH.

Palabras clave: Revisin sistemtica; rbol de decisin; Aprendizaje automtico; Mtricas de evaluacin; Rendimiento acadmico; Educacin universitaria; Directrices prisma.

 

Abstract

In education, a controversial problem is the academic performance of students, which is associated with multiple internal and external factors that affect university students, which lead to the success or failure of the student, therefore, the objective of the present research was to prepare a systematic review of Machine Learning algorithms to predict the academic performance of university students. The methodology implemented had a qualitative and quantitative approach, a non-experimental design was used and the study population corresponds to the articles related to academic performance found in databases such as: Scopus, Dialnet, SciELO and ERIC. The PRISMA flowchart was used where a total of 6,437 publications corresponding to the last 10 years were found, later based on inclusion and exclusion criteria they were reduced to 52 articles to be analyzed. Through this methodology, it was determined that during 2022 there were most publications on the subject, which were developed in the American continent. Also, the evaluation metrics such as precision, accuracy, sensitivity, specificity, F1 score and ROC curve of the Machine Learning algorithms were compared, obtaining that the best supervised algorithm to predict academic performance was Decision Tree with a value higher than 90% in almost all indicators. In this context, it was concluded that the variables that most influence academic performance were the variables related to the socioeconomic, family, demographic, personal, institutional, pre-university academic and university academic factors, which could be collected to perform an analysis of academic performance at ESPOCH.

Keywords: Systematic review; Decision tree; Machine learning; Evaluation metrics; Academic performance; University education; Prisma guidelines.

 

Resumo

Na educao, um problema controverso o desempenho acadmico dos estudantes, que est associado a mltiplos fatores internos e externos que afetam os estudantes universitrios, que levam ao sucesso ou insucesso do aluno, pelo que, o objetivo desta investigao foi preparar uma reviso sistemtica de algoritmos de aprendizagem automtica para prever o desempenho acadmico de estudantes universitrios. A metodologia implementada teve uma abordagem qualitativa e quantitativa, foi utilizado um desenho no experimental e a populao do estudo corresponde aos artigos relacionados com o desempenho acadmico encontrados em bases de dados como: Scopus, Dialnet, SciELO e ERIC. Foi utilizado o fluxograma PRISMA onde foram encontradas um total de 6.437 publicaes correspondentes aos ltimos 10 anos, posteriormente, com base em critrios de incluso e excluso, foram reduzidas a 52 artigos a analisar; Recorrendo a esta metodologia, foi possvel constatar que durante o ano de 2022 houve um maior nmero de publicaes sobre o tema, as mesmas que foram desenvolvidas no continente americano. Alm disso, foram comparadas as mtricas de avaliao como a preciso, exatido, sensibilidade, especificidade, o score F1 e a curva ROC dos algoritmos de Machine Learning, obtendo-se que o melhor algoritmo supervisionado para prever o desempenho acadmico foi a rvore de Deciso com valor superior 90% em quase todos os indicadores. Neste contexto, concluiu-se que as variveis ​​que mais influenciaram o desempenho acadmico foram as variveis ​​relacionadas com os fatores socioeconmicos, familiares, demogrficos, pessoais, institucionais, acadmicos pr-universitrios e acadmicos universitrios, os mesmos que poderiam ser recolhidos para a realizao de um estudo.

Palavras-chave: Reviso sistemtica; rvore de deciso; aprendizagem de mquina; Mtricas de avaliao; Rendimento acadmico; Formao universitria; Orientaes do Prisma.

 

Introduccin

La educacin universitaria ofrece la oportunidad de mejorar la calidad de vida, capacitando a los estudiantes para el campo laboral. Los docentes, capacitados en estrategias y metodologas de aprendizaje, son fundamentales para guiar a los estudiantes y extraer su potencial (Arras Vota et al., 2016; Acua Benites et al., 2021; Chuyma Huilca et al., 2021; Moreno Durn et al., 2016; citados en Mireles y Garca, 2022)

El rendimiento de los estudiantes se ve afectado por factores personales, socioculturales, econmicos y acadmicos, siendo los personales y sociales los ms comunes (Torres y Rodrguez, 2006; citados en Gonzlez y Guadalupe, 2017). El desempeo escolar refleja conocimientos y rasgos psicolgicos adquiridos durante el proceso educativo, y se evala objetivamente al final del periodo acadmico (Bravo et al., 2021).

El rendimiento acadmico puede medirse en diferentes fases y recopilarse en informes y sistemas informticos, permitiendo predecir resultados y tomar decisiones para mejorar el aprendizaje (Gutirrez et al., 2021; citados en Pez & Gaytn, 2022). La prediccin del rendimiento acadmico es un campo en crecimiento que emplea enfoques informticos como anlisis de aprendizaje, aprendizaje automtico, minera y exploracin de datos educativos (Rastrollo et al., 2020; citados en Estrada & Fuentes, 2021). Estos avances facilitan la toma de decisiones en el mbito educativo (Murnion y Helfert, 2013; citados en Bravo et al., 2021).

Revisar la literatura es esencial para contextualizar y fundamentar la investigacin, definir conceptos y teoras, desarrollar hiptesis y mejorar la metodologa (Arnau & Sala, 2020). Dada la influencia de factores internos y externos en el rendimiento acadmico, es necesario revisar la literatura cientfica para identificarlos.

 

Aprendizaje Automtico

El Aprendizaje Automtico (AA) es un rea de la inteligencia artificial centrada en desarrollar algoritmos que pueden aprender y mejorar a partir de los datos sin programacin explcita, lo cual ahorra tiempo y esfuerzo (Sandoval, 2018). Permite a los ordenadores aprender de los datos disponibles, extrayendo patrones y generando algoritmos para categorizacin, prediccin y explicacin, en lugar de seguir instrucciones paso a paso (Bobadilla, 2020). Aunque es una tcnica dentro de la inteligencia artificial, esta ltima incluye una gama ms amplia de mtodos para analizar datos, como el procesamiento del lenguaje natural. El AA se introdujo en la dcada de 1950 para simular aspectos de la cognicin humana (Pedrero et al., 2021).

 

Algoritmos de Aprendizaje Automtico

Los algoritmos de aprendizaje automtico se dividen en tres categoras: supervisado, no supervisado y por refuerzo. El aprendizaje supervisado se denomina as porque se entrena un algoritmo con preguntas (caractersticas) y respuestas (etiquetas), permitiendo al modelo hacer predicciones futuras basadas en ese conocimiento (Sandoval, 2018). Su objetivo es relacionar variables con un resultado deseado y hacer predicciones con nuevos datos una vez terminado el entrenamiento (Pedrero et al., 2021). Los algoritmos comunes de aprendizaje supervisado son: Regresin Lineal y algoritmo de Clasificacin. Dentro de los algoritmos de clasificacin constan redes neuronales, mquina de Vectores de Soporte (SVM), Nave Bayes, rbol de Decisin, K-Nearest Neighbor (KNN) y bosque Aleatorio (Random Forest) (MENASALVAS et al., 2023).

El aprendizaje no supervisado se refiere a tcnicas donde se analizan datos no etiquetados para descubrir patrones ocultos, en contraste con el aprendizaje supervisado, que intenta predecir valores basados en datos etiquetados. Los dos enfoques principales en aprendizaje no supervisado son: Clustering (Agrupacin y Reduccin de Dimensionalidad. Ambos mtodos ayudan a analizar datos complejos y a extraer informacin valiosa sin necesidad de etiquetas predefinidas (Romero, 2015).

El Aprendizaje por Refuerzo es una tcnica de Aprendizaje Automtico que permite a los agentes aprender a travs de interacciones de prueba y error en un entorno dinmico. Se enfoca en optimizar el comportamiento del agente para maximizar una recompensa acumulada, en lugar de usar un conjunto de datos de entrenamiento fijo. Es especialmente til en problemas donde crear un algoritmo de antemano es muy costoso, como en la gestin de recursos, planificacin, control del trfico, robtica, deteccin de intrusos, control de sistemas energticos, y deteccin de fraudes. Actualmente, se requiere un gran poder de procesamiento de datos para abordar estos problemas (Cervantes et al., 2019).

 

Mtricas de evaluacin de los algoritmos del Aprendizaje Automtico

Para evaluar la calidad de un algoritmo de Aprendizaje Automtico, es crucial considerar la calidad de la prediccin y el grado de generalizacin. Estas evaluaciones se basan en mtricas derivadas de la matriz de confusin. Esta matriz, utilizada en pruebas binarias, muestra los resultados de las predicciones comparadas con los valores verdaderos. Los cuatro resultados principales en la matriz de confusin son:

Falsos positivos (FP): Casos etiquetados como positivos por el algoritmo, pero en realidad son negativos.

Falsos negativos (FN): Casos etiquetados como negativos, pero en realidad son positivos.

Verdaderos negativos (TN): Casos correctamente predichos como negativos.

Verdaderos positivos (TP): Casos correctamente predichos como positivos (Pedrero et al., 2021; Arias, 2013).

 

Tabla 1: Matriz de confusin

 

 

PREDICHOS

 

 

 

Positivos

Negativos

Positivos

Verdaderos Positivos (TP)

Falsos Positivos (FP)

Falsos Negativos (FN) Verdaderos Negativos (TN)

Negativos

Realizado por: Lpez, Mara y Gualpa, Henry, 2023

 

Precisin: La proporcin de casos positivos predichos con precisin respecto al nmero total de casos positivos esperados es una mtrica de evaluacin utilizada con frecuencia para tareas de clasificacin (Contreras et al., 2020, p.239).

(1)

Exactitud: El nmero de instancias predichas correctamente dividido por el nmero total de registros es la forma ms directa de evaluar la precisin de un clasificador (Contreras et al., 2020, p.239).

(2)

Sensibilidad: Esta mtrica ilustra lo bien que el algoritmo predice situaciones positivas; indica la proporcin de predicciones positivas que son realmente positivas en relacin con el nmero total de predicciones reales clasificadas como positivas (Martnez, 2022, p.33).

(3)

Puntaje F1: Es la media de la precisin y la sensibilidad, ponderadas conjuntamente. La asociacin entre esta puntuacin y la calidad del algoritmo se basa en la idea de que mayores porcentajes de F1 indican algoritmos ms potentes. Esta puntuacin tiene en cuenta tanto los falsos positivos como los falsos negativos (Silva, 2020).

(4)

Especificidad: Una medida de la precisin del algoritmo en la clasificacin de situaciones negativas es el nmero de verdaderos negativos dividido por el nmero total de verdaderos negativos, que es lo mismo que el nmero de casos negativos (Camps, 2023, p.63).

(5)

Curva ROC: El trmino hace referencia a la Caracterstica Operativa del Receptor, que es una representacin grfica de la especificidad (eje X) frente a la sensibilidad (eje Y) de un clasificador binario. Basndose en un umbral predeterminado, se mide por el rea bajo la curva (AUC), que indica lo bien que el algoritmo distingue y predice entre las dos clases. Los valores en ambos ejes van de 0 a 1, o lo que es lo mismo, de 0% a 100% en trminos porcentuales (Martnez, 2022).

 

Metodologa

Por el mtodo de investigacin el estudio fue mixto, terico y descriptivo, debido a la combinacin de resultados cuantitativos y cualitativos. Se ha realizado de manera no experimental e inductivo-deductiva, analizando el rendimiento acadmico en la educacin superior en funcin de factores geogrficos, econmicos y sociales durante el periodo 2013-2022. La poblacin de estudio corresponde a las publicaciones relacionados al rendimiento acadmico con algoritmos de Aprendizaje Automtico encontrados en las diferentes bases de datos cientficas durante el perodo 2013 2022.

Para el desarrollo del presente estudio se utiliz como estrategia metodolgica la revisin sistemtica de artculos cientficos, la cual adopta tcnicas claras y sistemticos para la identificacin, cribado e inclusin de la informacin sobre el tema de inters garantizando que la investigacin sea fiable y rigurosa. La tcnica PRISMA, acrnimo de Preferred Reporting Items for Systematic Reviews and Meta-Analyses, cre una normativa internacional, se ha considerado durante la seleccin de los trabajos y el proceso de revisin sistemtica. Los estudios fueron evaluados crticamente para comparar los algoritmos de aprendizaje automtico en trminos de precisin, sensibilidad y especificidad.

 

Resultados

Se realiz una bsqueda en diversas bases de datos usando descriptores y operadores booleanos, centrada en prediccin del rendimiento acadmico con algoritmos de Aprendizaje Automtico. Los resultados obtenidos se muestran en las tablas siguientes. Se aplicaron criterios adicionales de inclusin y exclusin para seleccionar los artculos finales para la investigacin. Se consideraron un total de 6,437 artculos cientficos sobre el rendimiento acadmico utilizando algoritmos de Aprendizaje Automtico, publicados en los ltimos 10 aos. Posteriormente, se eliminaron los documentos duplicados mediante la herramienta de automatizacin Zotero, reduciendo la poblacin a 6,019 artculos. A continuacin, se realiz una revisin preliminar de ttulos y resmenes, eliminando 5,788 publicaciones que no estaban relacionadas con el rea de educacin.

Asimismo, se excluyeron 88 artculos que no ofrecan acceso libre. Tras una lectura completa y de acuerdo con los criterios de exclusin establecidos, se descartaron 91 estudios adicionales. Finalmente, se incluyeron 52 artculos en la revisin sistemtica.

 

Tabla 2: Resultados de bsqueda

Bases de datos

N de artculos

Scopus

5948

Dialnet

246

SciELO

44

ERIC

199

Total

6437

Realizado por: Lpez, Mara y Gualpa, Henry, 2023

 

La Figura 1 muestra el diagrama de flujo que ejemplifica cmo se han encontrado y seleccionado los artculos cientficos utilizando las directrices PRISMA 2020.

 

Figura 1: Diagrama de flujo mediante las directrices internacionales PRISMA

Realizado por: Lpez, Mara y Gualpa, Henry, 2023

 

Se ha diseado una serie de preguntas con el fin de evaluar la rigurosidad, la credibilidad y pertinencia de los estudios seleccionados. Para esta evaluacin se ha empleado los criterios para evaluar la calidad del estudio en referencia al autor (Wen et al., 2010) debido a que estos son aplicables a cualquier estudio.

 

Tabla 3: Criterios para evaluar la calidad de los estudios

Pregunta

ID

Estn bien definidos los objetivos de la investigacin?

PC1

Existe una descripcin apropiada del contexto en el que se llev a cabo la investigacin?

PC2

El diseo de la investigacin fue apropiado y justificable?

PC3

Se analizan explcitamente las limitaciones del estudio?

PC4

Se aplica el experimento en suficientes conjuntos de datos del estudio?

PC5

Se compara el mtodo de estimacin propuesto con otros mtodos?

PC6

Los hallazgos del estudio estn claramente establecidos?

PC7

Los resultados del estudio son de gran valor para la comunidad acadmica?

PC8

Realizado por: Lpez, Mara y Gualpa, Henry, 2023

 

Tras aplicar los criterios de calidad, se determin que los 52 artculos cientficos seleccionados cumplen con un nivel aceptable, puesto que el valor final de calidad es superior a 4 (50% de la puntuacin correcta). Estos artculos conforman una muestra significativa que facilitar el desarrollo slido de la investigacin. Se ha identificado los artculos cientficos de acuerdo al pas de origen y se agrup de acuerdo al continente al que pertenece.

Se observ que el 48%de las investigaciones sobre rendimiento acadmico se llevaron a cabo en el continente americano, con Colombia y Mxico destacndose como los principales contribuyentes. En contraste, solo el 1.92% de los artculos provienen del continente ocenico. Dado que los datos no provienen de una distribucin normal y la varianza entre los grupos es constante, se opt por aplicar el test no paramtrico de Kruskal-Wallis. Este test se utiliza para determinar si existen diferencias significativas en las mtricas de evaluacin en relacin con los diferentes continentes.

 

 

 

 

Figura 2: Nmero de artculos clasificados por continentes

Realizado por: Lpez, Mara y Gualpa, Henry, 2023

 

En la Tabla 4 se evidenci un valor p-valor menor que el nivel de significancia 0.05, por tanto, no existe diferencias significativas en las mtricas de precisin, puntaje F1 y especificidad (p-valores de 0.1125, 0.1021 y 0.3126 respectivamente), lo que indica que la calidad predictiva de los algoritmos de aprendizaje automtico clasificados por continentes es estadsticamente igual en estas mtricas. Sin embargo, s se encontraron diferencias significativas en las mtricas de exactitud y sensibilidad (p-valores de 0.02878 y 0.0392 respectivamente), lo que sugiere que la calidad predictiva de al menos dos algoritmos de aprendizaje automtico entre continentes es estadsticamente diferente en estas mtricas.

El test de Kruscal Wallis ha mostrado la existencia de diferencia significativa entre los algoritmos, pero no se conoce en cuales difieren, por esta razn se ha aplicado el test de Nemenyi para comparar entre pares de continentes.

Precisin:

 

Tabla 4: Test de Kruscal Wallis de la mtrica de precisin, exactitud, sensibilidad especificidad y puntaje f1

Mtrica

Estadstico Chi-cuadrado

Grados de libertad

p-valor

Precisin

59.823

3

0.1125

Exactitud

90.386

3

0.02878

Sensibilidad

10.074

4

0.0392

Especificidad

35.635

3

0.3126

Puntaje

62.043

3

0.1021

Realizado por: Lpez, Mara y Gualpa, Henry, 2023

 

Mediante el test de Nemenyi (Tabla 5 y 6), se observ que los algoritmos de aprendizaje automtico presentan diferencias significativas en las mtricas de exactitud y sensibilidad entre los continentes de Asia y Amrica. Sin embargo, para el resto de los continentes, no se encontraron diferencias significativas.

Como es de inters encontrar un algoritmo predictivo del rendimiento acadmico en nuestro pas Ecuador se ha analizado minuciosamente las mtricas de evaluacin de los algoritmos de Aprendizaje Automtico en el continente americano.

 

Tabla 5: Diferencia significativa de Nemenyi de la exactitud

Continentes

p-valor

Amrica - Africa

1.00

Asia - frica

0.71

Europa - frica

0.99

Asia - Amrica

0.03

Europa Amrica

1.00

Europa - Asia

0.13

Realizado por: Lpez, Mara y Gualpa, Henry, 2023

 

A continuacin, se ha aplicado el test de Nemenyi para comparar entre pares de continentes.

 

Tabla 6: Diferencia significativa de Nemenyi de la sensibilidad

Continentes

p-valor

Amrica - Africa

0.995

Asia - frica

0.852

Europa - frica

0.978

Oceana - frica

0.999

Asia - Amrica

0.037

Europa Amrica

0.996

Oceana Amrica

1.000

Europa - Asia

0.122

Oceana - Asia

0.843

Oceana - Europa

1.000

Realizado por: Lpez, Mara y Gualpa, Henry, 2023

 

Cumpliendo con los supuestos de normalidad y homocedasticidad, aplicamos un anlisis de varianza (ANOVA) para evaluar las diferencias en las mtricas de evaluacin de los algoritmos de aprendizaje automtico en el continente americano. Los resultados indican diferencias significativas en las mtricas de precisin (p-valor = 0.0206), exactitud (p-valor = 0.0144), sensibilidad (p-valor = 0.0287) y puntaje F1 (p-valor = 0.0208), todas con p-valores menores que el nivel de significancia de 0.05, lo que lleva a rechazar la hiptesis nula. Esto sugiere que, en promedio, al menos dos algoritmos difieren en estas mtricas. Sin embargo, no se encontraron diferencias significativas en la mtrica de especificidad (p-valor = 0.518), lo que implica que la especificidad de los algoritmos es estadsticamente igual.

 

Curva ROC

Al analizar las representaciones grficas (Fig. 3) de la curva ROC y el rea bajo la curva (AUC) de los algoritmos encontrados en precisin, se observ que el algoritmo Random Forest present un AUC de 89.60%, indicando una mayor capacidad predictiva con aproximadamente un 90% de probabilidad de realizar predicciones correctas. Dado que el valor AUC del algoritmo RF se encuentra en el intervalo [0.75, 0.9), se ha considerado un algoritmo bueno en comparacin con RN, cuyo AUC se sita en el intervalo [0.6, 0.75), considerndose as un algoritmo regular para el clculo de predicciones.

Para la mtrica de exactitud, se evidenci que el algoritmo Decisin Tree present un AUC de 94.8%, indicando una mayor capacidad predictiva con aproximadamente un 95% de probabilidad de realizar predicciones correctas. Dado que el valor AUC del algoritmo DT se encuentra en el intervalo [0.9, 0.97), se ha considerado un algoritmo muy bueno en comparacin con NB, cuyo AUC se sita en el intervalo [0.6, 0.75), considerndose as un algoritmo regular para el clculo de predicciones.

En cuanto a la sensibilidad, el algoritmo Gradient Boosting present un AUC de 94.85%, indicando una mayor capacidad predictiva con aproximadamente un 95% de probabilidad de realizar predicciones correctas. Dado que el valor AUC del algoritmo GB se encuentra en el intervalo [0.9, 0.97), se ha considerado un algoritmo muy bueno en comparacin con NB, cuyo AUC se sita en el intervalo [0.6, 0.75), considerndose as un algoritmo regular para el clculo de predicciones.

Para el puntaje F1, el algoritmo Decisin Tree obtuvo un AUC de 94.85%, indicando una mayor capacidad predictiva con aproximadamente un 95% de probabilidad de realizar predicciones correctas. Dado que el valor AUC del algoritmo DT se encuentra en el intervalo [0.9, 0.97), se ha considerado un algoritmo muy bueno en comparacin con NB, cuyo AUC se sita en el intervalo [0.6, 0.75), considerndose as un algoritmo regular para el clculo de predicciones.

 

Figura 3: Curvas ROC de los algoritmos Redes Neuronales y Random Forest

Precisin

Exactitud

 

Sencibilidad

Puntaje F1

Realizado por: Lpez, Mara y Gualpa, Henry, 2023

 

Discusin

La revisin sistemtica revela varios estudios sobre la prediccin del rendimiento acadmico, identificando diversos factores que afectan el desempeo de los estudiantes universitarios (Garca, 2020). Se analizaron diferentes algoritmos de aprendizaje automtico, destacando: Random Forest, que clasific correctamente el 97.51% de los estudiantes potenciales desertores (Pez & Ramrez, 2022) (Huguet-Torres et al., 2024).

Este resultado super al Gradient Boosting (Chen & Yuanzhao, 2023) por una diferencia del 4.58%. Sin embargo, el Decisin Tree (Buenao et al., 2019) mostr una exactitud del 96.55% en la clasificacin de desertores y no desertores, superior al 91.23% del Random Forest.

En trminos de sensibilidad, el Decisin Tree identific el 98.37% de los estudiantes que desertaron, mientras que la especificidad del Random Forest fue del 93.51%, mayor que el 81.34% del Gradient Boosting. El puntaje F1 del Decisin Tree fue el mejor, alcanzando un 97.86%, en comparacin con el 85.51% del Random Forest. El AUC de la curva ROC mostr que el Decisin Tree obtuvo un 94.85%, superior al 89.86% del Gradient Boosting, indicando un mejor umbral de conveniencia. El Decisin Tree se considera el mejor algoritmo debido a su estructura jerrquica, facilidad de interpretacin, y bajo costo computacional. Es un algoritmo no paramtrico, por lo que no requiere normalizacin de datos y es til tanto para clasificacin como para regresin.

En cuanto a la recoleccin de datos, el estudio de Huguet-Torres et al. (2024) utiliz un cuestionario con 41 preguntas aplicadas a 4987 estudiantes. Buenao et al. (2019) emplearon datos histricos de 335 estudiantes entre los semestres 2016-1 y 2018-2 en una universidad de Ecuador. Taya et al. (2022) utilizaron una muestra de 3406 estudiantes en los periodos acadmicos 2019-I y 2020-I, considerando variables como calificaciones finales, acceso al aula virtual, y factores institucionales. Para predecir el rendimiento acadmico en la ESPOCH, se consideran variables relevantes como la situacin laboral del estudiante, tecnologa disponible, ingreso familiar, clima familiar, nivel educativo de los padres, entre otras. En contraste, variables como el nmero de integrantes de la familia y la provincia tienen menor relevancia.

 

Conclusiones

Para esta investigacin se seleccionaron cuatro bases de datos de lectura cientfica Scopus, SciELO, Dialnet y ERIC debido a su relevancia educativa, facilidad de navegacin y capacidad para realizar bsquedas avanzadas. Estas bases de datos permitieron identificar un total de 6,437 artculos cientficos publicados en los ltimos 10 aos. Aplicando las directrices internacionales del mtodo PRISMA, que proporciona un enfoque estructurado para la identificacin, cribado e inclusin de estudios, se logr obtener una muestra significativa de 52 artculos relevantes para esta investigacin. La aplicacin rigurosa del mtodo PRISMA asegur la calidad y pertinencia de los estudios seleccionados, proporcionando una base slida para el anlisis y las conclusiones de esta investigacin.

En este estudio se compararon las mtricas de evaluacin de algoritmos de Aprendizaje Automtico, incluyendo precisin, exactitud, sensibilidad, puntaje F1 y especificidad, utilizando pruebas de hiptesis como ANOVA, Kruskal-Wallis y Nemenyi. Los resultados revelaron que el algoritmo de Decisin Tree es el ms eficaz para predecir el rendimiento acadmico, destacndose con valores superiores al 90% en casi todas las mtricas evaluadas. Este rendimiento sobresaliente se debe a varias caractersticas del algoritmo: es relativamente fcil de entrenar, predecir e interpretar; es no paramtrico, por lo que no requiere normalizacin de datos; y presenta un costo computacional menor en comparacin con otros algoritmos. Adems, el Decisin Tree es variable para tareas de clasificacin y regresin, y resulta muy til en la exploracin de datos. Su capacidad para manejar una variedad de variables cualitativas y cuantitativas, seleccionando automticamente las ms relevantes, lo convierte en una herramienta valiosa para la prediccin del rendimiento acadmico.

 

Referencias

      1.            Arias, R., Santa, J. & Veloza, J. (2013). Aplicacin del aprendizaje automtico con rboles de decisin en el diagnstico mdico. Cultura del cuidado, 10(1), 63-72. https://doi.org/10.18041/1794-5232/cultrua.2013v10n1.2102

      2.            Arnau Sabats, L., & Sala Roca, J. (2013). La revisin de la literatura cientfica: Pautas, procedimientos y critrios de calidad. Universitat Autnoma de Barcelona, 1(1), 1-22. https://ddd.uab.cat/pub/recdoc/2020/222109/revliltcie_a2020.pdf

      3.            Bobadilla, J. (2021). Machine learning y deep learning: usando Python, Scikit y Keras. Ediciones de la U. https://acortar.link/knhqbH

      4.            Bravo, L., Fuentes, H., & Rivas, E. (2021). Anlisis del rendimiento acadmico mediante tcnicas de aprendizaje automtico con mtodos de ensamble. Revista Boletn Redipe, 10(13), 171-190. https://doi.org/10.36260/rbr.v10i13.1737

      5.            Buenao, D., Gil, D., & Lujn, S. (2019). Application of machine learning in predicting performance for computer engineering students: A case study. Sustainability, 11(10), 2833. https://doi.org/10.3390/su11102833

      6.            Camps, N. (2023). Mejora de modelos de prediccin de sepsis en pacientes en Unidades de Cuidados Intensivos mediante tcnicas de Machine Learning (Tesis de Grado, Universidad de Alicante). http://rua.ua.es/dspace/handle/10045/136223

      7.            Cervantes, G., Vega, E., & Portilla, E. (2019). Machine Learning para Robots, del Entrenamiento Virtual a la Tarea Real. Pdi Boletn Cientfico de Ciencias Bsicas e Ingenieras del ICBI, 7(Especial), 14-18. https://doi.org/10.29057/icbi.v7iEspecial.4785

      8.            Chen, S., & Yuanzhao , D. (2023). A machine learning approach to predicting academic performance in Pennsylvanias schools. Social Sciences, 12(3), 118. https://doi.org/10.3390/socsci12030118

      9.            Contreras, L., Fuentes, H., & Rodrguez, J. (2020). Prediccin del rendimiento acadmico como indicador de xito/fracaso de los estudiantes de ingeniera, mediante aprendizaje automtico. Formacin universitaria, 13(5), 233-246. http://dx.doi.org/10.4067/S0718-50062020000500233

  10.            Estrada, O., & Fuentes, D. (2021). Se logra predecir el rendimiento acadmico? Un anlisis desde la tecnologa educativa. Revista Fuentes, 23(3), 363-375. https://doi.org/10.12795/revistafuentes.2021.14278

  11.            Garcia, L. (2020). Revisin sistemtica sobre la prediccin del rendimiento acadmico en estudiantes: tcnicas y algoritmos (Tesis de Grado, Universidad Catlica Santo Toribio de Mogrovejo). http://hdl.handle.net/20.500.12423/3635

  12.            Gonzlez, C., & Guadalupe, E. (2017). Factores que inciden en el rendimiento acadmico de los estudiantes de la Universidad Politcnica del Valle de Toluca. Revista Latinoamericana de estudios Educativos, 47(1), 91-108. http://ri.ibero.mx/handle/ibero/4886

  13.            Huguet-Torres, A., Carrero-Planells, A., Fresneda, A., Sebastin-Hernndez, R., Sans, N., Moreno-Mulet, C., & Yez, A. (2024). Impacto personal y acadmico de la pandemia por COVID-19 en los estudiantes de enfermera en Espaa (EsE-COVID). Medicina Balear, 38 (5), 108-116. https://repositori.uib.es/xmlui/handle/11201/164289

  14.            Martnez, T. (2022). Comparacin de modelos machine learning aplicados al riesgo de crdito. 33-34. (F. d. Universidad de Concepcin, Ed.) Chile. http://repositorio.udec.cl/xmlui/handle/11594/9846

  15.            MENASALVAS, H., & etal. (2023). Newsletter trimestral de la Ctedra Idanae:tica e Inteligencia Artificial -Management Solutions. Universidad Politcnica de Madrid. https://blogs.upm.es/catedra-idanae/wp-content/uploads/sites/698/2020/01/Idanae-ESP-4T19-LR.pdf

  16.            Mireles, M., & Garca, J. (2022). Satisfaccin estudiantil en universitarios: una revisin sistemtica de la literatura. Revista Educacin, 46(2), 610-626. https://revistas.ucr.ac.cr/index.php/educacion/article/view/47621

  17.            Pez, A., & Gaytn, N. (2022). Modelos predictivos del rendimiento acadmico a partir de caractersticas de estudiantes de ingeniera. IE Revista de Investigacin Educativa de la REDIECH, 13, 1-18. https://www.redalyc.org/journal/5216/521670731008/521670731008.pdf

  18.            Pedrero, V., Reynaldos, K., Ureta, J., & Cortez, E. (2021). Generalidades del Machine Learning y su aplicacin en la gestin sanitaria en Servicios de Urgencia. Revista mdica de Chile, 149(2), 248-254. http://dx.doi.org/10.4067/s0034-98872021000200248

  19.            Romero, S. (2015). Uso de tcnicas de machine learning para predecir el rendimiento acadmico de los estudiantes de la Carrera de Ingeniera Civil en Informtica de la Universidad del Bo-Bo, Chilln (Tesis de Grado, Universidad del Bo Bo) http://repobib.ubiobio.cl/jspui/bitstream/123456789/2610/1/Soto%20Romero%2c%20Gaspar.pdf

  20.            Sandoval, L. (2018). Algoritmos de aprendizaje automtico para anlisis y prediccin de datos. Revista Tecnolgica(11). http://redicces.org.sv/jspui/bitstream/10972/3626/1/Art6_RT2018.pdf

  21.            Silva, I. (2020). Una metodologa sistemtica para evaluar los modelos de prediccin para la clasificacin del estilo de conduccin. Madrid (Tesis Doctoral, Universidad Politcnica de Madrid). https://doi.org/10.20868/UPM.thesis.66065

  22.            Taya-Acosta, E., Barraza-Vizcarra, H., Ramirez-Rejas, R., & Taya-Osorio, E. (2022). Academic Performance Evaluation Using Data Mining in Times of Pandemic: Relationship between Access to the Virtual Classroom and Grades of University Students. TECHNO REVIEW. International Technology, Science and Society Review/Revista Internacional De Tecnologa, Ciencia Y Sociedad, 11(1), 89-106. https://eaapublishing.org/journals/index.php/technorev/article/view/484

  23.            Wen, P., Macdonald, D., Reardon, D., Cloughesy, T., Sorensen, A., Galanis, E., & Chang, S. (2010). Updated response assessment criteria for high-grade gliomas: response assessment in neuro-oncology working group. Journal of clinical oncology, 28(11), 1963-1972. https://ascopubs.org/doi/full/10.1200/JCO.2009.26.3541

 

 

 

 

 

2024 por los autores. Este artculo es de acceso abierto y distribuido segn los trminos y condiciones de la licencia Creative Commons Atribucin-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)

(https://creativecommons.org/licenses/by-nc-sa/4.0/).

 

 

Enlaces de Referencia

  • Por el momento, no existen enlaces de referencia
';





Polo del Conocimiento              

Revista Científico-Académica Multidisciplinaria

ISSN: 2550-682X

Casa Editora del Polo                                                 

Manta - Ecuador       

Dirección: Ciudadela El Palmar, II Etapa,  Manta - Manabí - Ecuador.

Código Postal: 130801

Teléfonos: 056051775/0991871420

Email: polodelconocimientorevista@gmail.com / director@polodelconocimiento.com

URL: https://www.polodelconocimiento.com/