Metodologa para la generacin estadstica de indicadores: Una revisin sistemtica inicial

 

Statistical methodology for the generation of Indicators in Higher Education: An initial systematic review

 

Metodologia para a Gerao Estatstica de Indicadores: Uma Reviso Sistemtica Inicial

 

Rubn Antonio Pazmio-Maji I
rpazmino@espoch.edu.ec
https://orcid,org/0000-0002-6811-7876

,Paulina Elizabeth Valverde-Aguirre II
paulina.valverde@espoch.edu.ec
 https://orcid.org/0000-0003-0458-7083
Bertha Jacqueline Pazmio-Maji III
cided@espoch.edu.ec
https://orcid.org/0000-0002-1855-9991

,Yolanda Dolores Daz-Heredia IV
ydiaz@espoch.edu.ec
https://orcid.org/0000-0003-4535-100X
 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


Correspondencia: rpazmino@espoch.edu.ec

 

 

Ciencias Tcnicas y Aplicadas

Artculo de Investigacin

 

* Recibido: 23 de julio de 2022 *Aceptado: 12 de agosto de 2022 * Publicado: 08 de septiembre de 2022

 

         I.            PhD en Formacin en la Sociedad del Conocimiento, Salamanca-Espaa, Magster en Informtica Educativa y Multimedios, Osorno-Chile, Dr. en Matemtica ESPOCH, Grupo de Investigacin Ciencia de Datos CIDED, Escuela Superior Politcnica de Chimborazo ESPOCH, Riobamba, Ecuador.

       II.            Licenciado en Ciencias de la Educacin, Profesor de Enseanza Media en la Especializacin de Castellano y Literatura. Magster en desarrollo de la inteligencia y educacin, Grupo de Investigacin Ciencia de Datos CIDED, Escuela Superior Politcnica de Chimborazo ESPOCH, Riobamba, Ecuador.

     III.            Magster en Seguridad y Prevencin de Riesgos del Trabajo, Universidad UTE, Ingeniera Qumica, ESPOCH, Tecnloga Qumica Industrial, ESPOCH, Grupo de Investigacin Ciencia de Datos CIDED, Escuela Superior Politcnica de Chimborazo ESPOCH, Riobamba, Ecuador.

    IV.            Mster en Ciencias en Biotecnologa, Doctora en Qumica, Grupo de Investigacin Ciencia de Datos CIDED, Escuela Superior Politcnica de Chimborazo ESPOCH, Riobamba, Ecuador.

 

 

 

 


 

Resumen

La contribucin del presente trabajo es el estudio bibliogrfico inicial de 175 artculos cientficos sobre metodologa de generacin de indicadores. La metodologa utilizada fue una revisin sistemtica de literatura que permiti responder seis preguntas de investigacin sobre artculos cientficos buscados utilizando las palabras clave metodologa, generacin e indicadores. El estudio que se presenta en este trabajo se realiz desde el ao 2017 hasta el ao 2021, se encontraron 525 documentos cientficos en los buscadores bibliogrficos Web of science, Scopus, Google acadmico y Scielo. Los documentos cientficos que coincidieron con las cadenas de bsqueda fueron descargados, ordenados y despus de eliminar los duplicados, aplicar criterios de inclusin, exclusin y calidad se analizaron un total de 175 artculos cientficos. Esta investigacin descubre y analiza documentos cientficos y responde a seis preguntas de investigacin planteadas sobre las metodologas de generacin de indicadores. Utilizando estadstica descriptiva se responden a las primeras tres preguntas de investigacin, las otras tres se responden utilizando nubes de palabras y en forma textual. Se da respuesta a la produccin bibliogrfica por aos, los resultados de las bases de datos bibliogrficas, el idioma utilizado, adems se extrae informacin sobre los ttulos, las palabras clave y se muestran los cuatro artculos que tratan sobre metodologa estadstica para la generacin de indicadores. Este trabajo ser de utilidad para aquellos investigadores que desean proponer, modificar o mejorar metodologas de generacin de indicadores.

Palabras clave: metodologa; generacin; indicadores; revisin sistemtica de literatura.

 

Abstract

The contribution of the present work is the initial bibliographic study of 175 scientific articles on indicator generation methodology. The methodology used was a systematic literature review that allowed us to answer six research questions on scientific articles using the keywords methodology, generation, and indicators. The study presented in this paper was conducted from 2017 to 2021, 525 scientific papers were found in the bibliographic search engines Web of science, Scopus, Google academic and Scielo. The scientific papers that matched the search strings were downloaded, sorted and after eliminating duplicates, applying inclusion, exclusion and quality criteria, a total of 175 scientific papers were analyzed. This research uncovers and analyzes scientific papers and answers six research questions posed about indicator generation methodologies. The first three research questions are answered using descriptive statistics, the other three are answered using word clouds and in textual form. The bibliographic production by years, the results of the bibliographic databases, the language used, information on titles, keywords and the four articles dealing with statistical methodology for the generation of indicators are shown. This work will be useful for researchers who wish to propose, modify or improve methodologies for generating indicators.

Keywords: methodology; generation; indicators; systematic literature review.

 

Resumo

A contribuio do presente trabalho o estudo bibliogrfico inicial de 175 artigos cientficos sobre a metodologia de gerao de indicadores. A metodologia utilizada foi uma reviso sistemtica da literatura que permitiu responder a seis perguntas de investigao sobre artigos cientficos pesquisados utilizando as palavras-chave metodologia, gerao e indicadores. O estudo apresentado neste artigo foi realizado entre 2017 e 2021, 525 artigos cientficos foram encontrados nos motores de pesquisa bibliogrfica Web of science, Scopus, Google academic e Scielo. Os artigos cientficos que correspondiam s cadeias de pesquisa foram descarregados, classificados e, aps eliminar duplicados, aplicando critrios de incluso, excluso e qualidade, foi analisado um total de 175 artigos cientficos. Esta investigao descobre e analisa artigos cientficos e responde a seis questes de investigao colocadas sobre as metodologias de gerao de indicadores. As primeiras trs perguntas de investigao so respondidas utilizando estatsticas descritivas, as outras trs so respondidas utilizando nuvens de palavras e em forma textual. A produo bibliogrfica por anos, os resultados das bases de dados bibliogrficas, a lngua utilizada, informaes sobre ttulos, palavras-chave e os quatro artigos que tratam da metodologia estatstica para a gerao de indicadores so tambm extrados. Este trabalho ser til para investigadores que desejem propor, modificar ou melhorar metodologias para a gerao de indicadores.

Palavras-chave: metodologa; gerao; indicadores; reviso sistemtica da literatura.

 

 

Introduccin

Una metodologa corresponde a un conjunto de pasos y tcnicas que aplica el investigador. Se pueden aplicar procedimientos propios o de otros autores con el fin de tener efectividad. El trmino metodologa tambin se define como el grupo de mecanismos o procedimientos racionales, empleados para el logro de un objetivo, o serie de objetivos (Wood y Smith, 2018).

 

Revisin sistemtica

La revisin sistemtica es un tipo de investigacin que revisa la literatura crticamente y combinan estadsticamente los resultados de estudios previos. Se trata de resumir en medidas descriptivas toda la evidencia relacionada a un tema especfico, en nuestro caso responder a la pregunta principal Cules indicadores de los observatorios tursticos son formalizables matemticamente?, la revisin sistemtica de literatura es un proceso objetivo, sistemtico y auditable que garantiza que cualquier investigador que siga los pasos del artculo cientfico llegar exactamente a los mismos resultados (Ortiz, 2005, pp.2-3). Una revisin sistemtica se caracteriza por tener un proceso de elaboracin transparente y comprensible para recolectar, seleccionar, evaluar crticamente y resumir toda la evidencia disponible sobre los observatorios tursticos (Letelier, 2005, pp.246-247). Esta revisin sistemtica es llamada inicial debido a que a futuro se ampliar con un mayor nmero de preguntas de investigacin.

 

Nube de palabras

Una nube de palabras es una representacin grfica de palabras de un texto predeterminado, en nuestro caso fueron ttulos y palabras claves de 175 artculos cientficos. Es adems una figura donde las palabras aparecen en diferentes colores y tamaos formando generalmente una figura. Las palabras de ms tamao y con colores ms fuertes son las que aparecen con ms frecuencia y las que aparecen con una frecuencia menor van a figurar en la imagen ms pequea y en colores ms apagados. EdWordle (EdWordle, 2022) es una herramienta en lnea para editar "nubes de palabras" basadas en el Wordle, programa en el cual se trabaj en ste artculos cientfico. La nube de palabras puede generarse a partir del texto, en nuestro caso ttulos y palabras clave. Se puede modificar el tipo de texto, el color, el tamao; tambin mover, girar, aadir y eliminar palabras para crear imgenes personalizadas, que faciliten la interpretacin. En nuestro caso solo se generaron un mximo de 20 palabras para ayudar con la interpretacin (Reyes Soto, 2020).

 

Indicadores en la Educacin Superior

La universidad a travs de la historia ha adoptado diferentes paradigmas acoplndose a las demandas econmicas y sociales. Actualmente la sociedad del conocimiento, la globalizacin, y universalizacin, generan nuevos requerimientos que la universidad debe solventar tales como la rendicin social de cuentas, la transparencia y disponibilidad de informacin tanto interna como externa. La relevancia de la informacin en muchos casos est determinando los procesos de acreditacin y al mismo tiempo la valoracin de las instituciones educativas mediante los rankings los cuales han adquirido una relevancia social, poltica y econmica (Gmez, 1998).

El rol que desempean las universidades y la imagen que proyectan frente a la sociedad ha hecho que estn en la mira de entidades de control con fines de acreditacin y en muchos con fines de asignacin presupuestaria nacional (Hernndez et al., 2016).

En Latino Amrica, se puede apreciar algunos esfuerzos y proyectos que han tratado de resolver el problema de los sistemas de informacin y generacin de indicadores tomado en consideracin la diversidad y complejidad de los entornos institucionales en los que se desenvuelven, entre los cuales destacan: IESALC (UNESCO-IESALC UNESCO IESALC, 2022), el proyecto European Indicators and Ranking Methodology for University Third Mission (European Indicators and Ranking Methodology for University 3rd Mission, 2022), Proflex (proflex Giametta, 2009) o U-Map, The European Classification of Higher Education Institutions (Van Vught et al., 2010) entre otros.

En este marco, tambin se puede mencionar el proyecto INFOACES mismo que surge como una iniciativa de un buen grupo de instituciones (universidades, instituciones de educacin superior, asociaciones y entidades) con el objetivo de crear un Sistema Integral de Informacin sobre las Instituciones de Educacin Superior de Amrica Latina que permita el desarrollo institucional. INFOACES est cofinanciado por la Comisin Europea a travs de su programa ALFA (sistema bsico Carot Sierra, 2012).

La mayor dificultad en la aplicacin de indicadores educativos en Amrica Latina es el establecimiento de un sistema de categorizacin de instituciones de educacin superior debido a las grandes diferencias entre entidades del sector privado y sector pblico, la gran diferencia en la inequidad de recursos incide en el cumplimiento de las funciones sustantivas de docencia, vinculacin e investigacin. Por ende, es difcil establecer una visin comparativa en base a un sistema bsico integral de indicadores, debido a la tipologa, orientacin y fines que persiguen.

No obstante, un sistema integral de indicadores educativos en las Instituciones de Educacin Superior debiera acoger los aspectos ms relevantes que permitan determinar la calidad educativa, buenas prcticas y resultados en consideracin del contexto y aporte social que brindan en el mejoramiento de la calidad de vida y resolucin de problemas reales de la sociedad.

 

Metodologa

La metodologa principal fue la revisin sistemtica de literatura (Neiva et al., 2016), el proceso utilizado se puede ver en la Error! No se encuentra el origen de la referencia., se complementa con la metodologa de similaridad del Anlisis Estadstico Implicativo que se muestra en la Error! No se encuentra el origen de la referencia. En la revisin sistemtica se desarrollaron los siguientes pasos segn (Marangunić y Granić, 2015):

    • 1 Planteamiento preguntas de investigacin
    • Lluvia de Ideas
    • 2 Seleccin de artculos cientficos
    • PICOS
    • Tiempo
    • Fuentes
    • Formas de bsqueda
    • Aplicacin de criterios
    • 3 Anlisis de artculos cientficos
    • Estadstica
    • 4 Respuesta preguntas de investigacin

La Figura 1, muestra el mtodo utilizado en la revisin sistemtica para minimizar el sesgo de los investigadores y hacer que la metodologa sea auditable (Pazmio-Maji et al., 2017).

 

 

 

Fuente: Autores, 2022

Figura 1: Proceso de revisin sistemtica

 

A continuacin, se desarrolla detalladamente cada uno de los pasos seguidos en el proceso de investigacin.

 

Planteamiento preguntas de investigacin

Para la generacin de las preguntas de investigacin se utiliz la tcnica de Lluvia de Ideas, con la participacin de 6 investigadores especializados en la temtica del grupo de investigacin Ciencia de Datos de la Escuela Superior Politcnica de Chimborazo (ESPOCH). La lluvia de ideas gener las siguientes preguntas de investigacin:

RQ1: Cul es la clasificacin por aos de los artculos cientficos analizados?

RQ2: Cul es la clasificacin por base de datos bibliogrfica de los artculos cientficos analizados?

RQ3: Cul es la clasificacin por idioma de los artculos cientficos analizados?

RQ4: Cul es la nube de palabras de los ttulos de los artculos cientficos?

RQ5: Cul es la nube de palabras de las palabras clave de los artculos cientficos?

RQ6: Cules son los artculos cientficos de los mtodos estadsticos de generacin de indicadores educativos en educacin superior?

 

Seleccin de artculos cientficos

 

Picos

La

, muestra la aplicacin del mtodo PICOS (Pazmio-Maji et al., 2021) a las preguntas de investigacin planteadas.

 

Figura 2: Mtodo PICOS

RQ

P

I

C

O

S

1

 

 

Artculos Cientficos

 

 

No se aplica

 

Datos cualitativos

 

 

Frecuencia

2

3

4

5

6

Datos cualitativos

Texto

Fuente: Autores, 2022

 

Tiempo

La investigacin se realiz sobre los artculos cientficos de los ltimos 5 aos: 2017, 2018, 2019, 2020 y 2021.

 

Fuentes

La bsqueda se llev a cabo en las bases de datos bibliogrficas de la Error! No se encuentra el origen de la referencia.

 

 

Figura 3: Bases bibliogrficas utilizadas

NOMBRE DE LA BASE DE DATOS BIBLIOGRFICA

DIRECCIN WEB

ACM

(ACM Digital Library, 2022)

Web of Science (WOS)

(Web of Science - Web of Science Group, 2020)

Scielo

(SciELO.org, 2022)

Google Acadmico

(Google Acadmico, 2022)

Fuente: Autores, 2022

 

Formas de bsqueda

Un grupo de estudios primarios se define en (Zhang y Ali Babar, 2010), las cadenas y formas de bsqueda utilizadas fueron las equivalentes a la de Scopus que es la que se muestra: (TITLE-ABS-KEY(methodology) AND TITLE-ABS-KEY(indicator) AND TITLE-ABS-KEY(generation)) AND (LIMIT-TO (PUBYEAR,2021) OR (LIMIT-TO (PUBYEAR,2020) OR (LIMIT-TO (PUBYEAR,2019) OR (LIMIT-TO (PUBYEAR,2018) AND (LIMIT-TO(SUBREA,SOCI)). La Figura 2, muestra la evolucin de los artculos cientficos buscados y analizados:

 

Fuente: Autores, 2022

Figura 4: Proceso de evolucin de los artculos cientficos por la utilizacin de los criterios.

 

Criterios de inclusin, exclusin y calidad

En esta fase, los documentos encontrados en las bases de datos sern categorizados y clasificados de acuerdo con los criterios de inclusin, exclusin y calidad (Pazmio-Maji et al., 2019). A continuacin, se detallan los criterios de Inclusin, exclusin y calidad utilizados.

 

Criterios de inclusin

Para responder a las preguntas de investigacin planteadas, se definieron los criterios de inclusin, que se muestran a continuacin.

IC1: Los documentos contienen en su ttulo, resumen o palabras clave la frase completa metodologa or methodology.

IC2: Al menos uno de los autores est afiliado a una institucin de educacin superior;

IC3: Los artculos estn escritos en cualquier idioma.

IC4: Los documentos deben estar entre los aos 2017, 2018, 2019, 2020 o 2021.

 

Criterios de exclusin

Para responder a las preguntas de investigacin planteadas, se definieron los criterios de exclusin, que se muestran a continuacin.

EC1: Es imposible acceder al documento digital.

EC2: El contenido del documento no est asociado a la cadena de bsqueda indicada en la seccin Formas de Bsqueda, aunque se haya encontrado en la bsqueda.

EC3: Aqu no hay conflictos de afiliacin de los autores en los diferentes motores de bsqueda utilizados.

EC3: Documentos repetidos en las diferentes bases de datos

 

Criterios de calidad

Para responder a las preguntas de investigacin planteadas, se definieron los criterios de calidad, que se muestran a continuacin.

QC1: Todos son artculos cientficos

QC2: Son artculos indexados en JCR o Latindex

 

Anlisis de artculos cientficos

Se realizar especialmente el anlisis de frecuencia y los grficos de frecuencia.

 

Respuesta preguntas de investigacin

Las seis preguntas de investigacin se contestarn en su totalidad en la seccin de resultados.

 

Resultados

Se utilizan especialmente tablas y grficas de frecuencia para responder a las preguntas desde RQ1 hasta RQ5. En la pregunta RQ6 se aplica por primera vez la similaridad estadstica en el software NVIVO.

 

Respuesta a RQ1: Ao

Cul es la clasificacin por aos de los artculos cientficos analizados?

En la Figura 3, se puede observar que a excepcin del ao 2017 el nmero de artculos cientficos en los cuatro aos (2018, 2019, 2020 y 2021) se mantiene constante en una cantidad media de 41.5 artculos.

 

Fuente: Autores, 2022

Figura 5: Frecuencia absoluta por aos

 

Respuesta a RQ2: Base de datos bibliogrfica

Cul es la clasificacin por base de datos bibliogrfica de los artculos cientficos analizados?

En la Figura 4, se puede observar que la fuente ms grande de artculos cientficos basadas en las palabras clave: metodologa, generacin, e indicadores en los aos 2017, 2018, 2019, 2020 y 2021 es Scopus, seguida por Google acadmico, WOS y Scielo.

 

Fuente: Autores, 2022

Figura 6: Frecuencia absoluta por base de datos bibliogrfica

 

Respuesta a RQ3: Idioma

Cul es la clasificacin por idioma de los artculos cientficos analizados?

En la figura 4 se puede observar que el 84,5% de los artculos estn escritos en ingls y el resto 13,5% en espaol y portugus y solo el 2% en portugus y croata,

 

Fuente: Autores, 2022

Figura 7: Frecuencia absoluta por idioma

 

Respuesta a RQ4: Nube ttulos

Cul es la nube de palabras de los ttulos de los artculos cientficos?

En la Figura 5, se consideraron los ttulos de los 175 artculos cientficos analizados y se realiz la nube de palabras, obtenindose que la palabra ms frecuente sea assesment, es decir evaluacin; seguida de analysis (anlisis) y finalmente development (desarrollo).

 

Fuente: Autores, 2022

Figura 8: Nube de ttulos

 

Respuesta a RQ5: Nube palabras clave

Cul es la nube de palabras de las palabras clave de los artculos cientficos?

En la Figura 6, se consideraron las palabras clave de los 175 artculos cientficos analizados y se realiz la nube de palabras, obtenindose que la palabra ms frecuente es analysis (anlisis) y luego development (desarrollo).

 

 

 

 

 

 

Fuente: Autores, 2022

Texto

Descripcin generada automticamente con confianza media

Figura 9: Nube palabras clave

 

Respuesta a RQ6: Artculos cientficos de los mtodos estadsticos de generacin de indicadores educativos en educacin superior

Cules son los artculos cientficos de los mtodos estadsticos de generacin de indicadores educativos en educacin superior?

A continuacin, se muestran los ttulos y respectivas citas de los artculos cientficos que tratan sobre metodologa para la generacin de indicadores en educacin superior. Son cuatro en total.

1.        Beyond university rankings? Generating new indicators on universities by linking data in open platforms (Daraio y Bonaccorsi, 2017).

2.        Evaluating the Embedding of RRI in Higher Education Curriculum: The EnRRICH Experience (Vargiu, 2018).

3.        Exploring the Potentialities of Automatic Extraction of University Webometric Information (Bianchi et al., 2020).

4.        Value-added in Higher Education Higher: a new methodology for undergraduate programs in Brazil (Fernandes et al., 2021).

 

Conclusiones

Se realiz una revisin sistemtica de literatura con el objetivo de tener un acercamiento inicial a las metodologas de generacin de indicadores en distintas reas de conocimientos. Se respondieron seis presuntas investigaciones: En la primera pregunta se analiz la evolucin de los artculos en el tiempo y se encontr que desde el ao 2018 hasta el 2021 se tiene una produccin constante de artculos alrededor de 41. La segunda pregunta nos muestra que la base de datos bibliogrfica que ms artculos de este tipo almacena y que es Scopus con aproximadamente el 77% de los artculos cientficos. La tercera pregunta nos muestra que el idioma predominante en la escritura es el ingls con el 84,5% de los artculos cientficos, pero ya se pueden encontrar artculos escritos en espaol y ruso con el 6,8%. La nube de palabras utilizadas en la cuarta y quinta preguntas hacen conocer que las palabras ms frecuentes en el ttulo son anlisis y desarrollo y las palabras ms frecuentes como palabras clave son anlisis y desarrollo. La sexta pregunta nos muestra explcitamente los cuatro artculos que dieron como resultado en la bsqueda de metodologas estadsticas de generacin de indicadores. La forma en que se respondi a la ltima pregunta es parte de un estudio de revisin sistemtica complementario. Se recomienda realizar un anlisis ms profundo de la pregunta seis para determinar los elementos estadsticos que hacen parte de las metodologas encontradas y su aporte en las mismas.

 

Referencias

1.      ACM Digital Library. (2022). ACM Digital Library. https://dl.acm.org/

  1. Carot Sierra, J. M. (2012). Sistema bsico de indicadores para la educacin superior de Amrica Latina. Editorial Universitat Politcnica de Valncia.
  2. EdWordle. (2022). https://www.edwordle.net/
  3. European indicators and ranking methodology for university 3rd mission. (2022). https://www.donau-uni.ac.at/en/research/project/U7_PROJEKT_4294967479
  4. Giametta, C. (2009). Pro Flex on Spring. Apress.
  5. Gmez, G. (1998). La universidad a travs del tiempo. Universidad Iberoamericana.
  6. Google Acadmico. (2022, enero 6). https://scholar.google.es/schhp?hl=es
  7. Hernndez, N. B., Guerrero, R. O., y Quionez, W. A. (2016). Universidad y planificacin estratgica en el Ecuador. Didasc@ lia: didctica y educacin ISSN 2224-2643, 7(2), 171-180.
  8. Letelier, L. M., Manrquez, J. J., y Rada, G. (2005). Revisiones sistemticas y metaanlisis: son la mejor evidencia? Revista mdica de Chile, 133(2), 246-249. https://doi.org/10.4067/S0034-98872005000200015
  9. Marangunić, N., y Granić, A. (2015). Technology acceptance model. Universal Access in the Information Society, 14(1), 81-95. https://doi.org/10.1007/s10209-014-0348-1
  10. Neiva, F. W., David, J. M. N., Braga, R., y Campos, F. (2016). Towards pragmatic interoperability to support collaboration: A systematic review and mapping of the literature. Information and Software Technology, 72, 137-150.
  11. Ortiz, Z. (2005). QU SON LAS REVISIONES SISTEMATICAS? - PDF Free Download. https://docplayer.es/19062108-Que-son-las-revisiones-sistematicas.html
  12. Pazmio-Maji, R., Conde, M. ., y Garca-Pealvo, F. (2021). Learning analytics in Ecuador: A systematic review supported by statistical implicative analysis. Universal Access in the Information Society, 1-18.
  13. Pazmio-Maji, R., Garca-Pealvo, F. J., y Conde-Gonzlez, M. A. (2017). Statistical Implicative Analysis aproximation to KDD and Data Mining: A systematic and mapping review in Knowledge Discovery Database framework.
  14. Pazmio-Maji, R., Lpez-Ortega, J., Gonzlez, M. . C., y Pealvo, F. J. G. (2019). Las analticas de aprendizaje en el Ecuador: Un anlisis inicial basado en el mapeo sistemtico de los trabajos de graduacin. Explorador Digital, 3(3.1), 224-245.
  15. Reyes Soto, I. M. (2020). Nube de palabras. Eutopa, 12(33), 55-56.
  16. SciELO.org. (2022, enero 6). https://scielo.org/es/
  17. UNESCO-IESALC UNESCO IESALC. (2022). https://www.iesalc.unesco.org/
  18. Van Vught, F. A., Kaiser, F., File, J. M., Gaethgens, C., Peter, R., y Westerheijden, D. F. (2010). The European classification of higher education institutions. Netherlands: CHEPS.
  19. Web of ScienceWeb of Science Group. (2020, enero 15). https://clarivate.com/webofsciencegroup/solutions/web-of-science/
  20. Wood, P., y Smith, J. (2018). Investigar en educacin. Conceptos bsicos y metodologa para desarrollar proyectos de investigacin. Educatio Siglo XXI, 36(1), 263-266.
  21. Zhang, H., y Ali Babar, M. (2010). On searching relevant studies in software engineering.

 

2022 por los autores. Este artculo es de acceso abierto y distribuido segn los trminos y condiciones de la licencia Creative Commons Atribucin-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)

(https://creativecommons.org/licenses/by-nc-sa/4.0/).x

Enlaces de Referencia

  • Por el momento, no existen enlaces de referencia
';





Polo del Conocimiento              

Revista Científico-Académica Multidisciplinaria

ISSN: 2550-682X

Casa Editora del Polo                                                 

Manta - Ecuador       

Dirección: Ciudadela El Palmar, II Etapa,  Manta - Manabí - Ecuador.

Código Postal: 130801

Teléfonos: 056051775/0991871420

Email: polodelconocimientorevista@gmail.com / director@polodelconocimiento.com

URL: https://www.polodelconocimiento.com/