RSL CON PRISMA: MÉTODOS PARA EL PROCESO DE VALIDACIÓN DE EXÁMENES DE INGRESO A LA UNIVERSIDAD DESDE EL ENFOQUE BASADO EN ARGUMENTOSS

2. METODOLOGÍA

Con el fin de dar respuesta a las preguntas y el objetivo general planteado, esta investigación se centra en la elaboración de una Revisión Sistemática de la Literatura (RSL). Según Page et al. (2021) la RSL son útiles para proporcionar una síntesis del estado de conocimiento sobre lo que estemos investigando. Igualmente, permite encontrar otras problemáticas y generar, e incluso evaluar, teorías sobre ciertos fenómenos (2021). En este sentido, se seleccionó la RSL debido a su metodología rigurosa y sistemática, donde no depende de la visión completa del autor, sino que implica la identificación, selección y evaluación crítica de la literatura relevante, lo que reduce el riesgo de sesgos y aumenta la confianza en los resultados (Rethlefsen et al., 2021; García-Peñalvo, 2022).

2.1. PROCEDIMIENTO

2.2. ESTRATEGIA DE BÚSQUEDA

Antes de realizar la búsqueda sistemática se elaboraron fórmulas cortas, tanto en español como en inglés; estos fueron “validity argument, argument-based”, y “scholastic aptitude test, “american college testing” en el idioma inglés; y esto otros en español “examen de ingreso a la universidad”, “validez de exámenes de ingreso a la universidad”. Esta exploración se realizó en bases de datos como Eric, Springer Link, Web Of Science, Redalyc, Google Académico, Dialnet, Latindex, Conricyt, Iresie y Scopus. Después se realizó una búsqueda a partir de operadores booleanos como AND y OR según la conveniencia en los siguientes términos: “(validity argument) OR (argument-based)”, y “(scholastic aptitude test) OR (american college testing)” en el idioma inglés; y estos otros en español “(Enfoque Basado en Argumentos) OR (validez del argumento)”, y “(examen de ingreso a la universidad) OR (examen de admisión) OR (EXANI II)”. Las fórmulas finales obtenidas en inglés y español se pueden observar en la Tabla 1.

TABLA 1.

FÓRMULAS OBTENIDAS

Con el fin de elaborar una fórmula que se ajustara a las diferentes bases de datos, se procedió a elaborarla en la página de PubMed (https://pubmed.ncbi.nlm.nih.gov/advanced/) . Las bases de datos utilizadas para este ejercicio fueron Eric, Springer Link, Web Of Science; seleccionadas, también, por su relevancia a nivel internacional y su relación con el ámbito educativo. Otros criterios de inclusión y exclusión (véase Tabla 2) fueron que se tomaron en cuenta solo artículos en un periodo de publicación del año 2004 al 2022 y que fueran revistas especializadas enfocadas a subdisciplinas como Educación Superior, Exámenes, Evaluaciones y Pruebas y Evaluaciones; que se incluyeran autores nacionales como internacionales. En esta ocasión se tomaron en cuenta artículos abiertos y privados debido a la especialización del tema.

TABLA 2.

CRITERIOS DE INCLUSIÓN Y EXCLUSIÓN

2.3. REVISIÓN Y SELECCIÓN

En la Figura 1, que es el diagrama de flujo utilizado para llevar un registro transparente de la búsqueda, se observa el proceso de identificación, selección e inclusión de los artículos encontrados. En este caso, hubo un total de 437 artículos provenientes de las bases de datos ya mencionadas con anterioridad. De estos, se excluyeron 17 debido a la duplicación, quedando un total de 420 artículos, de ellos 352 no tenían relación con el tema de educación superior o media superior, finalizando con un total de 68 artículos a revisar como lo indica Prisma (Page et al., 2021; Rethlefsen et al., 2021).

FIGURA 1.
DIAGRAMA DE FLUJO DE LA RSL CON PRISMA

Se debe señalar de estos 68 artículos se obtuvo un total de 29 artículos teóricos y dos RSL, de estas últimas solo una correspondía a nuestro interés (Enfoque Basado en Argumentos) es la escrita por los autores Lavery et al. (2020). Una vez revisados los 68 artículos, se descartaron aquellos que no se relacionan con el Enfoque Basado en Argumentos (24) y los que no eran empíricos, ya que eran de carácter teórico (29). Finalmente, se agregó un artículo que se localizó buscándolo directo en la web (Google) (Fechter et al., 2021) y se optó por conservar el artículo de Covey et al. (2014) sobre la evaluación de liderazgo en escuelas primarias y secundarias en Estados Unidos debido a que su método puede implicar una nueva forma de comprender la validez. El total de artículos fue de 17, siendo todos en el idioma inglés y, debido a la dificultad y especialización, se tomaron en cuenta artículos del área de evaluación o exámenes de la adquisición del idioma inglés, ya que se pudo observar una buena afluencia de artículos en esta área, como bien lo indicaron Lavery et al. (2020) en su RSL.

2.4. EXTRACCIÓN DE LOS DATOS

Con los 17 artículos se procedió a su lectura, revisión y análisis. Además, se utilizó el software Atlas.ti en su versión 23.0.8.0 con el fin de encontrar relaciones entre las referencias utilizadas por los autores y codificar la información de cada uno de los artículos (Saldaña, 2015). Para ello se partió de las preguntas de investigación descritas con anterioridad, estando abiertos a un análisis inductivo de los códigos; siendo esto un estudio exploratorio (Kerlinger & Lee, 2001) sobre el Enfoque Basado en Argumentos en los exámenes de ingreso a la universidad o exámenes similares.

2.5. MUESTRA ANALIZADA

Como se observa, en la Tabla 3 hubo una diversidad de revistas en las que se publicaron estos artículos, la revista con mayor uso en esta muestra fue la Language Testing con cuatro artículos, Language Testing in Asia con tres artículos, y el resto con un artículo por revista. Asimismo, se puede observar que estas revistas se relacionan con evaluación del lenguaje y evaluación educativa. A ello, añadimos que los autores provienen, en su mayoría, de Estados Unidos (EE. UU), el resto se encuentran en el continente asiático: China, Irán, Israel, Taiwán y Arabia Saudita; y, aunque también hay variedad en las universidades, se puede destacar un flujo en la Universidad de Arizona y la Universidad de California, pero no muy significativo.

TABLA 3.

CARACTERÍSTICAS DE PROCEDENCIA DE LOS ARTÍCULOS

3. ANÁLISIS Y RESULTADOS

3.1. TEMAS Y AUTORES

Con el fin de dar respuesta a la primera pregunta de la presente revisión, en la Tabla 4 se pueden observar los temas retomados por cada una de las investigaciones, las cuales están relacionadas con el Enfoque Basado en Argumentos en procesos de validación con especial énfasis sobre estudios centrados en postulantes a universidad o universitarios. En este sentido, se podrá observar que la mayoría de los resultados se enfocan en el área de lenguaje, como ya se ha ido mencionando (ejemplo, Chapelle, 2010, 2012), ya que se observa una mayor afluencia académica desde esta área. Tal es el caso de Ginther y Elder (2014); Jawhar et al. (2021); ShayesteFar (2020); Fan (2014); Esfandiari et al. (2018); quienes se enfocan en mejorar la comprensión y evaluación de la competencia en inglés y el uso del lenguaje en diferentes contextos. Ginther y Elder (2014) desarrollaron un estudio para la admisión de estudiantes internacionales en programas de posgrado ubicados en Estados Unidos y en Australia.

TABLA 4.

RESUMEN DE LOS TEMAS LOCALIZADOS EN LA RSL

Por otra parte, en la Figura 1 se observa el mapa de citas relacionado con el Enfoque Basado en Argumentos, es decir, los autores que citaron en estas investigaciones para fundamentar su investigación. A partir de elaborar este mapa, se logró visualizar fácilmente a los autores que han estado trabajando desde este enfoque, es el caso de: Shelley Staples, LaFlair y Xun Yan; marcados en café y amarillo en la Figura 1. En este sentido, LaFlair y Staples (2017) citaron su colaboración con Egbert (2017) en su artículo Comparing language use in oral proficiency interviews to target domains: Conversational, academic, and professional discourse. Shelley Staples ha participado en tres artículos relacionados con el lenguaje, Xun Yan en dos y LaFlair en otros dos, ambos colaborando con Staples.

FIGURA 2.
MAPA DE CITAS RELACIONADOS CON VALIDEZ, VALIDACIÓN O ENFOQUE BASADO EN ARGUMENTOS

Asimismo, el artículo más citado es el de Kane (2013), Validating the interpretations and uses of test scores, presente en 10 de los 17 artículos, seguido por Messick (1989) con Validity presente en 9 de ellos. Otros artículos importantes son Validation (Kane, 2006b); Language assessment in practice de Bachman y Palmer (2010); Building a validity argument for the Test of English as a Foreign Language de Chappelle, Enright y Jamieson (2008); Validity and washback in language testing de Messick (1996); y, The centrality of test use and consequences for test validity de Shepard (1997). Y, para finalizar esta sección, la mayoría de los artículos que se relacionan directamente con lenguaje suelen citar a Kane (1992, 2001, 2002, 2006a, 2006b, 2012, 2013) o a Chapelle en sus diferentes aportaciones.

En este sentido, Kane sigue siendo una figura central y altamente citada en la literatura relacionada con los procesos de validación en la evaluación de prueba y exámenes, con múltiples publicaciones a lo largo de los años que son referenciadas regularmente, como lo evidencian las múltiples citas de diferentes años. Messick y Chapelle también son autores relevantes y frecuentemente citados, mostrando su influencia significativa en el campo. No obstante, en el caso de Messick (1989) se debe a las discrepancias conceptuales que ha mantenido con Kane, mientras con Chapelle (2010; 2012) es por una continuidad al uso del Enfoque Basado en Argumentos.

3.2. MÉTODOS PARA EL PROCESO DE VALIDACIÓN

Con el fin de responder a nuestra inquietud sobre los métodos que se han seguido para la implementación del Enfoque Basado en Argumentos, se elaboró la Tabla 5; para un mejor seguimiento de los artículos se señala el nombre del artículo, autores y métodos. Si bien ya se han descrito las discrepancias sobre el método o sobre la pluralidad de posibles métodos (Lavery, et al. 2020; Chapelle et al. 2010), en la Tabla 5 se refuerza la idea de dicha heterogeneidad, a continuación, se procuró agrupar a las investigaciones en diferentes categorías con el fin de responder a las preguntas de la presente RSL.

Análisis de corpus y comparaciones discursivas: Ginther y Elder (2014), Staples, LaFlair y Egbert (2017), y LaFlair y Staples (2017) adoptaron técnicas basadas en el análisis de corpus y discursivo para evaluar la competencia lingüística. Ginther y Elder centraron su atención en pruebas populares de dominio del inglés, analizando las respuestas de estudiantes en dos universidades distintas mediante cuestionarios y entrevistas. Staples, LaFlair y Egbert se sumergieron en la comparación de diferentes corpus para analizar el discurso en variadas situaciones, brindando una visión de cómo los hablantes emplean el idioma en contextos específicos. LaFlair y Staples, mientras tanto, se centraron en el análisis lingüístico cuantitativo y cualitativo, utilizando registros de corpus para evaluar las habilidades de habla en ámbitos académicos, profesionales y sociales.

Métodos mixtos (cuantitativas y cualitativas): Fan (2014) y ShayesteFar (2020) emplearon un diseño de métodos mixtos, combinando técnicas cuantitativas y cualitativas para obtener resultados más ricos y multidimensionales. Fan tuvo como fin comprender las actitudes de los participantes hacia el aprendizaje del inglés. ShayesteFar, por otro lado, implementó una combinación de encuestas y análisis estadístico descriptivo para investigar las consecuencias afectivas del cambio en el aprendizaje del inglés.

Validación y desarrollo de pruebas: Esfandiari et al. (2018), Jawhar et al. (2021), Fechter et al. (2021), y Seipel et al. (2023) centraron sus investigaciones en la validación y desarrollo de pruebas. Y, en el caso de Esfandiari et al. llevaron a cabo un examen detallado del contenido y propósito del TOEFL iBT, mientras que Jawhar et al. se concentraron en validar una prueba de ingreso al inglés a través de tres fases. Aunado a ello, Fechter et al. se enfocaron en la validación de una herramienta diseñada para evaluar habilidades específicas en biología, y Seipel et al. desarrollaron y validaron una tarea centrada en la comprensión causal.

Centrados en la pragmática y habilidades de argumentación: Li (2018), Beigman et al. (2017), y Chuang y Yan (2022) se adentraron en la pragmática y las habilidades de argumentación. Li se alineó en la comprensión pragmática en diálogos de chino hablado natural, mientras que Beigman et al. analizaron la retórica en distintos géneros de escritura, especialmente en el ámbito argumentativo. Chuang y Yan, por su parte, investigaron la habilidad de los estudiantes internacionales para formular argumentos en ensayos basados en tareas integradoras.

TABLA 5.

RESUMEN DE LOS TEMAS LOCALIZADOS EN LA RSL

Además, es posible destacar tres puntos positivos del Enfoque Basado en Argumentos; primero, permite un desarrollo natural de la evidencia de las interpretaciones y usos previstos de las puntuaciones; a diferencia de Schilling (2004), Sireci (2007; 2014) y Mislevy et al. (2003), se concluye que efectivamente da pie a ajustarse a las necesidades de la prueba. Segundo, permite establecer un esbozo de la investigación; como en el caso de Fechter et al. (2021), quienes desarrollaron su propio diagrama. Tercero, estructura los resultados de la investigación, permitiendo evidenciar cada inferencia con su respectiva evidencia o evidencias. Y según la revisión de autores, ambas ideas siguen prevaleciendo en cada uno de los artículos consultados para esta RSL. Suelen citar a Kane cuando sí se centran en este Enfoque y citan a Messick como un complemento teórico y para introducir al lector en la temática de la validación y validez.

Las investigaciones más relevantes de un método explícito y organizado para la validación de pruebas de ingreso a la universidad basándose en el desarrollo de argumentos son, por un lado, el estudio de Ginther y Elder (2014), que realizaron un análisis comparativo de pruebas ampliamente reconocidas, como el TOEFL iBT, IELTS y PTE, proporcionando una visión detallada de la estructura y eficacia de estas evaluaciones en un contexto universitario. Por otro lado, Esfandiari et al. (2018) que abordaron la validez del TOEFL iBT a través de un análisis sistemático del contenido y una encuesta detallada, lo que resalta la importancia de recopilar opiniones directas sobre el propósito y contenido del examen. Además, Aviad-Levitzky, Laufer y Goldstein (2019) ofrecen un enfoque más técnico, utilizando diversas técnicas de análisis, como el coeficiente alfa de Cronbach, para examinar un test empleado en el proceso de admisión universitaria en Israel, lo que refleja la adaptabilidad y relevancia de estas técnicas en diferentes contextos culturales y académicos. Jawhar et al. (2021) se centraron específicamente en el proceso de validación de un examen de ingreso al inglés, lo que evidencia la meticulosidad requerida para garantizar la validez de pruebas lingüísticas en un entorno académico. Por último, el enfoque adoptado por Seipel et al. (2023) en biología y las técnicas utilizadas, como el análisis de la Curva ROC, demuestran cómo se pueden adaptar métodos específicos de validación a diferentes disciplinas académicas.

Hay que enfatizar en la importancia de realizar estudios empíricos de validación que involucren a múltiples partes interesadas y utilicen diferentes métodos para garantizar la validez de las interpretaciones y usos de las puntuaciones de las pruebas (Im et al., 2019). Por ello, concluimos que el enfoque de Kane es un método para el desarrollo de supuestos vinculados a inferencias que finalmente respaldan las interpretaciones y usos previstos de la medida en estudio (Chapelle y Enright, 2010). En este sentido, se puede constatar que poco a poco habrá más estudios empíricos que expliciten el Enfoque Basado en Argumentos, por ende, se espera que estos 17 artículos apoyen en investigaciones futuras. Este enfoque proporciona a los investigadores una gran flexibilidad para determinar el argumento que desean hacer basado en el contexto y propósito de la prueba, como pudimos observar en la variedad de estudios con este enfoque (Addey et al., 2020; Kane, 2013).