Revista Polo del Conocimiento


Polo del Conocimiento

 

 

Equiparacin estadstica de puntuaciones en 4to y 7mo de Educacin General Bsica del Ecuador utilizando software R.

 

Statistical equating of scores in 4th and 7th grade of General Basic Education in Ecuador using R software.

 

Equao estatstica das pontuaes no 4 e 7 ano do Ensino Bsico Geral no Equador utilizando software R.

 

Hctor Salomn Mullo-Guaminga I
hmullo@espoch.edu.ec   
https://orcid.org/0000-0001-8448-4652
Jessica Alexandra Marcatoma-Tixi II
jessica.marcatoma@unach.edu.ec  
https://orcid.org/0000-0001-9531-3234
Danny Gabriel Guao-Reyes III
danny.guano@evaluacion.gob.ec  
https://orcid.org/0000-0001-9426-5285 
Pavl Wladimir Garca-Daz IV
pavel.garcia@evaluacion.gob.ec  
https://orcid.org/0000-0003-2756-0174
Oswaldo Villacrs-Cceres V
ovillacres@espoch.edu.ec  
https://orcid.org/0000-0002-5894-5248
 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


 

Correspondencia: [email protected]

 

 

Ciencias de la Educacin

Artculo de Investigacin

 

 

* Recibido: 25 de abril de 2022 *Aceptado: 16 de mayo de 2022 * Publicado: 16 de Junio de 2022

 

 

        I.            Ingeniero en Estadstica Informtica, Mster Universitario en Estadstica Aplicada, Doctor en Estadstica Matemtica y Aplicada, Escuela Superior Politcnica de Chimborazo (ESPOCH), Riobamba, Ecuador.

     II.            Ingeniero en Estadstica Informtica, Mster Universitario en Estadstica Aplicada, Universidad Nacional de Chimborazo (UNACH), Riobamba, Ecuador.

   III.            Ingeniero en Administracin de Empresas, Instituto Nacional de Evaluacin Educativa (INEVAL), Quito, Ecuador.

  IV.            Ingeniero Estadstico, Instituto Nacional de Evaluacin Educativa (INEVAL), Quito, Ecuador.

     V.            Ingeniero en Sistemas Informticos, Magster en Gestin de Bases de Datos, Escuela Superior Politcnica de Chimborazo (ESPOCH), Riobamba, Ecuador.


Resumen

La investigacin trata sobre la evaluacin de los aprendizajes educativos de 4to y 7mo nivel de Educacin General Bsica del Ecuador, donde se desarrolla una comparativa temporal de los resultados de las evaluaciones en los ciclos 2014, 2015, 2016, 2017, 2018 y 2019, mediante una equiparacin con bloques rotados siguiendo la metodologa de valores plausibles, considerando un diseo de grupos no equivalentes con covariables (edad y sexo) e tems ancla. Dentro de los principales resultados, se destaca el uso del estadstico de la mediana, para 4to EGB, la habilidad mediana de los sustentantes desde el ciclo 2014 a 2017 se incrementa. Sin embargo, a partir del ciclo 2017 a 2019 la habilidad disminuye. Luego, para 7mo EGB desde el ciclo 2014 se observa una disminucin de la habilidad hasta el ciclo 2016. Seguido, a partir de 2016 se tiene un aumento de la habilidad hasta el ciclo 2019. Finalmente, estos resultados sugieren que los logros de aprendizaje de los estudiantes fluctan y no muestran un patrn de tendencia concordante para 4to y 7mo en conjunto. Por lo tanto, es necesario una evaluacin minuciosa de las polticas a favor del aumento de los logros de aprendizaje del Ministerio de Educacin del Ecuador en los periodos de aumento y disminucin de los logros de aprendizaje, para detectar fortalezas y reas de mejora de la calidad educativa en el Ecuador.

Palabras Claves: Evaluacin Educativa; Educacin General Bsica; Equiparacin; Psicometra.

 

Abstract

The research deals with the evaluation of educational learning of the 4th and 7th level of General Basic Education in Ecuador, where a temporary comparison of the results of the evaluations in the 2014, 2015, 2016, 2017, 2018 and 2019 cycles is developed, through a comparison with rotated blocks following the methodology of plausible values, considering a design of non-equivalent groups with covariates and anchor items. Among the main results, the use of the median statistic stands out, for the 4th EGB, the median ability of the supporters from the 2014 to 2017 cycle increases. However, from the 2017 to 2019 cycle the ability decreases. Then, for the 7th EGB from the 2014 cycle, a decrease in ability is observed until the 2016 cycle. Next, from 2016 there is an increase in ability until the 2019 cycle. Finally, these results suggest that the learning achievements of students fluctuate and do not show a concordant trend pattern for 4th and 7th grades combined. Therefore, a thorough evaluation of the policies in favor of the increase in learning achievements of the Ministry of Education of Ecuador is necessary in the periods of increase and decrease in learning achievements, to detect strengths and areas for quality improvement. education in Ecuador.

Keywords: Educational Evaluation; Basic General Education; Equating; Psychometry.

 

Resumo

A investigao trata da avaliao da aprendizagem educacional nos 4 e 7 nveis do Ensino Bsico Geral no Equador, onde desenvolvida uma comparao temporal dos resultados das avaliaes nos ciclos de 2014, 2015, 2016, 2017, 2018 e 2019, atravs de uma equao com blocos rotativos seguindo a metodologia de valores plausveis, considerando uma concepo de grupos no equivalentes com covariatos (idade e sexo) e itens de ncora. Entre os principais resultados, destacamos a utilizao da estatstica mediana, para o 4 EGB, a capacidade mediana dos tomadores de teste do ciclo de 2014 a 2017 aumenta. Contudo, a partir do ciclo de 2017 a 2019 a capacidade diminui. Depois, para o 7 GBS a partir do ciclo de 2014, observa-se uma diminuio da capacidade at ao ciclo de 2016. Depois, a partir de 2016 h um aumento das capacidades at ao ciclo de 2019. Finalmente, estes resultados sugerem que os resultados de aprendizagem dos estudantes flutuam e no mostram um padro de tendncia concordante para o 4 e 7 ano como um todo. Por conseguinte, necessria uma avaliao minuciosa das polticas pr-realizaes do Ministrio da Educao equatoriano durante perodos de aumento e diminuio dos resultados de aprendizagem para detectar pontos fortes e reas para melhorar a qualidade da educao no Equador.

Palavras-chave: Avaliao Educacional; Educao Bsica Geral; Equipoise; Psicometria.

 

Introduccin

La evaluacin educativa es el ejercicio permanente mediante el cual se pretende estimar y formular juicios sobre el proceso educativo del estudiante, as como sobre sus resultados de aprendizaje con el objetivo de aumentar y/o mantener la calidad de la educacin (Ministerio de Educacin Nacional, 1997). En este sentido el Instituto Nacional de Evaluacin Educativa (Ineval) desarrolla peridicamente el proyecto de evaluacin educativa Ser Estudiante (SEST) el cual evala los aprendizajes educativos del nivel de Educacin General Bsica (EGB) y Bachillerato General Unificado (BGU) del Ecuador (Ineval, 2022). Los resultados de la evaluacin SEST permiten conocer los logros de aprendizaje de los estudiantes del Sistema Nacional de Educacin, y con base a estos se puede detectar fortalezas y reas de mejora, para elevar la calidad educativa del Ecuador (Ineval, 2021 a). Si bien es cierto el Ineval desarrolla el proyecto de evaluacin educativa SEST peridicamente y presenta resultados sobre este proceso (ver por ejemplo: Ineval, 2021 b; Ineval, 2021 c). Sin embargo, no se tiene una comparativa temporal entre los logros de aprendizaje de los estudiantes, esto no permite tener un panorama claro sobre la evolucin del aprendizaje en el Sistema Nacional de Educacin del Ecuador y reduce la capacidad de tomar decisiones bien informadas en favor de la calidad de la educacin. Por lo tanto, en el marco del proyecto Ser Estudiante se pretende en este trabajo realizar una equiparacin de calificaciones de los distintos periodos de evaluacin 2013-2019 para 4to y 7mo EGB, para colocar en una misma escala las puntuaciones de los diferentes periodos de evaluacin.

Para lograr el objetivo planteado en el acpite anterior, se describe a continuacin la teora de la equiparacin siguiendo a Gonzlez y Wiberg (2017), junto con el procedimiento de recoleccin de datos en equiparacin. Antes de esto, es importante tener en cuenta que en el proceso de equiparacin de puntuaciones en evaluaciones educativas, las diferencias de puntuacin no se deben exclusivamente a diferencias en la dificultad de las formas de las pruebas[1]. Puede suceder que un grupo de examinados sea simplemente ms hbil que el otro, en cuyo caso, una comparacin entre grupos mediante el uso de las puntuaciones de las pruebas, confunde la habilidad de los individuos de los dos grupos. En este sentido, una definicin de equiparacin debe considerar los puntajes en dos formas de prueba como equivalentes en un grupo de sustentantes, si representan la misma posicin relativa en el grupo.

Formulacin estadstica del problema de equiparacin

Aunque en muchos casos, se deben equiparar ms de dos formas de prueba, para facilitar la exposicin, se consideran solo dos formas de prueba y las denotaremos como e . Se supondr que estas dos formas se administran a y sustantivos seleccionados al azar, respectivamente. Las puntuaciones obtenidas de la forma de prueba se indican con , y las obtenidas con como . Se supone que las puntuaciones e son variables aleatorias que se definen en consecuencia en los espacios muestrales e , y que siguen las distribuciones y , respectivamente.

El problema estadstico de la equiparacin consiste en modelar la relacin entre un puntaje en una forma de prueba y su puntaje correspondiente en otra forma. Matemticamente, esto significa que se debe definir una funcin que tome valores en y d como resultado un valor en . La siguiente definicin es general para cualquier funcin de transformacin de equiparacin.

Definicin 1: Sean e dos espacios muestrales. Una funcin se denomina transformacin de equiparacin.

La definicin 1 establece que la transformacin de equiparacin mapea los puntajes de una forma de prueba en la escala de otra. Una forma matemtica explcita para , depender de la definicin de equiparacin o, en otras palabras, de la forma en que se operacionalice la idea de tratar las puntuaciones como si procediera de la misma prueba.

Definicin 2 (Definicin de equiparacin de Braun y Holland (1982)): Sean e dos formas de prueba que generan ambos datos de puntuacin e , respectivamente. Se dice que las formas e se equiparan en la poblacin por si .

La definicin 2 indica que dos puntuaciones e se equiparan si la distribucin de y la de las puntuaciones transformadas (equiparadas) son iguales. Bajo esta definicin, podemos obtener una forma explcita para que iguale a en . De hecho, si e son los cuantiles en las distribuciones de las puntuaciones de las pruebas e para una proporcin acumulativa comn arbitraria de la poblacin, es decir, y , se sigue que, para cada , con el requisito de que , se puede obtener una puntuacin equivalente en la prueba para una puntuacin en como

.

Aunque la ecuacin anterior se puede utilizar en general para la comparacin de dos muestras o distribuciones de variables aleatorias, en la literatura de igualacin la funcin se conoce como la transformacin equipercentil. La heurstica detrs de esta definicin es simple: definir puntajes equiparados como aquellos que tienen el mismo rango percentil en un grupo dado de examinados.

Recopilacin de datos en equiparacin

En la prctica, se necesitan datos de puntuacin para la estimacin de . Debido a que las diferencias en la distribucin de puntajes pueden atribuirse a diferencias en la dificultad de las formas de prueba administradas o debido a diferencias en la habilidad de los sustentantes, es necesario desentraar la confusin antes de que se produzca cualquier vnculo entre e . La equiparacin corrige las diferencias en la dificultad de las formas de prueba, por lo que primero necesitamos un mtodo de corregir las diferencias en la habilidad. El modo en que se realice dicha correccin se guiar por el mtodo en que se recopilen los datos de puntuacin. Dependiendo de la situacin, se usarn personas o tems comunes para desentraar la confusin entre estos dos factores.

Aunque en principio es posible obtener datos de cualquier nmero de grupos diferentes de examinados dentro de cualquier nmero de poblaciones diferentes, la exposicin que sigue considerar slo dos poblaciones y dos grupos dentro de cada poblacin. Del mismo modo, slo se considerarn dos formas de prueba y una prueba de anclaje[2], aunque en teora cualquier nmero de ellos podra usarse para igualar.

Al definir los diseos de equiparacin, la poblacin de inters o la poblacin objetivo de la que se obtendrn los datos de puntuacin se indicar como . Si los examinados no pueden considerarse equivalentes, sino que se considera que provienen de diferentes poblaciones, entonces las dos diferentes poblaciones se denotan como y . En tal caso, ser una especie de mezcla de y . La Tabla siguiente muestra un resumen de los diseos de equiparacin para recopilar datos de puntuacin que se utilizan comnmente en la literatura de equiparacin.

Descripcin de los diseos de equiparacin con respecto a poblaciones, grupos y qu informacin se recopila

 

Tabla 1. Descripcin de diseos de equiparacin segn poblaciones, grupos e informacin recopilada

 

 

Diseo

Grupo

SG

x

x

 

 

 

 

 

 

 

 

 

 

EG

x

 

 

 

 

 

 

 

 

 

 

 

 

x

 

 

 

 

 

 

 

 

 

 

CB

x

x

 

 

 

 

 

 

 

 

 

 

x

x

 

 

 

 

 

 

 

 

 

 

NEAT

 

 

 

 

x

 

x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x

x

 

NEC

 

 

 

 

x

 

 

x

 

 

 

 

 

 

 

 

 

 

 

 

 

x

 

X

Fuente: (Gonzlez y Wiberg, 2017)

Elaborado: Autores

 

Donde en la Tabla 1 se representa como:: Covariables, : Prueba de anclaje, : Poblacin objetivo, : Forma de prueba , : Forma de prueba , : Poblacin , : Poblacin , SG: Solo un grupo, EG: Grupos equivalentes, CB: Contrapesada, NEAT: Grupos no equivalentes con prueba de anclaje, NEC: Grupos no equivalentes con covariables.

En las diferentes evaluaciones que desarrolla el Ineval, como Ser Estudiante, Ser Maestro, Quiero Ser Maestro Intercultural Bilinge, etc. Se plantea el uso de varias formas de prueba con tems anclados a diferentes grupos de la poblacin. Adems, se incluye una Encuesta de Factores Asociados que responde a circunstancias que pueden incidir en el desempeo de las y los estudiantes evaluados. Por lo tanto, el diseo de equiparacin implcito que ocupa el Ineval es de Grupos no equivalentes con prueba de anclaje (NEAT) y/o Grupos no equivalentes con covariables (NEC).

Por otro lado, el Ineval en los ltimos aos tiene una apuesta decidida a la utilizacin de la Teora de Respuesta al tem (TRI) para analizar pruebas, en este sentido, se utiliza para la equiparacin la TRI en el contexto de una combinacin de NEAT y NEC. Luego, como el objetivo es realizar la equiparacin de puntuaciones de los distintos periodos de evaluacin para 4to y 7mo EGB del proyecto SEST, se realiza la equiparacin con bloques rotados (Kolen y Brennan, 2004) siguiendo la metodologa de valores plausibles (Fuentealba, 2020).

 

Metodologa

Participantes: Los participantes de la evaluacin de resultados de aprendizaje para 4to EGB de Ecuador fueron 10680, 7589, 8850, 7340, 10715 y 13769 para los ciclos 2013-2014 (2014), 2014-2015 (2015), 2015-2016 (2016), 2016-2017 (2017), 2017-2018 (2018) y 2018-2019 (2019). Mientras que el nmero de participantes para 7mo EGB fueron 11453, 112368, 10423, 7853, 10930 y 13892 para los ciclos 2014, 2015, 2016, 2017, 2018 y 2019 respectivamente.

Evaluacin: El instrumento de evaluacin const de un nmero determinado de tems de los campos disciplinares de Matemtica, Lengua y Literatura, Ciencias Naturales y Ciencias Sociales. El formato de evaluacin fue presencial, esta evaluacin se aplica en 4 das, donde se ocupa un da por campo disciplinar y el tiempo de evaluacin fue de 120 minutos.

Proceso: La obtencin de los datos que se muestran a continuacin, se realiz a travs de una solicitud ciudadana de datos codificados y anonimizados al Ineval. Esta informacin responde a las polticas de datos abiertos del Ineval para salvaguardar los lineamientos de confidencialidad que exige la ley.

1.    Mapas tcnicos[3] de 4to y 7mo de Educacin General Bsica de los ciclos 2014, 2015, 2016, 2017, 2018 y 2019.

2.    Matriz de 0/1[4] de 4to y 7mo de Educacin General Bsica de los ciclos 2014, 2015, 2016, 2017, 2018 y 2019.

3.    Matriz de factores asociados[5] (FA) con informacin de variables primarias como sexo y edad.

Posteriormente se defini el proceso de equiparacin del siguiente modo:

1.    Se verifica la consistencia entre la informacin de los mapas tcnicos y las matrices de 0/1 correspondientes, verificado el cdigo nico de los tems de ambas matrices.

2.    Se verifica la consistencia entre la informacin de las matrices de 0/1 y la matriz de factores asociados, verificado los cdigos de identificacin de los sustentes, segn las variables clip, amie y cdula segn sea el caso.

3.    Se realiza la equiparacin con bloques rotados (Kolen y Brennan, 2004) siguiendo la metodologa de valores plausibles (Fuentealba, 2020) de 4to y 7mo y 7mo de Educacin General Bsica de los ciclos 2014, 2015, 2016, 2017, 2018 y 2019. Esto mediante la informacin de las matrices de 0/1 y de factores asociados. Se considera como escala base al ciclo 2014. La equiparacin se desarrolla considerando un diseo de grupos no equivalentes con covariables[6] e tems ancla, siguiendo los pasos:

a)   Preparacin de la matriz 0/1 y covariables de los ciclos iniciales y final.

b)   Calibracin de los ciclos inicial y final con covariables mediante regresin latente (Adams y Wu, 2007; Adams, Wilson y Wu, 1997).

c)   Calibracin concurrente de los ciclos inicial y final (Wingersky y Lord, 1984).

d)  Calibracin del ciclo inicial con parmetros de los tems fijos obtenidos del paso dos (Kim, 2006). Los tems fijos son aquellos tems considerados como anclas.

e)   Obtencin de constantes de transformacin lineal, utilizando el mtodo de momentos y el enfoque de valores plausibles. Es importante, guardar las constantes de transformacin lineal en todas las equiparaciones entre ciclos.

f)    Escalamiento del ciclo final a la escala del ciclo inicial utilizando los resultados del paso anterior. Se guardan, las equiparaciones obtenidas entre los ciclos.

4.         Mediante un proceso de encadenamiento (es decir, transformado secuencialmente), las constantes de transformacin lineal obtenidas en el paso anterior se utilizan para colocar las equiparaciones de los diferentes ciclos en la escala base 2014. Despus de este proceso de encadenamiento, todas las distribuciones de habilidad estimadas estn en la escala base 2014. Adems, la media y la desviacin estndar de las distribuciones de habilidad estimadas transformadas a la escala base 2014 se pueden utilizar para comparar la diferencia en la habilidad media y la variabilidad en los diferentes ciclos de evaluacin (Kolen y Brennan, 2004).

Es importante indicar que para el procedimiento de equiparacin se utiliz bsicamente el paquete TAM de los autores Kiefer, Robitzsch y Wu (2016) del software estadstico R.

 

Resultados

Consistencia entre la informacin de las matrices de 0/1 y la matriz de factores asociados

En general para 4to y 7mo EGB, existe una buena consistencia entre la informacin de las matrices de 0/1 y la matriz de factores asociados, esto permite seguir el procedimiento planteado para la equiparacin mediante covariables.

 

Tabla 2. 4to EGB: Consistencia entre la informacin de las matrices de 0/1 y la matriz de factores asociados, segn ciclos

Ciclo

Sustentantes, matriz 0/1

tems matriz 0/1

Sustentantes cruce matriz 0/1 y FA

NAs variable sexo

NAs variable edad

2014

10680

120

10659

0

0; 3*

2015

7589

150

7589

0

0

2016

8850

142

8850

0

0; 1155*

2017

7340

149

7276

0

0

2018

10715

148

10715

0

2

2019

13769

123

13686

0

0

*Valores iguales o inferiores a 0, que fueron imputados mediante la mediana.

Fuente: (Ineval, 2022)

Elaborado: Autores

Tabla 3. 7mo EGB: Consistencia entre la informacin de las matrices de 0/1 y la matriz de factores asociados, segn ciclos

Ciclo

Sustentantes, matriz 0/1

tems matriz 0/1

Sustentantes cruce matriz 0/1 y FA

NAs variable sexo

NAs variable edad

2014

11453

166

11432

0

0; 4*

2015

112368

219; 186**

112350

0

0

2016

10423

175

10422

0

0; 1119*

2017

7853

169

7846

0

0

2018

10930

168

10930

0

1

2019

13892

136

13803

0

0

*Valores iguales o inferiores a 0, que fueron imputados mediante la mediana.

**Nmero de tems luego de quitar aquellos con ms del 96% de valores faltantes. Esto, debido a que el proceso de calibracin no converge sin este cambio.

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Cantidad de tems ancla entre ciclos

Tanto para 4to y 7mo EGB, se tiene una buena cantidad de tems ancla entre ciclos contiguos que permiten desarrollar el procedimiento planteado para la equiparacin mediante covariables e tems ancla.

 

Tabla 4. Cantidad de tems ancla segn ciclo y nivel educacin general bsica

Ciclo Inicial

Ciclo Final

4to EGB: tems ancla

7mo EGB: tems ancla

2014

2015

75

77

2015

2016

75

109

2016

2017

69

81

2017

2018

84

102

2018

2019

88

104

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Escalamiento y constantes de transformacin lineal

Para realizar la equiparacin se utiliza la transformacin , esto en forma de ecuacin lineal es: . Las constantes de transformacin lineal se obtienen, utilizando el mtodo de momentos y el enfoque de valores plausibles como se indica a continuacin:

 

Los resultados del clculo de las constantes de transformacin lineal se presentan en la Tabla 5 y 6.

 

Tabla 5. Constantes de transformacin lineal de 4to EGB, segn ciclo inicial y final de la equiparacin

Ciclo Inicial

Ciclo Final

A

B

2014

2015

0.1225

0.9352

2015

2016

0.2187

0.8228

2016

2017

-0.0179

0.9324

2017

2018

0.2417

0.9702

2018

2019

-0.4270

0.9645

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Tabla 6. Constantes de transformacin lineal de 7mo EGB, segn ciclo inicial y final de la equiparacin

Ciclo Inicial

Ciclo Final

A

B

2014

2015

0.1222

1.0162

2015

2016

-0.2860

0.9873

2016

2017

0.3528

0.9577

2017

2018

0.2747

0.9822

2018

2019

0.2089

0.9598

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Equiparacin con bloques rotados siguiendo la metodologa de valores plausibles y proceso de encadenamiento de 4to y 7mo EGB

Los resultados del proceso de equiparacin de 4to EGB se pueden observar en la Figura 1 y Tabla 7. El estadstico de la mediana muestra que la habilidad de los sustentantes desde el ciclo 2014 a 2017 se increment. Sin embargo, a partir del ciclo 2017 a 2019 la habilidad disminuy. La variabilidad de las distribuciones de habilidad disminuye conforme pasan los ciclos.

Como una forma de contrastar los resultados de equiparacin se muestra los resultados de la estimacin de las distribuciones de habilidad sin considerar la equiparacin. En el caso de 4to EGB se muestra esta informacin en la Figura 2 y Tabla 8. Al comparar los resultados de manera rstica y utilizando la mediana, se tiene que en generar la habilidad aumenta y luego disminuye en el siguiente ciclo. Claramente, estos resultados son errneos y se presentan slo para analizar, qu pasara si no se considera la equiparacin en la comparacin de resultados de evaluacin estandarizada.

Por otro lado, utilizando la mediana para 7mo EGB desde el ciclo 2014 se observa una disminucin de la habilidad hasta el ciclo 2016. Luego, a partir de 2016 se tiene un aumento de la habilidad hasta el ciclo 2019. La desviacin estndar se mantiene estable para todos los ciclos de evaluacin (ver Figura 3 y Tabla 9). Estos resultados contrastan con los obtenidos en la comparacin sin considerar la equiparacin (ver Figura 4 y Tabla 10).

 

Figura 1. Distribucin de valores plausibles EQUIPARADOS de 4to EGB, segn ciclos y sin datos atpicos

Grfico, Grfico de cajas y bigotes

Descripcin generada automticamente

Elaborado: Autores

 

 

Figura 2. Distribucin de valores plausibles NO EQUIPARADOS de 4to EGB, segn ciclos y sin datos atpicos

Grfico, Grfico de cajas y bigotes

Descripcin generada automticamente

Elaborado: Autores

Tabla 7. Estadsticas descriptivas de los valores plausibles EQUIPARADOS de 4to EGB, segn ciclos

Estadstico

2014

2015

2016

2017

2018

2019

Mnimo

-2.0679

-1.7072

-1.1011

-0.8582

-0.8350

-0.5340

1er cuartil

-0.5416

-0.3442

-0.1931

-0.1093

-0.1277

-0.0691

Mediana

0.0302

0.1922

0.2687

0.3167

0.2471

0.2239

Media

0.1035

0.2356

0.3186

0.4155

0.3498

0.3151

3er cuartil

0.7645

0.8150

0.8135

0.9300

0.8189

0.6514

Mximo

2.1568

2.1571

1.9790

1.9351

1.8061

1.6022

Desviacin Estndar

0.8819

0.7990

0.6669

0.6502

0.6085

0.4984

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Tabla 8. Estadsticas descriptivas de los valores plausibles NO EQUIPARADOS de 4to EGB, segn ciclos

Estadstico

2014

2015

2016

2017

2018

2019

Mnimo

-3.2021

-3.6337

-3.4757

-3.0909

-3.3719

-2.5864

1er cuartil

-0.5229

-0.5319

-0.6959

-0.6231

-0.9220

-0.4388

Mediana

0.0169

0.1073

-0.0586

0.0384

-0.3264

0.0599

Media

0.0989

0.1211

-0.0162

0.1363

-0.1993

0.1925

3er cuartil

0.7472

0.7258

0.5975

0.8310

0.4898

0.7195

Mximo

3.3809

2.9133

3.0128

3.0396

2.9109

2.8442

Desviacin Estndar

1.0032

0.9105

0.9142

0.9553

0.9284

0.8186

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Figura 3. Distribucin de valores plausibles EQUIPARADOS de 7mo EGB, segn ciclos y sin datos atpicos

Grfico, Grfico de cajas y bigotes

Descripcin generada automticamente

Elaborado: Autores

 

 

 

Figura 4. Distribucin de valores plausibles NO EQUIPARADOS de 7mo EGB, segn ciclos y sin datos atpicos

Grfico, Grfico de cajas y bigotes

Descripcin generada automticamente

Elaborado: Autores

 

 

Tabla 9. Estadsticas descriptivas de los valores plausibles EQUIPARADOS de 7mo EGB, segn ciclos

Estadstico

2014

2015

2016

2017

2018

2019

Mnimo

-1.1157

-1.3296

-1.4785

-1.0546

-0.6385

-0.3245

1er cuartil

-0.3064

-0.3865

-0.6616

-0.3398

0.0842

0.1860

Mediana

0.0736

0.0690

-0.1994

0.0696

0.4863

0.5499

Media

0.1221

0.1009

-0.1703

0.1556

0.5515

0.6064

3er cuartil

0.5102

0.5560

0.2937

0.5992

0.9560

0.9612

Mximo

1.6012

1.8739

1.2839

1.8726

2.2226

2.0419

Desviacin Estndar

0.5927

0.6700

0.6228

0.6390

0.6064

0.5272

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Tabla 10. Estadsticas descriptivas de los valores plausibles NO EQUIPARADOS de 7mo EGB, segn ciclos

Estadstico

2014

2015

2016

2017

2018

2019

Mnimo

-1.0912

-1.4179

-1.2877

-1.3169

-1.1101

-1.0907

1er cuartil

-0.3320

-0.5491

-0.4737

-0.5496

-0.3953

-0.5363

Mediana

0.0364

-0.0417

-0.0454

-0.1094

0.0440

-0.1341

Media

0.1118

-0.0191

0.0023

-0.0304

0.1142

-0.0551

3er cuartil

0.5626

0.4686

0.4710

0.4614

0.5542

0.3603

Mximo

1.6604

1.7166

1.4474

1.7825

1.8436

1.5184

Desviacin Estndar

0.5946

0.6719

0.5986

0.6717

0.6381

0.5954

Fuente: (Ineval, 2022)

Elaborado: Autores

 

 

Conclusiones

Esta investigacin desarroll con xito la equiparacin con bloques rotados siguiendo la metodologa de valores plausibles, para 4to y 7mo de Educacin General Bsica de los ciclos 2014, 2015, 2016, 2017, 2018 y 2019. Esto utilizando covariables de encuesta de factores asociados. Se utiliz un proceso de encadenamiento, es decir, una transformacin secuencia entre ciclos contiguos, para que sean comparables las diferencias en la media y la desviacin estndar de las distribuciones de habilidad estimadas de los diferentes ciclos, con respecto a la escala base 2014.

El estadstico de la mediana muestra que, para 4to EGB, la habilidad mediana de los sustentantes desde el ciclo 2014 a 2017 se incrementa. Sin embargo, a partir del ciclo 2017 a 2019 la habilidad disminuye. Con respecto a la variabilidad de las distribuciones de habilidad, esta disminuye conforme pasan los ciclos. Por otro lado, utilizando la mediana para 7mo EGB desde el ciclo 2014 se observa una disminucin de la habilidad hasta el ciclo 2016. Luego, a partir de 2016 se tiene un aumento de la habilidad hasta el ciclo 2019. La desviacin estndar se mantiene estable para todos los ciclos de evaluacin.

Los resultados obtenidos del proceso de equiparacin para 4to y 7mo EGB en los ciclos 2014, 2015, 2016, 2017, 2018 y 2019 muestran que los logros de aprendizaje de los estudiantes fluctan y no muestran un patrn de tendencia concordante para 4to y 7mo en conjunto. Por lo tanto, es necesario una evaluacin minuciosa de las polticas a favor del aumento de los logros de aprendizaje del ministerio de educacin del Ecuador en los periodos de aumento y disminucin de los logros de aprendizaje, para detectar fortalezas y reas de mejora de la calidad educativa en el Ecuador.

Dentro de los limitantes de este trabajo se encuentra la imposibilidad de realizar la equiparacin discriminando entre los campos evaluados de Matemtica, Lengua y Literatura, Ciencias Naturales y Ciencias Sociales. Esto debido a que no se cuenta con tems ancla que permitan la implementacin de la metodologa utilizada en esta investigacin.

Finalmente, se detect que es necesario en el Ineval, establecer un diseo de equiparacin estndar para el Proyecto de evaluacin Ser Estudiante, entre ciclos. Tambin, sera ptimo instaurar un diseo de equiparacin, entre niveles de Educacin General Bsica, para evaluar el crecimiento del desempeo segn los niveles de EGB.

Referencias

1.      Adams, R. J., & Wu, M. L. (2007). The mixed-coefcients multinomial logit model. A generalized form of the Rasch model. In M. von Davier & C. H. Carstensen (Eds.): Multivariate and mixture distribution Rasch models: Extensions and applications (pp. 55-76). New York: Springer. doi:10.1007/9780387498393_4

2.      Adams, R. J., Wilson, M. R., and Wu, M. L. (1997). Multilevel item response modelling: An approach to errors in variables regression. Journal of Educational and Behavioral Statistics, 22, 47-76.

3.      Braun, H., & Holland, P. (1982). Observed-score test equating: a mathematical analysis of some ETS equating procedures. In P. Holland & D. Rubin (Eds.), Test equating (Vol. 1, pp. 949). New York: Academic Press.

4.      Fuentealba, F. (2020). Sesin 3 ERCE y Rosseta Stone, ERCE Metodologa y Aplicacin. Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura.

5.      Gonzlez, J., & Wiberg, M. (2017). Applying test equating methods. Cham: Springer International Publishing.

6.      Ineval. (2021 a). Ficha tcnica, Ser Estudiante, Cuarto de Educacin General Bsica. http://evaluaciones.evaluacion.gob.ec/BI/ser-estudiante/

7.      Ineval. (2021 b). Accin 21-3: Capacidad en la resolucin de problemas en los sistemas informatizados, de las personas que participaron en la tercera ronda del Programa para la Evaluacin Internacional de las Competencias de los Adultos (PIAAC). http://evaluaciones.evaluacion.gob.ec/BI/ser-estudiante/

8.      INEVAL. (2021 c). Accin Boletines de Investigacin y Evaluacin: Involucramiento parental y rendimiento acadmico en escolares de 7mo de Educacin General Bsica.

9.      Ineval. (2022). Ser Estudiante. Consultado el 24 de febrero de 2022. http://evaluaciones.evaluacion.gob.ec/BI/ser-estudiante/

10.  Kiefer, T., Robitzsch, A., & Wu, M. (2016). TAM: Test analysis modules. R Package Version 1.995-0.

11.  Kim, S. (2006). A comparative study of IRT xed parameter calibration methods. Journal of Educational Measurement, 43(4), 355381.

12.  Kolen, M. J., Brennan, R. L., & Kolen, M. J. (2004). Test equating, scaling, and linking: Methods and practices (pp. 177-180). New York: Springer.

13.  Ministerio de Educacin Nacional. (1997, p. 17). Evaluacin en el aula y ms all de ella. Bogot.

14.  Wingersky, M. S., & Lord, F. M. (1984). An investigation of methods for reducing sampling error in certain IRT procedures. Applied Psychological Measurement, 8(3), 347364.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2022 por los autores. Este artculo es de acceso abierto y distribuido segn los trminos y condiciones de la licencia Creative Commons Atribucin-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA 4.0)

(https://creativecommons.org/licenses/by-nc-sa/4.0/).



[1] Una forma de prueba es una acomodacin especfica de las preguntas en una evaluacin.

[2] Una prueba de anclaje es un subconjunto de preguntas de una prueba que se repiten en diferentes aplicaciones de la evaluacin. Estas preguntas se conocen como tems ancla.

[3] Un mapa tcnico es un documento que describe la distribucin de los tems en las diferentes formas de la prueba.

[4] Una matriz de 0/1 presenta informacin sobre la calificacin de los sustentantes de la evaluacin, es decir, es un arreglo de filas (sustentantes) y columnas (preguntas) donde se coloca 0 o 1, para incorrecto o correcto respectivamente.

[5] Una matriz de factores asociados son las respuestas a una encuesta que es llenada por los sustentantes previos a la evaluacin.

[6] Las covariables utilizadas fueron edad y sexo debido a que estas covariables presentaron informacin completa en la encuesta de factores asociados.

Enlaces de Referencia

  • Por el momento, no existen enlaces de referencia




Polo del Conocimiento              

Revista Científico-Académica Multidisciplinaria

ISSN: 2550-682X

Casa Editora del Polo                                                 

Manta - Ecuador       

Dirección: Ciudadela El Palmar, II Etapa,  Manta - Manabí - Ecuador.

Código Postal: 130801

Teléfonos: 056051775/0991871420

Email: [email protected][email protected]

URL: https://www.polodelconocimiento.com/

 

 

            



Top