Madde Tepki Kuramı Ağaç yaklaşımıyla kayıp verilerin modellenmesinin farklı simülasyon koşullarında parametre kestirimlerine etkisi

YEŞİM BERİL SOĞUKSU

Madde Tepki Kuramı Ağaç yaklaşımıyla kayıp verilerin modellenmesinin farklı simülasyon koşullarında parametre kestirimlerine etkisi

Tezin Türü: Doktora

Tezin Yürütüldüğü Kurum: Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Eğitim Bilimleri, Türkiye

Tezin Onay Tarihi: 2024

Tezin Dili: Türkçe

Öğrenci: YEŞİM BERİL SOĞUKSU

Danışman: Ergül Demir

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Bu araştırmanın amacı, ikili puanlanan testlerde, farklı kayıp veri mekanizmaları altındaki kayıp verilerin Madde Tepki Kuramı Ağaç (MTKA) yaklaşımıyla modellenmesinin yetenek kestirimlerine etkisini, farklı simülasyon koşullarında ve bazı başarılı olarak kabul edilen kayıp veri yöntemleriyle karşılaştırarak ortaya koymaktır. Araştırmanın amacı doğrultusunda 3 farklı kayıp veri mekanizması (Tamamen Seçkisiz Kayıp - TSK, Seçkisiz Kayıp - SK ve Seçkisiz Olmayan Kayıp - SOK), kayıp veri yüzdesi (10, 25 ve 40), madde uzunluğu (20, 30 ve 40), örneklem büyüklüğü (400, 750 ve 1500) değişimlenerek, 100 tekrardan oluşan veri üretimleri R programlama dili kullanılarak gerçekleştirilmiş, tüm koşulların çaprazlanmasıyla toplam 3x3x3x3=8100 veri seti elde edilmiştir. Üretilen veri setlerinde simülasyon geçerliğine yönelik kontroller yapıldıktan sonra Madde Tepki Kuramı (MTK), İki Parametreli Lojistik Modele (2PLM) yönelik Beklenen Sonsal Dağılım (EAP) yetenek kestirimleri gerçekleştirilmiş ve bu kestirimler referans parametreleri olarak alınmıştır. TSK, SK ve SOK mekanizmalarına yönelik, belirlenen oranlarda kayıp veriler oluşturulduktan sonra veri setlerinde MTKA yaklaşımı kullanılarak kayıp veriler modellenmiş, aynı zamanda Beklenti-Maksimizasyon Algoritması (BMA) ve Çoklu Atama (ÇA) yöntemleriyle kayıp verilerle baş edilmiştir. Yöntemler kullanıldıktan sonra tüm veri setlerinde 2PLM'ye yönelik EAP yetenek kestirimleri gerçekleştirilmiştir. Kestirilen parametrelerin, referans parametrelere ne ölçüde benzediğinin belirlenebilmesi için yanlılık ve Ortalama Karekök Hatası (RMSE) değerleri hesaplanarak, bu değerlerin ortalamaları alınmıştır. MTKA yaklaşımının, yetenek kestirimlerine yönelik ortalama yanlılık ve RMSE değerleri açısından diğer yöntemlerden manidar olarak farklılaşıp farklılaşmadığının tespit edilebilmesi için Faktöriyel ANOVA analizi gerçekleştirilmiştir. Sonuç olarak, yanlılık ortalamaları açısından, MTKA yaklaşımının araştırmada yer alan tüm koşullarda BMA ve ÇA yöntemlerinden biraz daha yüksek, negatif yönlü ve 0'a oldukça yakın yanlılık ortalamalarına neden olduğu; TSK ve SOK mekanizmalarına yönelik kayıplar içeren, düşük madde sayısına sahip testlerin uygulandığı orta büyüklükteki örneklemlerde, yetenek kestirimlerinin yanlılık ortalamalarının, diğer koşullara göre daha düşük olduğu tespit edilmiştir. RMSE ortalamaları açısından, araştırmada yer alan tüm koşullarda MTKA yaklaşımıyla, BMA ve ÇA yöntemlerinden daha düşük RMSE ortalamaları elde edildiği belirlenmiş, bunun yanı sıra MTKA ile TSK ve SOK mekanizmalarındaki kayıp verilerde, kayıp veri yüzdesinin düşük, madde sayısının yüksek olduğu durumlarda daha düşük RMSE ortalamaları elde edildiği tespit edilmiştir. Simülasyon çalışmasını desteklemek amacıyla gerçekleştirilen gerçek veri çalışmasında, PISA (Uluslararası Öğrenci Değerlendirme Programı) 2012 İtalya Matematik testi verileriyle çalışılmıştır. Gerçek veri setinde yer alan kayıp verilere, PISA 2012'de kayıp verilerle mücadelede kullanılan 'Sıfır Atama' yöntemiyle değer ataması yapılmış, veri setinde 2PLM'ye yönelik EAP yetenek kestirimleri gerçekleştirilerek bu kestirimler referans parametreleri olarak alınmıştır. Gerçek veri setinde, MTKA yaklaşımıyla kayıp veriler modellenmiş, aynı zamanda BMA ve ÇA yöntemleriyle kayıp verilerle baş edilmiştir. Yöntemler kullanıldıktan sonra yetenek kestirimlerine yönelik yanlılık ve RMSE değerleri hesaplanmıştır. Ayrıca yöntemler kullanıldıktan sonra kestirilen yetenek parametrelerinin, manidar olarak farklılaşıp farklılaşmadığının tespit edilebilmesi için Tekrarlı Ölçümler ANOVA analizi gerçekleştirilmiştir. Sonuç olarak MTKA yaklaşımının kullanıldığı durumda yetenek parametrelerinin yanlılık değerinin 0'a oldukça yakın ve BMA ve ÇA yöntemlerine göre biraz daha düşük olduğu, yanlılık değerinin simülasyon sonuçlarına benzer şekilde negatif yönlü olduğu tespit edilmiştir. Elde edilen RMSE değeri, simülasyon çalışmasında olduğu gibi BMA ve ÇA yöntemleriyle elde edilen RMSE değerlerinden daha düşüktür. Yöntemler kullanıldıktan sonra kestirilen yetenek parametrelerinin manidar olarak farklılaşmadığı, dolayısıyla MTKA yaklaşımının, gerçek bir veri setinde, yetenek parametrelerinin doğruluğu açısından BMA ve ÇA yöntemleri kadar etkili olduğu tespit edilmiştir.