Angoff (1-0), Nedelsky ve sınır değerleri saptama yöntemleri ile bir testin sınıflama doğruluklarının incelenmesi


Tezin Türü: Doktora

Tezin Yürütüldüğü Kurum: Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Türkiye

Tezin Onay Tarihi: 2013

Tezin Dili: Türkçe

Öğrenci: FAZİLET TAŞDEMİR

Danışman: ÖMAY ÇOKLUK BÖKEOĞLU

Özet:

Bu araştırma, sınıf öğretmenliği öğrencilerinin test başarılarının Angoff(1-0), Nedelsky standart belirleme yöntemleri ve sınır değer saptamayöntemleri İşlem Karakteristik Eğrisi (ROC) ve Aralık Tahmini ile belirlenensınıflama doğruluklarının incelenmesini içermektedir. Bu araştırmada farklıstandart belirleme yöntemleri incelenmiş olup araştırma, tarama modelindekorelasyonel bir araştırmadır. Ayrıca, kesme puanlarının belirlenmesi ve buyöntemlerle belirlenen sınıflandırma doğruluklarının incelenmesi sebebi ilede temel bir araştırmadır. Araştırma grubu, sınıf öğretmenliği programınınüçüncü sınıfındaki 211 öğrenciden oluşmaktadır.Araştırma grubuna Türkçe ve matematik dersi almış olma ölçütünükarşılayan öğrenciler alınmıştır. Angoff (1-0) ve Nedelsky yöntemleri ilekesme puanı belirlemek için Türkçe ve matematik alanındaki yargıcılarınkararlarına başvurulmuştur. Her bir yöntem için 10 farklı yargıcı olmak üzere40 yargıcıdan görüş alınmıştır. Araştırmada veri toplama aracı olarak, 2006-2012 yıllarında uygulanan Kamu Personeli Seçme Sınavı (KPSS)’ ndakiTürkçe ve matematik sorularından tesadüfi olarak seçilmiş toplam 30sorudan oluşan bir test kullanılmıştır. Yargıcı kararına dayalı veriler, “YargıcıKararı Edinme Formu” ile elde edilmiştir. Bu araştırmanın sonunda, enyüksek kesme puanı Türkçe ve matematik testi için Angoff (1-0) yöntemi ile elde edilmiş, başarılı sayılan öğrenci yüzdeleri arasında manidar farklılıkolduğu sonucuna ulaşılmıştır.Angoff (1-0) yönteminde Türkçe ve matematik maddelerine ait yargıcıkararları arasında uyum olmadığı görülmüştür. Nedelsky yöntemine görekesme puan belirlemede yargıcı kararları arası uyumun olduğu görülmüştür.Türkçe ve matematik testlerinin kesme puanlarının belirlenmesi içinuygulanan ROC analizi sonucunda, matematik testinin başarılı/başarısız olanöğrencileri doğru sınıflandırabildiği görülmüştür. Matematik ve Türkçe testiiçin aralık tahminine göre belirlenen kesme puanları, ROC analizindebelirlenen kesme puanlarla uyumlu bulunmuştur. Sonuç olarak, Türkçe vematematik alt testleri için Angoff (1-0) ve Nedelsky; ROC ve Aralık Tahminiyöntemlerine göre farklı kesme puanları belirlenmiştir. Hem yargıcı kararıile hem sınır değerlerle standart belirlemede yöntemlerin birbirleri ile uyumluolduğu sonucuna ulaşılmıştır. ROC analizinin, araştırmalarda kesme puanıbelirleme ve öğrencileri sınıflamada doğru kararlar verilmesinde yaygınolarak kullanılan Angoff (1-0) ve Nedelsky yöntemleri gibi kullanılabileceğisonucuna ulaşılmıştır.AbstractThis research includes the examination of classification accuracies oftest successes of class teachership students by Angoff (1-0), Nedelskystandard determination methods, limit determination methods, receiveroperating characteristic curve (ROC) and interval forecast. In this research,different standard determination methods have been examined and theresearch is correlational in scanning model. Besides, due to determination ofthe cutoff score and examination of the classification accuracies determinedwith these methods, it is a basic research. The research group consists of211 students who are in the 3rd grade of class teachership program.Students who fulfill the criteria of having taken the Turkish and mathsclasses were incorporated to the research group. For determination of cutoffscore by Angoff (1-0) and Nedelsky methods, the decisions of arbitrators inTurkish and math fields were referred to. Consultation was received fromtotally 40 arbitrators (10 different arbitrators for each method) .In theresearch, a test consisting of 30 questions (selected coincidentally fromTurkish and math questions in public personnel selection examination whichwas held in years 2006-2012.) was used as data collection tool. The databased on the decisions of the jury members has been obtained by “JuryMember Decision Collection Form”. At the end of this research, the highest cut-off scores for Turkish andmathematics tests have been obtained by Angoff (1-0) method, and it hasbeen concluded that there exists a significant difference among the studentpercents that are deemed to be successful. In Angoff (1-0) method, it hasbeen observed that there exists no consistency among the decisions of thejury members in regards to Turkish and mathematics articles. In thedetermination of the cut-off score according to Nedelsky method, it has beenobserved that there exists a consistency among the decisions of the jurymembers. As a result of the ROC analysis in order to determine the cut-offscores for Turkish and mathematics tests, it has been observed that themathematics test is capable of classifying the successful/unsuccessfulstudents accurately.It has shown that the cut-off scores determinedaccording to interval estimation for mathematics and Turkish test conform tothe cut-off scores determined in ROC analysis. As a result, Angoff (1-0) andNedelsky for General Ability sub-tests and different cut-off scores for ROCand Interval Estimation Methods have been identified. In determining thestandards by both the decisions of the jury members and the limit values, ithas been concluded that the methods used comply with each other. It hasbeen observed that ROC analysis can also be used like the other Angoff(1-0) and Nedelsky methods that are widely used in making the rightdecisions while determining the cut-off scores in the studies and classifyingthe students.