An Analysis of Rater Severity and Leniency in Open-ended Mathematic Questions Rated Through Standard Rubrics and Rubrics Based on the SOLO Taxonomy

• DOI: 10.15390/eb.2017.5082
• Publication Date: 2017-02-21T15:28:45Z
• Authors: Bayram Çetin; Mustafa İlhan
• Keywords: SOLO taksonomisi; 4. Education; 0502 economics and business; 05 social sciences; Açık uçlu sorular; Puanlayıcı katılığı ve cömertliği; Open-ended questions, Severity and leniency of raters, Rubric, SOLO taxonomy, Many facet Rasch model; Rubrik; 0503 education; Çok yüzeyli Rasch modeli; Açık uçlu sorular, Puanlayıcı katılığı ve cömertliği, Rubrik, SOLO taksonomisi, Çok yüzeyli Rasch modeli

Bu araştırmada, standart ve SOLO taksonomisine dayalı rubrikler ile puanlanan açık uçlu matematik sorularında puanlayıcı katılığı ve cömertliğinin çok yüzeyli Rasch modeli ile incelenmesi amaçlanmıştır. Çalışmanın veri kaynağını, sekizinci sınıfa devam eden 104 öğrencinin araştırmacılar tarafından geliştirilen matematik başarı testindeki açık uçlu sorulara verdiği cevaplar oluşturmuştur. Araştırmada puanlayıcı olarak görev alan yedi matematik öğretmeni ise çalışmanın katılımcıları olarak belirlenmiştir. Araştırma verilerinin toplanmasında, standart ve SOLO taksonomisine dayalı rubrikler kullanılmıştır. Verilerin toplanması birkaç aşamada gerçekleşmiştir. İlk aşamada açık uçlu sorulardan oluşan matematik başarı testi öğrencilere uygulanarak, puanlayıcıların değerlendirme yapacakları dokümanlar elde edilmiştir. Daha sonra puanlayıcılar, öğrencilerin açık uçlu matematik sorularına verdikleri cevapları standart rubrik kullanarak puanlamışlardır. Bu işlemin ardından SOLO taksonomisine dayalı rubrikler kullanılarak yapılan puanlamalara geçilmiştir. Açık uçlu matematik sorularına verilen cevapların standart ve SOLO taksonomisine dayalı rubrikler kullanılarak puanlanmasıyla elde edilen veriler çok yüzeyli Rasch modeline göre analiz edilmiştir. Araştırmada; standart rubrikler kullanılarak yapılan puanlamalarda; puanlayıcılar arası uyumun düşük olduğu ve katılık/cömertlikleri yönüyle puanlayıcılar arasında anlamlı fark bulunduğu belirlenmiştir. SOLO taksonomisine dayalı rubriklerden yararlanılarak yapılan puanlamalarda ise puanlayıcılar arası uyumun yüksek olduğu ve puanlayıcıların benzer katılık/cömertlikte puanlama yaptıkları saptanmıştır.<br/>This study uses the many-facet Rasch model to analyze the severity and leniency of raters of open-ended mathematic questions rated through standard rubrics and rubrics based on the SOLO taxonomy. The data source of the study was obtained from 104 eight grade students based on their responses to open-ended questions on mathematics-achievement test that was created by the researchers. The study’s participants were seven mathematics teachers who serving as raters in the research. The data collection instruments involved standard rubrics and rubrics based on the SOLO taxonomy. The collection of the data was performed in a few phases. In the first phase, the mathematics achievement test, which included open-ended questions, was administered to the students and evaluated by the raters. Then, raters scored students' responses to the open-ended questions using standard rubrics. Next, the raters scored the responses using rubrics based on the SOLO taxonomy. The data thus acquired were analyzed using the many-facet Rasch model. The study found that the raters' agreement was low, and that there were significant differences between raters in terms of severity and leniency when they used standard rubrics. When the ratings were done with rubrics based on SOLO taxonomy, the raters were consistent and their scoring severity and leniency were similar to each other.<br/>