Gerçek beceriyi ölçen çoktan seçmeli sorular nasıl yazılır?

Kötü sorular yanlış kişileri geçirir

Bir sertifika bir söz verir: bu kişi işi yapabilir. Çoğu eğitimde bu söz, kısa bir çoktan seçmeli sınava dayanır. Sorular kusurluysa sınav, insanların işi ne kadar bildiğini değil, sınav sorularını ne kadar iyi okuduğunu ölçer.

Kusurlu sorular yaygın. Steven Downing bir tıp fakültesindeki dört sınavı inceledi ve soruların %36 ile %65’inin standart soru yazma kurallarından en az birini çiğnediğini buldu. Kusurlu sorular, aynı içeriği ölçen sağlam sorulardan 15 yüzde puanına kadar daha zordu. Dört sınavın genelinde öğrencilerin %53’ü sağlam soruları geçerken kusurlu soruları yalnızca %47’si geçti.

Kusurlar ters yönde de etki edebilir. Hong Kong’daki 10 önemli hemşirelik sınavında tüm soruların %47,3’ü kusurluydu. Öğrencilerin %94,3’ü sınavı olduğu haliyle geçti; oysa yalnızca sağlam sorularla %90,6’sı geçecekti. En başarılı öğrenciler ise kaybetti: sınav olduğu haliyle öğrencilerin %14,5’i %80 ve üzeri aldı, yalnızca sağlam sorularla bu oran %20,9 olacaktı. Her iki durumda da puan, konuyu kimin bildiğini söylemez olur ve sertifika söylediği şeyi ifade etmez.

İçerikten değil, öğrenme hedefinden başlayın

İyi bir soru, öğrenenin neyi yapabilmesi gerektiğini söyleyen bir cümleyle başlar. David Krathwohl, yenilenmiş Bloom taksonomisini anlattığı 2002 tarihli makalesinde bir hedefi fiil ve isim olarak tanımlar: isim içeriktir, fiil ise düşünme biçimidir. Önce hedefi yazın, sonra aynı düşünmeyi isteyen bir soru. Haladyna, Downing ve Rodriguez’in ilk kuralı da aynısını söyler: her soru belirli bir içeriği ve tek bir düşünme biçimini ölçmeli.

Yenilenmiş taksonomide basitten karmaşığa altı süreç vardır. Krathwohl, hedefler ve sınav soruları özgün taksonomiyle sınıflandırıldığında ağırlığın neredeyse her zaman tanıma ve hatırlamada olduğunu belirtir. Hedefiniz “iade politikasını uygulamak” ise politikanın adını soran bir soru başka bir şeyi ölçer. Çoktan seçmeli sorular Değerlendirme düzeyine kadar ulaşabilir; Yaratma için yazılı bir yanıt ya da bir görev kullanın. Aşağıdaki fiiller Krathwohl’un tablosundan alındı:

• Hatırlama: tanır, hatırlar
• Anlama: yorumlar, sınıflandırır, karşılaştırır, açıklar
• Uygulama: yürütür, bir yöntemi belirli bir durumda uygular
• Çözümleme: ayırt eder, düzenler, amacı ya da bakış açısını belirler
• Değerlendirme: denetler, eleştirir
• Yaratma: üretir, planlar, ortaya koyar

Tek ve açık bir soru soran bir kök yazın

Soru kökü, seçeneklerden önceki kısımdır. 2002’de Thomas Haladyna, Steven Downing ve Michael Rodriguez, ölçme üzerine 27 ders kitabındaki önerileri ve 27 araştırma ile derlemenin bulgularını inceledi ve çoktan seçmeli soru yazmak için 31 kural belirledi. Soru kökü için özetle şunlar:

• Ana fikri seçeneklere değil, köke koyun. Basit bir test: cevabı bilen biri seçenekleri okumadan önce cevabı söyleyebilmeli.
• Önemsiz ayrıntıları değil, önemli içeriği sorun ve ne istendiğini çok açık yazın.
• Süsü atın: kimsenin cevap vermesine yardım etmeyen kelimeleri.
• Kökü olumlu kurun. DEĞİLDİR ve HARİÇ gibi kelimelerden kaçının; kullanmanız gerekirse büyük harfle ve kalın yazın.
• Kelimeleri sınava girecek kişilere göre sade tutun ve asla tuzak soru yazmayın.

Çeldiricileri gerçek hatalardan yazın

Çeldirici denen yanlış seçenekler işin çoğunu yapar. Bir çeldirici, hedefe hâkim olmayan kişiyi cezbetmeli, yalnızca onu. Kurallar bunu açıkça söyler: tüm çeldiricileri akla yatkın yapın ve onları öğrenenlerin tipik hatalarından yazın.

En iyi kaynak kendi öğrenenlerinizdir: önceki gruptaki yanlış cevaplar, insanların eğitmene sorduğu sorular, bir yöneticinin iş başında gördüğü hatalar. Kimsenin seçmeyeceği bir çeldirici, bedava bir ipucudur.

• Yalnızca bir seçeneğin doğru olduğundan emin olun ve cevap anahtarını ikinci bir kişiye kontrol ettirin.
• Seçenekleri yaklaşık aynı uzunlukta, içerik ve dil bilgisi açısından benzer tutun. En uzun ve en özenli seçenek, cevabı ele veren klasik bir ipucudur.
• “Hepsi” seçeneğinden kaçının, “Hiçbiri” seçeneğini dikkatli kullanın.
• İpuçlarından kaçının: her zaman ve asla gibi kelimeler, kökteki kelimeleri tekrarlayan seçenekler ve yalnızca doğru cevaba uyan dil bilgisi.
• Seçenekleri mantıklı ya da sayısal bir sıraya koyun ve doğru cevabın yerini sorudan soruya değiştirin.

Kaç seçenek? Genellikle üç

Pek çok ekip dört ya da beş seçenek yazar, çünkü sınavlarda hep böyleydi. Michael Rodriguez’in 80 yıllık araştırmayı bir araya getiren 2005 tarihli meta-analizi ise üç seçeneğin en uygun sayı olduğu sonucuna vardı. Aynı sınav süresine daha çok üç seçenekli soru sığar; böylece sınav içeriğin daha fazlasını kapsar ve puanların kalitesi zarar görmez.

Gerçek sınavlar nedenini gösteriyor. Marie Tarrant ve meslektaşları, Hong Kong’daki hemşirelik sınavlarından 514 dört seçenekli soruyu inceledi. Öğrencilerin %5’inden azının seçtiği ya da güçlü öğrencilerin zayıflardan daha çok seçtiği çeldiricileri işlevsiz saydılar. Çeldiricilerin yalnızca %52,2’si işe yaradı ve soruların yalnızca %13,8’inde üç çeldiricinin üçü de çalıştı.

Yani dolgu yapmayın. Kurallar bunu basitçe söyler: yazabildiğiniz kadar iyi seçenek yazın, ama araştırmalar üçün yeterli olduğunu gösteriyor. İki iyi çeldiriciniz varsa orada durun. Dolgu bir seçenek okuma süresine mal olur ve hiçbir şey ölçmez.

Kısa senaryolarla “hatırlama”nın ötesine geçin

İş yerindeki hedeflerin çoğu yapmakla ilgilidir: bir iadeyi ele almak, bir riski fark etmek, neyin bildirileceğine karar vermek. Bir tanımı soran soru bunu gösteremez. Kısa bir senaryo gösterebilir: gerçek bir durumu kuran iki üç cümle, ardından ne yapılacağını soran bir soru. Kurallar buna, eğitimdeki kelimelerin aynısı yerine üst düzey öğrenmeyi ölçmek için yeni materyal kullanmak der.

Uyum eğitimi, önce: “Aşağıdakilerden hangisi oltalama belirtisi DEĞİLDİR? A) Acele ettiren bir dil B) Tanınmayan bir gönderen C) Yazım hataları D) Hepsi.” Soru ezberi ölçüyor, olumsuz kuruluyor, “Hepsi” ile bitiyor ve doğru cevabı yok: A, B ve C’nin hepsi oltalama belirtisi. Sonra: “‘BT Destek’ten gelen bir e-posta, bir saat içinde şifrenizi onaylamazsanız erişiminizi kaybedeceğinizi söylüyor. İlk ne yaparsınız? A) Yanıtlayıp gerçek olup olmadığını sorarım B) Oltalama bildirme düğmesiyle bildiririm C) Nereye gittiğini görmek için bağlantıya tıklarım.” Her yanlış seçenek, insanların gerçekten yaptığı bir hata.

Satış, önce: “BANT kısaltması neyin baş harfleridir?” Sonra: “Bir potansiyel müşteri bütçenin onaylandığını, ihtiyacın acil olduğunu ve bu çeyrekte başlamak istediklerini söylüyor, ancak son kararı bölge müdürü veriyor. Satışın hangi kısmı henüz doğrulanmadı? A) Bütçe B) Karar yetkisi C) Zamanlama.” İlki bir kısaltma soruyor. İkincisi, kursun kazandırmak istediği muhakemeyi.

Yapay zekânın hazırladığı her soruyu gözden geçirin

Yapay zekâ soru taslağı hazırlamayı hızlandırıyor. Hong Kong, Singapur, İrlanda ve Birleşik Krallık’ta yürütülen bir çalışmada ChatGPT 50 tıp sınavı sorusunu yaklaşık 20 dakikada yazdı; iki öğretim üyesi kendi 50 sorusunu 211 dakikada yazdı. Beş değerlendirici iki seti genel olarak benzer buldu, ancak yapay zekânın sorularının kalitesi daha değişkendi.

Mesele de bu değişkenlik: bazı taslaklar iyi, bazıları değil ve öğrenen hangisinin hangisi olduğunu bilemez. Yapay zekânın yazdığı her soruyu ilk taslak sayın ve yayına almadan önce beş şeyi kontrol edin:

İlk gruptan sonra sınavı cevaplar düzeltsin

Gerçek kişiler bir sınava girdikten sonra her sorunun bir kaydı olur. En önemli iki sayı şunlardır. Güçlük, soruyu doğru cevaplayanların oranıdır. Ayırt edicilik ise sınavın genelinde iyi yapanların bu soruyu kötü yapanlardan daha sık doğru cevaplayıp cevaplamadığına bakar. İyi bir soruyu, konuyu bilenler daha sık doğru cevaplar.

Her seçeneğe de bakın. Tarrant’ın 2009 çalışmasında işleyen çeldiricisi daha çok olan sorular daha zordu ve güçlü öğrenenleri zayıflardan daha iyi ayırt ediyordu; yazarlar bu sonuçların işlemeyen çeldiricileri çıkarmak için kullanılmasını öneriyor. Bir soruyu şu durumlarda yeniden yazın: neredeyse herkes eğitimden önce doğru cevaplıyorsa, güçlü öğrenenler onu zayıflardan daha çok kaçırıyorsa, bir çeldiriciyi neredeyse kimse seçmiyorsa ya da yanlış bir seçenek güçlü öğrenenleri doğru cevaptan daha çok çekiyorsa.

Classbase bu döngüyü kısaltmak için tasarlandı. Yapay zekâ, yayımlanmış kursunuzdan sınav soruları taslağı hazırlayabilir; tutmak ya da atmak size kalır. Yayımlamadan önce kurs kontrolü, doğru cevabı olmayan soruları işaretler. Final sınavı geçme notu olan bir soru havuzundan gelir ve sertifika için sınavı geçmeyi şart koşabilirsiniz. Her gruptan sonra hazır “En zor sorular” raporu, önce hangi sorulara bakmanız gerektiğini gösterir.

Bir sınavın yapay zekâ taslağından soru havuzuna ve oradan sertifikaya nasıl gittiğini görmek isterseniz bir demo planlayın, size adım adım gösterelim.