Eğitim etkinliğini ölçme: memnuniyet anketinin ötesi

Eğitimlerin çoğu, ne kadar beğenildiğiyle ölçülüyor

Bir eğitim ekibine bir programın işe yaradığını nasıl bildiklerini sorun; çoğu zaman bir memnuniyet puanı duyarsınız: katılımcıların çıkarken doldurduğu form. Donald Kirkpatrick’in dört seviyeli modelinde bu, 1. seviyedir: tepki. Hızlıdır, ucuzdur ve sonucu aynı gün gelir.

Ekiplerin çoğu da burada durur. Arthur ve arkadaşlarının (2003) aktardığı ASTD 2002 sektör raporuna göre ankete katılan kurumların %78’i tepki ölçümü kullanırken yalnızca %7’si sonuçları ölçtü. Sakarya Üniversitesi’nde hazırlanan ve çoğu öğrenme ve gelişim ile insan kaynakları yöneticisi olan 11 kişiyle yapılan görüşmelere dayanan bir tez de aynı tabloyu anlatıyor: işletmeler 1. seviyeye özen gösteriyor, diğer seviyeleri ise aynı özenle uygulamıyor; yani modelden sınırlı ölçüde yararlanıyor.

Memnuniyet işe yaramaz değil. Bir kurstan nefret eden kişi bunu başkalarına anlatır ve bu önemlidir. Ama kimsenin öğrenip öğrenmediği ya da farklı çalışıp çalışmadığı hakkında çok az şey söyler. Alliger ve arkadaşlarının (1997) meta-analizinde, katılımcıların kursu ne kadar beğendiği ile hemen ardından ne öğrendikleri arasındaki korelasyon 0,02’ydi, yani neredeyse sıfır. Kendi ifadeleriyle: “beğenmek, öğrenmek ya da iyi performans göstermek demek değildir.”

Kirkpatrick’in 4 seviyesi ve yatırım getirisi tek bakışta

Kirkpatrick dört seviyeyi 1950’lerde ortaya koydu; Arthur ve arkadaşları bunu eğitim değerlendirmesinin en yaygın modeli olarak tanımlıyor. Jack ve Patti Phillips’in yönettiği ROI Institute’un ROI Metodolojisi beşinci bir seviye ekler: yatırım getirisi. Her seviye farklı bir soruyu yanıtlar, farklı bir zamanda ölçülür ve farklı bir sorumlusu olur.

Modelin tamamı şöyle: neyi, nasıl, ne zaman ölçersiniz ve kim sorumludur.

Araştırmalar seviyeler hakkında ne diyor?

Alliger ve arkadaşları tepkileri ikiye ayırdı. Duygusal tepkiler beğeniyle ilgilidir: “Keyif aldım.” Fayda tepkileri ise yararla ilgilidir: “Bu işimi yapmama yardımcı olacak mı?” Bir araya getirdikleri çalışmalarda duygusal tepkilerin anında öğrenmeyle korelasyonu 0,02, işteki davranışla 0,07’ydi. Fayda tepkileri daha iyiydi: 0,26 ve 0,18. Hatta işteki davranışı, eğitimin hemen ardından yapılan ve onunla korelasyonu 0,11 olan öğrenme testlerinden bile daha iyi öngördüler. Korelasyonlar küçük ve az sayıda çalışmaya dayanıyor, ama yön açık.

Arthur ve arkadaşları (2003) 162 kaynaktan 397 etki büyüklüğünü bir araya getirdi ve kurum içi eğitimin işe yaradığını buldu: ortalama etki büyüklüğü tepkide 0,60, öğrenmede 0,63, davranışta 0,62 ve sonuçlarda 0,62; yaygın ölçüte göre orta ile büyük arası. Ancak hem öğrenmeyi hem davranışı ölçen çalışmalarda etki 0,66’dan 0,44’e düştü. İnsanların öğrendiklerinin bir kısmı işe hiç yansımıyor ve bunu yalnızca 3. seviye ölçümü gösteriyor.

Buradan iki ders çıkıyor. Tepkileri öğrenmenin ya da davranışın yerine kullanmayın. Tepki sorduğunuzda da keyfi değil, faydayı sorun.

Memnuniyeti değil, faydayı sorun

En ucuz çözüm, kurs sonu formunuzdaki soruları değiştirmek. Alliger ve arkadaşları fayda sorularına örnek veriyor: “Bu eğitim işinizle ilgili miydi?” ve “Eğitimin pratik bir değeri oldu mu?” Kirkpatrick Partners’ın 1. seviye tanımı zaten “ilgili” kelimesini içeriyor; ROI Institute da ilk seviyesine “tepki ve planlanan eylem” diyor.

Deneyebileceğiniz beş soru; her biri 1–5 arası puan ya da kısa cevapla:

• “Burada öğrendiklerimi önümüzdeki hafta işimde kullanacağım.”
• “Farklı yapacağınız ilk şey ne?”
• “Bu, şu anda yaptığınız işlerle ne kadar ilgiliydi?”
• “İşte bunu kullanmanızı ne engelleyebilir?”
• “Bunu yardım almadan yapabileceğinizden ne kadar eminsiniz?”

2. ve 3. seviye: test edin, bekleyin, sonra gözlemleyin

Öğrenmeyi, eğitim ihtiyaç analizinde belirlediğiniz hedeflerden hazırlanan bir ön test ve son testle ölçün. Her hedefi ayrı puanlayın: bu size yalnızca kimin geçtiğini değil, kursun hangi bölümünün işe yaradığını da gösterir.

Ardından haftalar sonra yeniden kontrol edin. Gecikmeli bir kontrol, yalnızca o gün akılda taze olanı değil, kalıcı olanı gösterir; hatırlamaya çalışmak da bilginin kalıcı olmasına yardım eder. Kurumsal eğitimde aralıklı tekrar rehberimiz zamanlamanın nasıl yapılacağını anlatıyor.

Davranışın ortaya çıkması daha uzun sürer. Arthur ve arkadaşlarının incelediği çalışmalarda davranış, eğitimden ortalama yaklaşık 134 gün sonra ölçüldü; öğrenme ise 26 gün sonra. Basit bir düzen: yönetici 30, 60 ve 90. günlerde iki üç kritik davranışı kısa bir kontrol listesiyle değerlendirir, katılımcı da aynı listeyle kendini puanlar. Destek talepleri, hatalar ya da denetim sonuçları gibi iş verisi varsa görüş yerine onu kullanın.

4. seviye ve eğitim yatırım getirisi nasıl ölçülür?

Sonuçlar, eğitimin değiştirmesi beklenen iş göstergeleridir. Bunları kurstan önce, ihtiyaç analizinde seçin ve başlangıç değerini kaydedin. Ölçütü önceden adlandıramıyorsanız, sonrasında da bulamazsınız.

ROI Metodolojisi bunu paraya çevirir: ROI (%) = (fayda − maliyet) ÷ maliyet × 100; maliyete katılımcıların zamanı da dahil her şey girer. Varsayımsal bir örnek: bir işe alıştırma programının toplam maliyeti 40.000. Hata maliyetleri yıl içinde 120.000 azalıyor. Eğitimi henüz almamış bir karşılaştırma grubu bunun yarısı kadar iyileşiyor; bu yüzden kazancın yalnızca yarısı eğitime yazılır: 60.000. ROI = (60.000 − 40.000) ÷ 40.000 × 100 = %50.

Zor olan, eğitimin payını ayrıştırmaktır. ROI Institute, kontrol grubu, trend çizgisi analizi, tahminleme ve kestirimler gibi yöntemler sayıyor. Mümkünse kontrol grubu kullanın; katılımcıların ya da yöneticilerin tahminlerine dayanmak zorundaysanız bunu belirtin ve dikkatle yorumlayın.

Çoğu program için ROI gerekmez. ROI Institute’un kendisi bunun yalnızca belirli programlar için gerektiğini söylüyor: çok pahalı olanlar, uzun ömürlü ya da geniş kitleye ulaşanlar ve büyük bir değişim yaratması beklenenler. Kısa bir uyum tazeleme eğitimi için 1’den 3’e kadar olan seviyeler yeterlidir.

Tek sayfalık bir eğitim değerlendirme planı

İki uluslararası standart aynı fikri çerçeveliyor. ISO 30422:2022 iş yerinde öğrenme ve gelişimin düzenlenmesi için rehberlik sunar; ISO 10015:2019 ise yetkinlik yönetimi ve insan gelişimi sistemlerinin kurulması, uygulanması, sürdürülmesi ve iyileştirilmesi için kılavuz verir. Eğitimi ölçmek için ikisine de ihtiyacınız yok. Onlardan alınacak fikir şu: öğrenme ve gelişim tek seferlik bir iş değil, sürekli iyileşen bir çalışmadır. Değerlendirmeyi planla-uygula-kontrol et-önlem al döngüsünün kontrol adımı olarak düşünün: kurstan önce yazılmış bir plan, döngüyü kapatmanın yoludur.

Bu yüzden kurs başlamadan tek bir sayfa doldurun. Bir satır boş kalırsa ya onu doldurun ya da o seviyeyi bilerek dışarıda bırakın.

Platformunuzun neleri kaydetmesi gerekir?

Bir plan ancak veriler bir yere ulaşırsa işe yarar. 2’den 4’e kadar olan seviyeler için öğrenme platformunuz şunları kaydetmeli: yalnızca geçme notunu değil, hedef başına puanları; haftalar sonra bir takip testini; katılımcılar ve yöneticiler için kısa takip anketlerini; ve gruplar arasında, önce ve sonra ya da eğitim almış ve henüz almamış kişiler arasında karşılaştırabileceğiniz sonuçları.

Classbase bunun için tasarlandı. Her kurs, bir soru havuzundan çekilen, geçme notu olan ve sırasında yapay zekâ eğitmeninin kapalı olduğu bir final testiyle bitebilir; haftalar sonraki bir takip testi de neyin kaldığını ve neyin silindiğini gösterir. Yazılı cevaplar sizin ölçütlerinize göre, gerekçesiyle puanlanır. Raporlar, sade bir dille sorulan sorulara kendi verinizden yanıt verir; eğitim kurumları sonuçları müşteri şirkete göre görür. Yönetici takipleri ve gruplar arası karşılaştırmalar dahil bu resmin geri kalanını da geliştiriyoruz.

Bir ölçüm planının bir sonraki programınızda nasıl işleyebileceğini görmek isterseniz bir demo planlayın, birlikte üzerinden geçelim.