كيف تكتب أسئلة اختيار من متعدد تقيس المهارة فعلًا

الأسئلة السيئة تُنجح الأشخاص الخطأ

الشهادة وعدٌ بأن هذا الشخص قادر على أداء العمل. وفي معظم برامج التدريب يقوم هذا الوعد على اختبار قصير من أسئلة الاختيار من متعدد. فإن كانت الأسئلة معيبة، قاس الاختبار مهارة الناس في قراءة الأسئلة، لا معرفتهم بالعمل.

والأسئلة المعيبة شائعة. فقد درس ستيفن داونينغ أربعة اختبارات في كلية طب، ووجد أن ما بين 36% و65% من الأسئلة خالف قاعدة واحدة على الأقل من القواعد المعتمدة لكتابة الأسئلة. وكانت الأسئلة المعيبة أصعب بما يصل إلى 15 نقطة مئوية من الأسئلة السليمة التي تقيس المحتوى نفسه. وفي الاختبارات الأربعة، نجح 53% من الطلاب في الأسئلة السليمة، بينما نجح 47% فقط في الأسئلة المعيبة.

وقد تعمل العيوب في الاتجاه المعاكس أيضًا. ففي 10 اختبارات تمريض عالية الأهمية في هونغ كونغ، كان 47.3% من جميع الأسئلة معيبًا. نجح 94.3% من الطلاب في الاختبارات كما قُدّمت، بينما كان سينجح 90.6% فقط لو اقتصرت على الأسئلة السليمة. أما المتفوقون فخسروا: حصل 14.5% على 80% أو أكثر في الاختبارات كما قُدّمت، مقابل 20.9% على الأسئلة السليمة وحدها. وفي الحالتين، لم تعد الدرجة تخبرك بمن يعرف المادة، ولم تعد الشهادة تعني ما تقوله.

ابدأ من الهدف التعليمي، لا من المحتوى

السؤال الجيد يبدأ بجملة تقول ما ينبغي أن يقدر عليه المتدرب. ففي عرضه عام 2002 لتصنيف بلوم المعدّل، يصف ديفيد كراثوول الهدف التعليمي بأنه فعل واسم: الاسم هو المحتوى، والفعل هو نوع التفكير. اكتب الهدف أولًا، ثم سؤالًا يطلب نوع التفكير نفسه. وأول إرشادات هالادينا وداونينغ ورودريغيز يقول الشيء ذاته: كل سؤال يقيس محتوى محددًا ونوعًا واحدًا من التفكير.

للتصنيف المعدّل ست عمليات، من الأبسط إلى الأعقد. ويلاحظ كراثوول أن الأهداف وأسئلة الاختبارات حين صُنّفت وفق التصنيف الأصلي غلب عليها في الأغلب التعرّف والاسترجاع. فإن كان هدفك «أن يطبّق سياسة الاسترداد»، فالسؤال عن اسم السياسة يقيس شيئًا آخر. وأسئلة الاختيار من متعدد يمكن أن تصل حتى مستوى التقويم، أما الإبداع فالأنسب له إجابة مكتوبة أو مهمة عملية. والأفعال أدناه مأخوذة من جدول كراثوول:

• التذكّر: يتعرّف، يسترجع
• الفهم: يفسّر، يصنّف، يقارن، يشرح
• التطبيق: ينفّذ، يطبّق الإجراء في موقف معيّن
• التحليل: يميّز، ينظّم، يحدّد الغرض أو وجهة النظر
• التقويم: يتحقّق، ينقد
• الإبداع: يولّد، يخطّط، يُنتج

اكتب نص سؤال يطرح سؤالًا واحدًا واضحًا

نص السؤال (الجذع) هو الجزء الذي يسبق الخيارات. في عام 2002 راجع توماس هالادينا وستيفن داونينغ ومايكل رودريغيز النصائح الواردة في 27 كتابًا عن الاختبارات، ونتائج 27 دراسة ومراجعة بحثية، وخرجوا بـ31 إرشادًا لكتابة أسئلة الاختيار من متعدد. وفي نص السؤال، تتلخّص في ما يلي:

• ضع الفكرة الأساسية في نص السؤال لا في الخيارات. واختبار بسيط لذلك: من يعرف الإجابة يستطيع أن يقولها قبل أن يقرأ الخيارات.
• اسأل عن محتوى مهم لا عن تفاصيل هامشية، واجعل المطلوب واضحًا تمامًا.
• احذف الحشو: الكلمات التي لا تساعد أحدًا على الإجابة.
• صُغ السؤال بصيغة الإثبات. تجنّب «ليس» و«ما عدا»، وإن اضطررت إلى إحداهما فاكتبها بخط عريض واضح.
• اجعل المفردات بسيطة تناسب من سيأخذ الاختبار، ولا تكتب أسئلة خادعة أبدًا.

اكتب المشتتات من أخطاء حقيقية

الخيارات الخاطئة، وتُسمّى المشتتات، تؤدي معظم العمل. والمشتت الجيد يجذب من لم يتقن الهدف، ولا يجذب غيره. والإرشادات تقولها صراحة: اجعل كل المشتتات معقولة، واكتبها من الأخطاء الشائعة لدى المتعلّمين.

وأفضل مصدر لها هم متدربوك أنفسهم: الإجابات الخاطئة في الدفعة السابقة، والأسئلة التي طرحوها على المعلّم، والأخطاء التي يراها المدير في العمل. والمشتت الذي لا يختاره أحد مجرد تلميح مجاني.

• تأكّد أن خيارًا واحدًا فقط هو الصحيح، واطلب من شخص آخر أن يراجع مفتاح الإجابة.
• اجعل الخيارات متقاربة في الطول، ومتشابهة في المحتوى والتركيب. فالخيار الأطول والأكثر دقة علامة مكشوفة على الإجابة.
• تجنّب «كل ما سبق»، واستخدم «لا شيء مما سبق» بحذر.
• تجنّب التلميحات: كلمات مثل «دائمًا» و«أبدًا»، والخيارات التي تكرّر كلمات من نص السؤال، والصياغة التي لا تتّسق نحويًا إلا مع الإجابة الصحيحة.
• رتّب الخيارات ترتيبًا منطقيًا أو رقميًا، وغيّر موضع الإجابة الصحيحة من سؤال إلى آخر.

كم خيارًا؟ ثلاثة في الغالب

تكتب فرق كثيرة أربعة خيارات أو خمسة لأن الاختبارات اعتادت ذلك. لكن التحليل التلوي الذي أجراه مايكل رودريغيز عام 2005 لأبحاث امتدت 80 عامًا خلص إلى أن ثلاثة خيارات هي الأمثل. ففي الوقت نفسه يتّسع الاختبار لعدد أكبر من الأسئلة ذات الخيارات الثلاثة، فيغطي جزءًا أكبر من المحتوى، دون أن تتأثر جودة الدرجات.

والاختبارات الحقيقية تُظهر السبب. فقد درست ماري تارانت وزملاؤها 514 سؤالًا رباعي الخيارات من اختبارات تمريض في هونغ كونغ. واعتبروا المشتت غير فعّال إذا اختاره أقل من 5% من الطلاب، أو إذا اختاره الطلاب الأقوى أكثر من الأضعف. فلم ينجح في دوره إلا 52.2% من المشتتات، ولم تعمل المشتتات الثلاثة كلها إلا في 13.8% من الأسئلة.

فلا تُضف خيارات للحشو. والإرشادات تقولها ببساطة: اكتب ما استطعت من الخيارات الجيدة، لكن الأبحاث تشير إلى أن ثلاثة تكفي. فإن كان لديك مشتتان جيدان، فتوقّف عندهما. فالخيار الذي يُضاف حشوًا يأخذ وقتًا في القراءة ولا يقيس شيئًا.

تجاوز مستوى «التذكّر» بمواقف قصيرة

معظم أهداف التدريب في العمل تتعلّق بالفعل: التعامل مع طلب استرداد، أو اكتشاف خطر، أو اختيار ما يجب الإبلاغ عنه. والسؤال عن تعريف لا يُظهر ذلك، أما الموقف القصير فيُظهره: جملتان أو ثلاث تعرض موقفًا حقيقيًا، ثم سؤال عمّا يجب فعله. وتسمّي الإرشادات ذلك استخدام مادة جديدة لقياس التعلّم الأعلى، بدل الكلمات نفسها التي وردت في التدريب.

الامتثال، قبل: «أيّ مما يلي ليس من علامات التصيّد الاحتيالي؟ أ) نبرة مستعجلة ب) مرسل مجهول ج) أخطاء إملائية د) كل ما سبق». السؤال يقيس الحفظ، ويستخدم النفي، وينتهي بـ«كل ما سبق»، وليس له إجابة صحيحة أصلًا: فالخيارات من أ إلى ج كلها علامات تصيّد. بعد: «وصلتك رسالة من ‹الدعم التقني› تطلب تأكيد كلمة المرور خلال ساعة وإلا فقدت الوصول. ماذا تفعل أولًا؟ أ) ترد وتسأل إن كانت حقيقية ب) تبلّغ عنها بزر الإبلاغ عن التصيّد ج) تضغط الرابط لترى إلى أين يقود». كل خيار خاطئ هنا خطأ يقع فيه الناس فعلًا.

المبيعات، قبل: «إلامَ ترمز الحروف BANT؟» بعد: «يقول عميل محتمل إن الميزانية معتمدة، والحاجة عاجلة، ويريدون البدء هذا الربع، لكن القرار النهائي بيد المدير الإقليمي. أيّ جزء من الصفقة لم يتأكّد بعد؟ أ) الميزانية ب) صلاحية القرار ج) التوقيت». الأول يطلب اختصارًا، والثاني يطلب الحكم الذي بُنيت الدورة من أجله.

راجع كل سؤال يكتبه الذكاء الاصطناعي

الذكاء الاصطناعي يجعل كتابة مسودات الأسئلة سريعة. ففي دراسة أُجريت في هونغ كونغ وسنغافورة وأيرلندا والمملكة المتحدة، كتب ChatGPT خمسين سؤالًا لاختبار طبي في نحو 20 دقيقة، بينما احتاج أستاذان إلى 211 دقيقة لكتابة خمسين سؤالًا. وقيّم خمسة مقيّمين المجموعتين بمستوى متقارب إجمالًا، لكن جودة أسئلة الذكاء الاصطناعي كانت أكثر تفاوتًا.

وهذا التفاوت هو بيت القصيد: بعض المسودات جيد وبعضها لا، والمتدرب لا يستطيع أن يميّز بينها. فتعامل مع كل سؤال يكتبه الذكاء الاصطناعي على أنه مسودة أولى، وتحقّق من خمسة أمور قبل نشره:

بعد الدفعة الأولى، دع الإجابات تحسّن الاختبار

حين يأخذ أشخاص حقيقيون الاختبار، يصبح لكل سؤال سجل. وأهم رقمين فيه: الصعوبة، وهي نسبة من أجابوا عن السؤال إجابة صحيحة. والتمييز، وهو أن تسأل: هل أجاب عنه من أدّوا جيدًا في الاختبار كله إجابة صحيحة أكثر ممن أدّوا أداءً ضعيفًا؟ السؤال الجيد يجيب عنه بشكل صحيح من يعرف المادة أكثر من غيره.

وانظر إلى كل خيار أيضًا. ففي دراسة تارانت عام 2009، كانت الأسئلة ذات المشتتات الفعّالة الأكثر أصعب وأقدر على التمييز بين المتعلّمين الأقوياء والضعفاء، ويقترح الباحثون استخدام هذه النتائج لحذف المشتتات التي لا تعمل. أعد كتابة السؤال حين يجيب عنه الجميع تقريبًا قبل التدريب، أو حين يخطئ فيه الأقوياء أكثر من الضعفاء، أو حين لا يختار مشتتًا ما أحد تقريبًا، أو حين يجذب خيار خاطئ من الأقوياء أكثر مما تجذبهم الإجابة الصحيحة.

صُمّم Classbase ليجعل هذه الدورة قصيرة. يستطيع الذكاء الاصطناعي اقتراح أسئلة اختبار من دورتك المنشورة، لتحتفظ بها أو تتجاهلها. وقبل النشر، ينبّهك فحص الدورة إلى الأسئلة التي ليس لها إجابة صحيحة. ويُسحب الاختبار النهائي من بنك أسئلة بدرجة نجاح، ويمكنك أن تجعل النجاح شرطًا للحصول على الشهادة. وبعد كل دفعة، يُظهر تقرير «أصعب الأسئلة» الجاهز الأسئلة التي يجدر أن تبدأ بمراجعتها.

إن أردت أن ترى كيف ينتقل الاختبار من مسودة الذكاء الاصطناعي إلى بنك الأسئلة ثم إلى الشهادة، احجز عرضًا توضيحيًا وسنريك.