השגחה אלגוריתמית על בחינות (Online Proctoring)

AI יישומי

הגדרה

השגחה אלגוריתמית על בחינות היא תוכנה שמצלמת נבחן בביתו, מנתחת את הווידאו ואת המסך, ומסמנת לבוחן האנושי התנהגויות שהיא מחשיבה חשודות בהעתקה.

מה זו השגחה אלגוריתמית על בחינות

השגחה אלגוריתמית על בחינות היא פיקוח על מבחן שנערך מרחוק: התוכנה מאמתת את זהות הנבחן ומנטרת אותו לאורך הבחינה. היא עושה זאת בכמה שיטות, ובהן משגיח אנושי שצופה בשידור חי, הקלטה שנצפית בדיעבד, והשגחה אוטומטית שבה אלגוריתם מסמן בעצמו רגעים חשודים. הביקוש גדל עם הלמידה המקוונת: ב-2006 ויתר משרד החינוך האמריקאי על כלל חמישים האחוזים, שהתנה סיוע פדרלי בכך שמחצית מתוכנית הלימודים תתקיים בקמפוס, ונכון ל-2017 אחד מכל שלושה סטודנטים לומד לפחות קורס אחד אונליין במהלך לימודיו לתואר. ההבדל מניקוד אוטומטי של חיבורים מהותי: שם המערכת מודדת את התוצר שהנבחן הגיש, וכאן היא מודדת את הנבחן עצמו.

כמה בחינות מושגחות כך

נכון ל-2017 מנו ההערכות כחמישה-עשר ספקים של השגחה מקוונת, ובהם Examity ו-Proctorio. באותה שנה פיקחו שבעה-עשר הקמפוסים של אוניברסיטת צפון קרוליינה על 30,000 עד 40,000 בחינות בשנה, ובאוניברסיטת Western Governors, שכולה מקוונת, הושגחו 30,000 בחינות בחודש. מחקרים אחרים מצאו שסטודנטים נוטים להעתיק במידה דומה במבחן מקוון ובמבחן פרונטלי, אף שכשלושה רבעים מהם סבורים שקל יותר להעתיק מרחוק.

מה מצא מבחן עצמאי של התוכנה

בדיקה מדעית שנערכה באוניברסיטת Twente שבהולנד בחנה את Proctorio. החוקרים הזינו לתוכנה מקרי העתקה, והיא לא זיהתה ולו אחד מהם. מסקנתם הייתה שרגישות Proctorio — כלומר יכולתה לתפוס בפועל מקרה העתקה — היא אסון, ויש לראותה כקרובה מאוד לאפס. ממצא כזה אינו אומר שאין העתקה מרחוק, אלא שהתוכנה שנועדה למצוא אותה לא מצאה אותה בבדיקה מבוקרת.

מי מסומן יותר: הפער באיתור הפנים

הצד השני של אותה מטבע הוא התראות שווא, והן אינן מתחלקות שווה בשווה. מחקר של דבורה יודר-היימס ועמיתיה מאוניברסיטת לואיוויל, שפורסם בכתב העת Frontiers in Education בספטמבר 2022, בדק את התוכנה Respondus Monitor על נתוני בחינות אמיתיים. הוא מצא שפניהם של סטודנטים כהי עור אותרו בממוצע במשך 78 אחוזים מזמן הבחינה, לעומת 87 אחוזים אצל בעלי גוון ביניים ו-92 אחוזים אצל בהירי עור. הסימון שמשמעותו שהנבחן נעלם מהפריים ניתן לסטודנטים כהי עור 4.79 פעמים בממוצע לבחינה, לעומת 1.39 ו-0.83 בשתי הקבוצות האחרות — וכל סימון כזה מגיע למרצה כרגע שדורש בדיקה.

מה הכריעו בתי המשפט, ומה נשאר פתוח

ביוני 2020 דחה בית המשפט המחוזי באמסטרדם, בהליך ביניים (kort geding), עתירה של שתי מועצות סטודנטים ושל סטודנט מן האוניברסיטה נגד אוניברסיטת אמסטרדם, שביקשו לאסור עליה להשתמש ב-Proctorio בבחינות שנערכו מהבית בתקופת הקורונה. בית המשפט לערעורים באמסטרדם אישר את הפסיקה ב-1 ביוני 2021: למועצות לא הייתה זכות הסכמה, איסוף הנתונים אינו חורג מהנדרש למאבק בהעתקה ולא עמדה חלופה הולמת, לא עובדו נתונים מסוג מיוחד כמו גזע או דת, והשימוש עומד גם בסעיף 8 לאמנה האירופית לזכויות אדם. פסיקה על פרטיות אינה מכריעה בשאלת הדיוק: שתי הביקורות — שהתוכנה אינה תופסת מעתיקים, ושהיא מסמנת קבוצות מסוימות יותר מאחרות — נותרו בעינן.

שאלות נפוצות ❓

מה ההבדל בין השגחה אלגוריתמית על בחינות לניקוד אוטומטי של חיבורים?

ניקוד אוטומטי של חיבורים מודד את התוצר שהנבחן הגיש ונותן לו ציון. השגחה אלגוריתמית על בחינות אינה נוגעת בתשובה כלל — היא מנטרת את הנבחן עצמו ומסמנת חשד להעתקה.

האם התוכנה באמת תופסת מעתיקים?

בבדיקה שנערכה באוניברסיטת Twente הוזנו ל-Proctorio מקרי העתקה, והיא לא זיהתה אף אחד מהם. החוקרים כתבו שרגישות התוכנה היא אסון ויש לראותה כקרובה מאוד לאפס.

מי מסומן יותר בטעות?

במחקר מ-2022 על Respondus Monitor אותרו פניהם של סטודנטים כהי עור במשך 78 אחוזים מזמן הבחינה בממוצע, לעומת 92 אחוזים אצל בהירי עור, והם סומנו כמי שנעלמו מהפריים 4.79 פעמים לבחינה לעומת 0.83.

האם מותר להשתמש בתוכנה כזו באירופה?

בהולנד אישר בית המשפט לערעורים באמסטרדם ב-1 ביוני 2021 פסיקה מיוני 2020 בהליך ביניים (kort geding), לפיה השימוש של אוניברסיטת אמסטרדם ב-Proctorio בתקופת הקורונה עומד בתקנת הגנת הנתונים הכללית ובסעיף 8 לאמנה האירופית לזכויות אדם.

כמה בחינות מושגחות כך בפועל?

נכון ל-2017 פיקחו שבעה-עשר הקמפוסים של אוניברסיטת צפון קרוליינה על 30,000 עד 40,000 בחינות בשנה, ובאוניברסיטת Western Governors המקוונת הושגחו 30,000 בחינות בחודש; באותה שנה מנו ההערכות כחמישה-עשר ספקים.