Automated Essay Scoring (ניקוד אוטומטי של חיבורים)

ניקוד אוטומטי של חיבורים (Automated Essay Scoring, בקיצור AES) הוא שימוש בעיבוד-שפה-טבעית כדי לנקד חיבורי-כתיבה במבחנים סטנדרטיים בלי מעורבות של קורא אנושי, או לצידו. שתיים מהמערכות המסחריות הוותיקות בתחום הן IntelliMetric של חברת Vantage Learning, שפיתוחה החל ב-1996 ונכנסה לשימוש מסחרי ב-1998, ו-e-rater של שירות-הבחינות-החינוכי (ETS), שנכנס לשימוש מסחרי בפברואר 1999 בהובלת החוקרת ג'יל ברסטיין. שתי המערכות מנתחות תכונות כמו דקדוק, אוצר-מילים, מבנה וארגון של הטקסט, ומייצרות ציון על-סמך דמיון סטטיסטי לאלפי חיבורים שדורגו בעבר בידי קוראים אנושיים.

בשימוש-בפועל בהיקף-גדול, e-rater אינו מחליף קורא אנושי. לפי התיעוד הרשמי של ETS, בהגדרות בעלות-סיכון-גבוה — שאלות ה-Issue וה-Argument בחלק הכתיבה-האנליטית של מבחן ה-GRE, ושאלות הכתיבה העצמאית והמשולבת של TOEFL iBT — הציון האוטומטי ניתן לצד ציון של קורא אנושי, ולא במקומו; לפי ETS, השילוב בין ניקוד ממוכן לניקוד אנושי הוא שמבסס את מהימנות הציון ואת יתרונות-המדידה שבו. אותו מנוע משמש גם במבחני-תרגול בעלי-סיכון-נמוך, כמו GRE ScoreItNow!.

הביקורת המרכזית על AES נוגעת לפגיעות למניפולציה: The New York Times דיווח ב-2012 על חיבורים חסרי-משמעות-לחלוטין שקיבלו בכל-זאת ציון גבוה, וחוקרים מתארים בעיה מבנית של "הסתמכות-יתר על תכונות שטחיות" (surface features) של הטקסט, שאינן תופסות תוכן או יצירתיות אמיתיים. במרץ 2013 השיק ארגון HumanReaders.Org עצומה בשם "אנשי-מקצוע נגד ניקוד-חיבורים-ממוכן במבחנים בעלי-השלכות-גורליות", שתיארה את השיטה כ"שטחית", "מצמצמת", "לא-מדויקת", "לא-מאבחנת", "לא-הוגנת" ו"סודית", וצברה תוך שבועות אלפי חתימות — ובהן זו של הבלשן נועם חומסקי.

AES שונה במהותו ממערכת-הוראה-חכמה (intelligent-tutoring-system) הקיימת באתר: מערכת-הוראה-חכמה מלווה תלמיד לאורך תהליך-למידה שלם, מאבחנת את מצב-הידע שלו בזמן-אמת ומתאימה לו רמזים והסברים בהתאם, ואילו AES נותן ציון-סיכום חד-פעמי לתוצר כתוב שכבר הושלם, בלי לאבחן את הידע של הכותב, בלי ללוות אותו תוך-כדי הכתיבה, ובלי ללמד אותו דבר. בקצה האחר של אותה בחינה מקוונת עומדת השגחה אלגוריתמית על בחינות (Online Proctoring): תוכנה שאינה נוגעת בתשובה כלל, אלא מנטרת את הנבחן עצמו דרך המצלמה ומסמנת למרצה רגעים שהיא מחשיבה חשודים — מדידת חשד במקום מדידת תוצר.