מקודד אוטומטי (Autoencoder)

יסודות בינה מלאכותית

הגדרה

מקודד אוטומטי (Autoencoder) הוא רשת-נוירונים שמאומנת לשחזר את הקלט שלה דרך "צוואר-בקבוק" צר יותר, ובכך לומדת ייצוג דחוס של הנתונים ללא צורך בתיוג ידני.

מקודד אוטומטי (Autoencoder) הוא רשת-נוירונים שמאומנת על משימה בלתי-רגילה: לשחזר בדיוק את הקלט שקיבלה, לא לחזות תווית חיצונית. הרשת בנויה בצורת "שעון-חול" — שכבות שהולכות ומצטמצמות עד ל"צוואר-בקבוק" צר במיוחד באמצע, ואז חוזרות ומתרחבות בחזרה לגודל המקורי. החלק המצטמצם נקרא "מקודד" (Encoder) והחלק המתרחב "מפענח" (Decoder). כדי לעבור בהצלחה דרך הצוואר-הצר, הרשת נאלצת ללמוד ייצוג דחוס ויעיל של המידע — לא להעתיק אותו כמו שהוא, אלא לדחוס ואז לשחזר. השיטה אינה דורשת תיוג-נתונים ידני, ולכן נחשבת ללמידה-עצמית-מונחית.

הרעיון הבסיסי — אימון רשת-נוירונים לשחזר את הקלט שלה דרך שכבה חבויה צרה — הופיע כבר בסוף שנות ה-80 של המאה ה-20, בין השאר במאמר-היסוד על התפשטות לאחור מ-1986, שהדגים רשת קטנה מהסוג הזה כדוגמה-שימושית לאלגוריתם החדש. השם והשימוש הנרחב שהוא מוכר בו כיום התבססו רק מאוחר יותר: ב-2006 פרסמו ג'פרי הינטון ורוסלן סלחוטדינוב, בכתב-העת Science, מאמר שהראה איך מקודד אוטומטי עמוק — עם כמה שכבות חבויות, לא רק אחת — יכול ללמוד ייצוגים דחוסים טובים יותר מ-PCA למגוון סוגי-נתונים; פרסום שנחשב לאחד הגורמים המרכזיים לתחיית-העניין בלמידה עמוקה באמצע שנות ה-2000.

אחרי האימון, החלק המעניין הוא בדרך-כלל לא הפלט המשוחזר עצמו, אלא הייצוג הדחוס באמצע הרשת — וקטור קצר שמסכם את המידע המהותי בקלט, ואפשר להשתמש בו כקלט למשימה אחרת לגמרי, כמו סיווג או חיפוש-דמיון. וריאציות שונות של הרעיון הבסיסי הותאמו למטרות שונות: מקודד אוטומטי "מכווץ-רעש" (Denoising Autoencoder) מאומן לשחזר גרסה נקייה מתוך קלט פגום או רועש במכוון, כך שהוא לומד להתעלם מרעש ולא רק לדחוס; ומקודד אוטומטי "וריאציוני" (VAE) מוסיף רכיב הסתברותי לייצוג הדחוס, שהופך אותו לכלי גנרטיבי לכל דבר — מסוגל גם ליצור דוגמאות חדשות ומקוריות, לא רק לדחוס ולשחזר דוגמאות קיימות.

בפועל, מקודד אוטומטי משמש לגילוי-חריגות (למשל זיהוי עסקאות-מרמה, כשקלט לא-שגרתי משוחזר בצורה גרועה במיוחד), לצמצום-רעש בתמונות ואותות, ולדחיסת-נתונים ללא-הפסד-משמעותי. הוא גם אחת משתי ארכיטקטורות-הרשתות המרכזיות שדיפ-פייק נבנה עליהן, לצד רשת-יריבה-גנרטיבית (GAN) — במקרה הזה מאמנים מקודד אוטומטי משותף על שני פרצופים שונים, כדי "להחליף" ביניהם. בשונה מ-PCA, שמוצא רק צירופים ליניאריים של המשתנים המקוריים, מקודד אוטומטי יכול ללמוד קשרים לא-ליניאריים מורכבים בהרבה, במחיר של פחות שקיפות לגבי מה בדיוק כל רכיב בייצוג הדחוס מייצג.