מערכת זיהוי תווי פנים פועלת בכמה שלבים: איתור-הפנים בתוך תמונה, יישור-התמונה כדי לפצות על זווית-צילום ותאורה, חילוץ-מאפיינים ייחודיים (כמו מרחק בין העיניים או צורת הלסת), והשוואה מתמטית מול מאגר-פנים שמור. מערכות מודרניות משתמשות ברשתות-נוירונים עמוקות לביצוע רוב השלבים האלה, במקום השיטות הגיאומטריות-הידניות שהיו נפוצות בעבר. הטכנולוגיה כיום כמעט בכל מקום — מנעילת-מסך בטלפון (כמו Face ID), דרך בקרת-גבולות בשדות-תעופה, ועד מערכות-מעקב עירוניות ומשטרתיות.
מבחן-הספקים הרשמי של המכון האמריקאי לתקנים NIST (Face Recognition Vendor Test, חלק 3: השפעות דמוגרפיות) בדק ב-2019 כמעט 190 אלגוריתמים מ-99 חברות, ומצא שברוב האלגוריתמים שיעור-הזיהוי-השגוי על פנים אסייתיות ואפרו-אמריקאיות היה גבוה פי 10 עד פי 100 משיעורו על פנים לבנות — למעט אלגוריתמים שפותחו במדינות אסייתיות, שלא הציגו את אותו פער. במשימת חיפוש-פנים מול מאגר גדול, כמו מאגר-חשודים משטרתי, האלגוריתמים הראו שיעור-זיהוי-שגוי גבוה יותר במיוחד עבור נשים שחורות.
הסיכון הזה כבר גרם לנזק מתועד: בינואר 2020 נעצר רוברט וויליאמס, תושב אחד מפרוורי דטרויט, אחרי שמערכת-זיהוי-פנים של משטרת מישיגן זיהתה אותו בטעות כחשוד בגניבה מחנות — הוא הוחזק במעצר כמעט 30 שעות עד ששוחרר, כשהתברר שההתאמה שגויה. תקריות כאלה, יחד עם ממצאי-הדיוק הבלתי-שווה, הובילו כמה רשויות מקומיות בארצות-הברית להגביל או לאסור שימוש-משטרתי בטכנולוגיה, ואת חברת Meta להפסיק ב-2021 את מערכת-זיהוי-הפנים האוטומטית של פייסבוק.