جنایتکار یا عضو کنگره؟ سیستم تشخیص چهره آمازون اشتباه کرد!

اتحادیه آزادی‌های مدنی آمریکا (ACLU) سیستم تشخیص چهره آمازون را آزمایش کرد و به نتایج خوبی دست نیافت. ACLU برای آزمون خود چهره ۵۳۵ عضو کنگره آمریکا را در برابر ۲۵۰۰۰ عکس بازداشت (عکسی که از جنایتکاران هنگام بازداشت کردن آن‌ها گرفته می‌شود) قرار داد و از سیستم تشخیص چهره آمازون خواست تا این عکس‌ها را اسکن کند و بگوید آیا هر یک از اعضای کنگره جزو لیست بازداشت شدگان بوده‌اند یا خیر؟ با وجود این که هیچ یک از اعضای کنگره هیچ سابقه بازداشتی نداشتند، اما سیستم تشخیص چهره آمازون ۲۸ نفر از این افراد را به اشتباه به عنوان جنایتکاران تشخیص داد.

نتایج این آزمون نگرانی‌هایی در خصوص استفاده پلیس از این سیستم ایجاد کرد. چندی پیش سیستم تشخیص چهره به عنوان بخشی از خدمات ابری شرکت آمازون در اختیار پلیس اورلاندو قرار گرفت و گروهی از سازمان‌های اجرای قانون از این سیستم برای تشخیص چهره فوری افراد استفاده کردند. نتایج آزمون ACLU نشان داد که این سیستم هنوز چندان دقیق نیست و اگر ارگان‌های قضایی از این سیستم استفاده کنند ممکن است شهروندان بی‌گناه را دچار دردسر کند.

هرچند تشخیص با اطمینان ۸۰٪ برای عکس‌هایی مانند غذا، ابزار، حیوانات، خودروها و غیره می‌تواند قابل قبول باشد اما تشخیص چهره انسان با این ضریب اطمینان اصلا منطقی نیست. هنگامی که احراز هویت توسط انسان صورت می‌گیرد، پیش از دستگیری مدارک شناسایی بررسی می‌شود؛ اما اگر این تشخیص هویت توسط هوش مصنوعی انجام شود می‌تواند عواقب جبران ناپذیری داشته باشد. تصور کنید یک افسر پلیس به دنبال فردی مجهز به اسلحه باشد. اگر این سیستم، اطلاعات نادرستی به افسر پلیس بدهد ممکن است این افسر برای پیشگیری از اقدام مجرم فرضی به او شلیک کند و در این صورت تصور عواقب این اقدام چندان دشوار نیست.

در این آزمون مشخص شد که این سیستم در تشخیص زنان و رنگین پوستان خطای بیشتری دارد. از ۲۸ تشخیص نادرستی که این سیستم داشت ۱۱ نفر (تقریبا ۳۹ درصد) رنگین پوست بودند و از این تعداد ۵ نفر عضو کانون سیاه پوستان بودند. در حال حاضر تنها ۲۰ درصد از اعضای کنگره سیاه پوست هستند و این نتیجه نشان می‌دهد که میزان اشتباهات در مورد سیاه پوستان به شکل قابل توجهی بیشتر است. این موضوع نگرانی‌هایی در مورد عواقب نژادپرستانه می‌تواند به دنبال داشته باشد. به همین دلیل ۵ نماینده سیاه پوست که چهره آن‌ها به صورت نادرست شناسایی شده بود، نامه سرگشاده‌ای خطاب به «جف بزوس» مالک آمازون نوشتند و از این بابت ابراز نگرانی کردند و از او خواستند تا این مورد را اصلاح کند.

این آزمایش همچنین باعث نگرانی در مورد حریم خصوصی شده است. تمام داده‌های ACLU از منابع عمومی به دست آمده بود. دسترسی به مشخصات افراد سابقه‌دار با استفاده از سرویسی که تنها ۱۲ دلار هزینه دارد، نگران کننده است. همچنین اگر دولت‌ها از این سیستم به عنوان ابزار نظارت استفاده کنند، حریم خصوصی و حقوق مدنی افراد تحت تاثیر قرار می‌گیرد.

سخنگوی آمازون نتایج این آزمون را به کالیبراسیون ضعیف نسبت داد اما با این حال گروه انجام دهنده آزمون نسبت به حقوق انسان‌ها و عواقب ناشی از استفاده ارگان‌های قضایی از این سیستم هشدار دادند.