سوگیری الگوریتمی

سوگیری الگوریتمی

شناسنامه
نام‌های دیگر	سوگیری الگوریتم، سوگیری در هوش مصنوعی، سوگیری ماشینی
حوزه	هوش مصنوعی، یادگیری ماشین، علوم رایانه، اخلاق هوش مصنوعی، جامعه‌شناسی فناوری، حقوق فناوری
خاستگاه	علوم رایانه، آمار، یادگیری ماشین، مطالعات علم و فناوری و علوم اجتماعی
اندیشه و تاریخ
مفاهیم کلیدی	دادهٔ آموزشی، نمونه‌گیری، نمایندگی، انصاف، تبعیض، متغیر جانشین، بازخورد الگوریتمی، شفافیت، پاسخگویی، ممیزی الگوریتمی
جریان‌های مرتبط	هوش مصنوعی، یادگیری ماشین، هوش مصنوعی مولد، اخلاق هوش مصنوعی، عدالت الگوریتمی، تبعیض الگوریتمی، پاسخگویی الگوریتمی
تأثیرپذیرفته از	آمار، علوم رایانه، علوم اجتماعی، نظریهٔ تصمیم، حقوق ضدتبعیض و اخلاق فناوری
تأثیرگذار بر	سیاست‌گذاری هوش مصنوعی، حقوق دیجیتال، طراحی مسئولانهٔ الگوریتم، تنظیم‌گری فناوری، ممیزی سامانه‌های خودکار و اخلاق هوش مصنوعی
نقد و ارزیابی

سوگیری الگوریتمی (به انگلیسی: Algorithmic Bias) به گرایش‌های نظام‌مند در طراحی، داده‌ها، عملکرد یا کاربرد یک الگوریتم یا سامانهٔ خودکار گفته می‌شود که می‌تواند به نتایج متفاوت، ناعادلانه یا تبعیض‌آمیز برای افراد یا گروه‌های مختلف منجر شود. این مفهوم به‌ویژه با گسترش هوش مصنوعی، یادگیری ماشین و سامانه‌های تصمیم‌گیری خودکار اهمیت یافته است.

سوگیری الگوریتمی لزوماً ناشی از تعصب آگاهانهٔ برنامه‌نویس نیست. یک سامانه ممکن است بدون آن‌که طراحان آن قصد تبعیض داشته باشند، به علت داده‌های غیرنماینده، خطاهای آماری، تعریف نامناسب هدف، انتخاب متغیرها، فرایندهای سازمانی یا شرایط اجتماعی پیرامون خود نتایج سوگیرانه ایجاد کند.

مؤسسه ملی استانداردها و فناوری ایالات متحده (NIST) در بررسی سوگیری در هوش مصنوعی سه دستهٔ عمده را از یکدیگر متمایز می‌کند: سوگیری سیستمی، سوگیری آماری و محاسباتی و سوگیری شناختی انسان. این طبقه‌بندی نشان می‌دهد که مسئلهٔ سوگیری را نمی‌توان صرفاً به الگوریتم یا دادهٔ آموزشی محدود کرد؛ بلکه کل چرخهٔ طراحی، توسعه، استقرار و استفاده از سامانه باید بررسی شود.

تعریف

در معنای عمومی، سوگیری الگوریتمی هنگامی مطرح می‌شود که یک سامانهٔ محاسباتی به شکلی نظام‌مند نتایجی ایجاد کند که میان افراد یا گروه‌ها تفاوت ناموجه ایجاد می‌کند یا خطاهای موجود در داده‌ها و ساختارهای اجتماعی را بازتولید می‌کند.

این تفاوت ممکن است در زمینه‌هایی مانند استخدام، اعطای اعتبار، بیمه، تشخیص پزشکی، تشخیص چهره، رتبه‌بندی محتوا، تبلیغات، آموزش یا خدمات عمومی ظاهر شود.

برای مثال، اگر سامانه‌ای برای انتخاب متقاضیان شغلی بر اساس داده‌های استخدامی گذشته آموزش ببیند و داده‌های گذشته حاصل الگوهای نابرابر استخدام باشند، مدل ممکن است بخشی از همان الگوها را بیاموزد.

در چنین حالتی الگوریتم لزوماً قاعده‌ای آشکار برای تبعیض ندارد؛ اما داده‌های تاریخی می‌توانند به بازتولید تفاوت‌های گذشته منجر شوند.

الگوریتم و بی‌طرفی

گاهی فرض می‌شود تصمیمی که توسط رایانه گرفته می‌شود الزاماً از تصمیم انسانی بی‌طرف‌تر است.

این فرض همیشه درست نیست.

الگوریتم‌ها توسط انسان طراحی می‌شوند، داده‌های تولیدشده در جهان واقعی را پردازش می‌کنند و برای اهدافی که انسان یا سازمان تعیین کرده است بهینه می‌شوند.

تصمیم دربارهٔ اینکه:

• چه داده‌ای جمع‌آوری شود؛
• چه متغیری اندازه‌گیری شود؛
• هدف الگوریتم چه باشد؛
• موفقیت چگونه تعریف شود؛
• کدام خطا قابل قبول باشد؛
• و نتیجه چگونه مورد استفاده قرار گیرد؛

همگی می‌توانند بر پیامد نهایی اثر بگذارند.

به همین دلیل بررسی سوگیری تنها با مطالعهٔ کد الگوریتم امکان‌پذیر نیست.

سوگیری داده

سوگیری داده یکی از مهم‌ترین منابع سوگیری الگوریتمی است.

مدل‌های یادگیری ماشین الگوها را از داده‌های آموزشی استخراج می‌کنند. اگر این داده‌ها بازنمایی مناسبی از جامعه یا مسئلهٔ مورد مطالعه نباشند، مدل نیز ممکن است عملکرد نامتوازنی داشته باشد.

برای مثال اگر یک سامانهٔ تشخیص پزشکی عمدتاً با اطلاعات یک گروه جمعیتی آموزش دیده باشد، ممکن است در گروه‌هایی که کمتر در داده‌ها حضور داشته‌اند عملکرد ضعیف‌تری داشته باشد.

این مشکل کمبود نمایندگی نامیده می‌شود.

سوگیری نمونه‌گیری

سوگیری نمونه‌گیری زمانی رخ می‌دهد که نمونهٔ مورد استفاده برای آموزش یا ارزیابی مدل نمایندهٔ جمعیتی نباشد که سامانه در آن استفاده خواهد شد.

فرض کنیم سامانه‌ای برای تشخیص یک بیماری با داده‌های عمدتاً مربوط به یک گروه سنی آموزش داده شود.

اگر همان سامانه برای جمعیت بسیار متفاوتی استفاده شود، عملکرد آن ممکن است کاهش یابد.

NIST سوگیری‌های آماری و محاسباتی را از جمله ناشی از نمونه‌های غیرنماینده می‌داند.

سوگیری تاریخی

گاهی داده‌ها تصویری نسبتاً دقیق از گذشته ارائه می‌کنند، اما خود گذشته حاوی نابرابری بوده است.

این وضعیت را می‌توان سوگیری تاریخی نامید.

برای مثال اگر داده‌های مربوط به استخدام در دهه‌های گذشته نشان دهند که یک گروه کمتر به سمت‌های مدیریتی رسیده است، مدلی که صرفاً الگوی تاریخی را فرا می‌گیرد ممکن است این وضعیت را به عنوان الگویی برای آینده تلقی کند.

در چنین مواردی مسئله لزوماً «دادهٔ اشتباه» نیست؛ بلکه استفادهٔ غیرانتقادی از گذشته برای تصمیم‌گیری دربارهٔ آینده است.

سوگیری اندازه‌گیری

سوگیری اندازه‌گیری زمانی ایجاد می‌شود که متغیر مورد استفاده، مفهوم مورد نظر را به‌درستی اندازه‌گیری نکند.

برای مثال، اگر یک سازمان بخواهد «کیفیت کار» را اندازه‌گیری کند اما تنها از تعداد ساعت حضور در محل کار استفاده کند، متغیر انتخاب‌شده الزاماً نمایندهٔ کیفیت واقعی عملکرد نیست.

اگر الگوریتم بر چنین شاخصی آموزش ببیند، خطای موجود در تعریف معیار می‌تواند وارد تصمیم الگوریتم شود.

متغیرهای جانشین

حذف مستقیم یک ویژگی حساس همیشه سوگیری را برطرف نمی‌کند.

برای مثال ممکن است سامانه مستقیماً اطلاعات مربوط به قومیت، جنسیت یا وضعیت اقتصادی را دریافت نکند، اما متغیرهای دیگری با این ویژگی‌ها همبستگی داشته باشند.

کد پستی نمونهٔ شناخته‌شده‌ای از متغیری است که در برخی جوامع می‌تواند با درآمد، قومیت یا ساختار اجتماعی ارتباط داشته باشد.

چنین متغیرهایی متغیر جانشین (Proxy Variable) نامیده می‌شوند.

در نتیجه الگوریتم ممکن است حتی بدون دسترسی مستقیم به ویژگی حساس، به‌طور غیرمستقیم الگوهای مرتبط با آن را بازسازی کند.

سوگیری برچسب‌گذاری

مدل‌های نظارت‌شده برای آموزش به داده‌های برچسب‌خورده نیاز دارند.

اگر برچسب‌ها نادرست، ناقص یا متأثر از قضاوت انسانی باشند، مدل این خطاها را نیز می‌آموزد.

برای مثال اگر ارزیابی‌های گذشتهٔ کارکنان تحت تأثیر پیش‌داوری انسانی بوده باشد و از همان ارزیابی‌ها برای آموزش سامانهٔ استخدام استفاده شود، بخشی از سوگیری انسانی ممکن است به مدل منتقل شود.

سوگیری سیستمی

NIST سوگیری سیستمی را یکی از سه گروه اصلی سوگیری در هوش مصنوعی می‌داند.

این نوع سوگیری می‌تواند در قواعد، هنجارها، رویه‌ها و ساختارهای سازمانی یا اجتماعی وجود داشته باشد و سپس در سامانهٔ هوش مصنوعی بازتاب پیدا کند.

بنابراین منشأ مشکل ممکن است خارج از الگوریتم باشد.

اگر فرایندی اجتماعی از ابتدا نابرابر باشد، خودکارسازی آن فرایند لزوماً نابرابری را از بین نمی‌برد.

سوگیری آماری و محاسباتی

این دسته شامل خطاهای نظام‌مندی است که از داده، نمونه‌گیری یا روش‌های محاسباتی ناشی می‌شوند.

NIST توضیح می‌دهد که چنین سوگیری‌هایی ممکن است حتی بدون وجود تعصب یا قصد تبعیض ایجاد شوند.

از عوامل احتمالی می‌توان به:

• نمونهٔ غیرنماینده؛
• دادهٔ نادرست؛
• ساده‌سازی بیش از اندازهٔ پدیده‌های پیچیده؛
• بیش‌برازش؛
• کم‌برازش؛
• نحوهٔ برخورد با داده‌های پرت؛
• و روش‌های پاک‌سازی یا جایگزینی داده‌های گمشده

اشاره کرد.

سوگیری شناختی انسان

انسان‌ها نیز در تمام مراحل چرخهٔ زندگی سامانهٔ هوش مصنوعی حضور دارند.

طراحان، مدیران، کاربران و تصمیم‌گیرندگان ممکن است تحت تأثیر سوگیری‌های شناختی قرار گیرند.

برای مثال، فردی ممکن است به دلیل اعتماد بیش از حد به خروجی رایانه تصور کند که پیشنهاد الگوریتم الزاماً صحیح است.

از سوی دیگر، طراح ممکن است مسئله را بر اساس فرض‌های قبلی خود تعریف کند.

NIST سوگیری شناختی انسان را یکی از منابع مهم سوگیری در چرخهٔ زندگی هوش مصنوعی معرفی می‌کند.

سوگیری خودکارسازی

سوگیری خودکارسازی (Automation Bias) گرایش انسان به اعتماد بیش از اندازه به خروجی سامانه‌های خودکار است.

در چنین وضعیتی، کاربر ممکن است تصمیم الگوریتم را حتی زمانی که شواهد دیگری خلاف آن وجود دارد بپذیرد.

این مسئله در کاربردهای حساس مانند پزشکی، امنیت، حمل‌ونقل یا تصمیم‌های اداری اهمیت ویژه‌ای دارد.

نظارت انسانی زمانی مؤثر است که انسان واقعاً توانایی، اطلاعات و اختیار بررسی یا رد تصمیم سامانه را داشته باشد.

حلقهٔ بازخورد

الگوریتم‌ها گاهی نه‌تنها واقعیت را تحلیل می‌کنند، بلکه بر واقعیتی که بعداً به عنوان داده دریافت می‌کنند نیز اثر می‌گذارند.

این وضعیت می‌تواند حلقهٔ بازخورد ایجاد کند.

برای مثال، اگر سامانه‌ای یک منطقه را پرخطر تشخیص دهد و منابع نظارتی بیشتری به آن منطقه فرستاده شود، طبیعتاً موارد بیشتری در همان منطقه ثبت خواهد شد.

داده‌های جدید سپس ممکن است نتیجهٔ اولیهٔ الگوریتم را تأیید کنند.

به این ترتیب تصمیم الگوریتم در تولید داده‌های آینده نقش پیدا می‌کند.

سوگیری در استخدام

یکی از کاربردهای مورد بحث الگوریتم‌ها، غربالگری متقاضیان شغلی است.

سامانه می‌تواند رزومه‌ها را رتبه‌بندی یا احتمال موفقیت متقاضی را تخمین بزند.

اگر داده‌های آموزشی از استخدام‌های گذشته گرفته شده باشند، نابرابری‌های تاریخی ممکن است وارد مدل شوند.

همچنین متغیرهایی مانند محل سکونت، دانشگاه یا سابقهٔ شغلی ممکن است به‌صورت غیرمستقیم با ویژگی‌های اجتماعی ارتباط داشته باشند.

به همین دلیل سامانه‌های استخدام خودکار نیازمند ارزیابی مستمر پیامدها برای گروه‌های مختلف هستند.

سوگیری در تشخیص چهره

تشخیص چهره یکی از حوزه‌هایی است که تفاوت عملکرد سامانه‌ها میان گروه‌های جمعیتی مورد مطالعه قرار گرفته است.

پژوهش‌های مربوط به این حوزه نشان داده‌اند که عملکرد برخی سامانه‌های تجاری در گروه‌های مختلف یکسان نبوده است.

این مطالعات توجه عمومی را به اهمیت ترکیب مجموعهٔ داده، معیارهای ارزیابی و گزارش عملکرد تفکیک‌شده برای گروه‌های جمعیتی جلب کردند.

از این رو صرف اعلام «دقت کلی» یک سامانه ممکن است برای ارزیابی عدالت آن کافی نباشد.

سوگیری در پزشکی

سامانه‌های هوش مصنوعی می‌توانند برای تشخیص بیماری، ارزیابی خطر و پیشنهاد درمان استفاده شوند.

اگر داده‌های آموزشی نمایندهٔ جمعیت بیماران نباشند، عملکرد سامانه ممکن است میان گروه‌ها متفاوت باشد.

یونسکو در توصیه‌نامهٔ اخلاق هوش مصنوعی بر ضرورت نظارت برای کاهش سوگیری در کاربردهای پزشکی و حضور متخصصان حوزه در فرایند توسعه تأکید کرده است.

سوگیری در نظام قضایی

استفاده از الگوریتم‌ها برای ارزیابی خطر، مدیریت پرونده یا پشتیبانی تصمیم قضایی بحث‌های گسترده‌ای ایجاد کرده است.

در این حوزه، پیامد خطا می‌تواند مستقیماً بر آزادی و حقوق افراد اثر بگذارد.

اگر داده‌های تاریخی نظام قضایی حاوی تفاوت‌های ساختاری باشند، مدل ممکن است این تفاوت‌ها را بازتولید کند.

به همین دلیل شفافیت، امکان اعتراض، نظارت انسانی و بررسی مستقل در چنین کاربردهایی اهمیت ویژه دارند.

سوگیری در اعتبارسنجی

بانک‌ها و مؤسسات مالی از مدل‌های آماری و یادگیری ماشین برای ارزیابی ریسک اعتباری استفاده می‌کنند.

الگوریتم ممکن است صدها متغیر را برای تخمین احتمال بازپرداخت وام تحلیل کند.

اما برخی متغیرها می‌توانند به‌طور مستقیم یا غیرمستقیم با موقعیت اجتماعی افراد ارتباط داشته باشند.

در نتیجه ارزیابی عدالت سامانه تنها با حذف متغیرهای آشکار حساس پایان نمی‌یابد.

موتورهای جست‌وجو

سامانه‌های رتبه‌بندی اطلاعات نیز می‌توانند در بحث سوگیری الگوریتمی قرار گیرند.

موتور جست‌وجو باید تصمیم بگیرد کدام نتایج در بالای صفحه نمایش داده شوند.

این رتبه‌بندی تحت تأثیر داده‌ها، الگوریتم، رفتار کاربران و معیارهای طراحی سامانه قرار دارد.

یونسکو اشاره کرده است که فناوری جست‌وجو خنثی نیست و ممکن است برخی سوگیری‌ها و کلیشه‌های موجود در جهان واقعی را بازتاب یا تقویت کند.

شبکه‌های اجتماعی

الگوریتم‌های شبکه‌های اجتماعی تعیین می‌کنند کدام محتوا بیشتر در معرض دید کاربران قرار گیرد.

این سامانه‌ها ممکن است بر اساس تعامل، احتمال کلیک، زمان مشاهده یا معیارهای دیگر محتوا را رتبه‌بندی کنند.

در نتیجه انتخاب معیار بهینه‌سازی می‌تواند بر نوع محتوایی که بیشتر دیده می‌شود اثر بگذارد.

این موضوع مسئلهٔ سوگیری الگوریتمی را به مباحثی مانند پروپاگاندا، اطلاعات نادرست، اتاق پژواک و قطبی‌شدن اجتماعی مرتبط کرده است.

سوگیری در هوش مصنوعی مولد

هوش مصنوعی مولد نیز می‌تواند سوگیری‌های موجود در داده‌های آموزشی یا فرایند توسعه را بازتاب دهد.

برای مثال، یک مدل تولید متن ممکن است هنگام توصیف برخی حرفه‌ها یا گروه‌ها کلیشه‌های موجود در داده‌ها را تکرار کند.

مدل تولید تصویر نیز ممکن است هنگام دریافت دستورهایی دربارهٔ مشاغل، موقعیت‌های اجتماعی یا ویژگی‌های انسانی الگوهای نامتوازنی ایجاد کند.

به همین دلیل ارزیابی مدل‌های مولد تنها بر اساس کیفیت ظاهری خروجی کافی نیست.

سوگیری زبانی

مدل‌های زبانی با حجم‌های متفاوتی از داده در زبان‌های مختلف آموزش می‌بینند.

اگر منابع یک زبان بسیار بیشتر از زبان دیگری باشد، کیفیت عملکرد مدل می‌تواند میان زبان‌ها متفاوت باشد.

این مسئله می‌تواند در ترجمه، بازیابی اطلاعات، تولید متن و پاسخ به پرسش ظاهر شود.

زبان‌های کم‌منبع از این منظر با چالش بیشتری روبه‌رو هستند.

سوگیری و زبان فارسی

در زبان فارسی نیز کیفیت و تنوع داده‌های آموزشی اهمیت دارد.

متن فارسی در اینترنت از نظر موضوع، جغرافیا، سبک نگارش و دیدگاه اجتماعی توزیع یکنواختی ندارد.

همچنین بخشی از منابع فارسی ممکن است در دسترس عمومی یا قابل نمایه‌سازی نباشند.

در نتیجه مدل زبانی ممکن است تصویری نامتوازن از منابع فارسی دریافت کند.

این امر اهمیت ایجاد مجموعه‌داده‌های متنوع و ارزیابی مستقل مدل‌ها در زبان فارسی را افزایش می‌دهد.

سوگیری و هوش مصنوعی مولد تصویری

در مدل‌های تولید تصویر، سوگیری ممکن است به شکل بازنمایی نامتوازن گروه‌ها ظاهر شود.

اگر داده‌های آموزشی برخی مشاغل را عمدتاً با یک جنسیت، قومیت، سن یا فرهنگ مرتبط کرده باشند، مدل نیز ممکن است هنگام تولید تصویر همان الگو را تکرار کند.

یونسکو نمونه‌هایی از سوگیری جنسیتی در نتایج سامانه‌های دیجیتال را به عنوان بخشی از چالش اخلاقی هوش مصنوعی مطرح کرده است.

تفاوت سوگیری و تبعیض

سوگیری و تبعیض مفاهیمی مرتبط اما یکسان نیستند.

سوگیری می‌تواند یک گرایش نظام‌مند آماری، محاسباتی، شناختی یا اجتماعی باشد.

تبعیض معمولاً به رفتار یا پیامدی اشاره دارد که موجب برخورد نامطلوب یا نابرابر با فرد یا گروه بر اساس ویژگی‌های معین می‌شود.

بنابراین هر سوگیری آماری الزاماً تبعیض حقوقی محسوب نمی‌شود.

در مقابل، برخی سوگیری‌ها در شرایط مشخص می‌توانند به پیامدهای تبعیض‌آمیز منجر شوند.

تفاوت سوگیری و خطا

هر خطای الگوریتمی نیز سوگیری نیست.

اگر مدل به‌صورت تصادفی اشتباه کند و خطاها به‌طور نظام‌مند در یک جهت یا برای گروه خاصی متمرکز نباشند، ممکن است مسئله صرفاً خطای مدل باشد.

سوگیری معمولاً دارای جنبه‌ای نظام‌مند است.

برای مثال اگر سامانه در تمام گروه‌ها تقریباً به یک میزان اشتباه کند، مسئله با حالتی متفاوت است که نرخ خطا برای یک گروه به‌طور مداوم بسیار بالاتر باشد.

انصاف الگوریتمی

انصاف الگوریتمی (Algorithmic Fairness) حوزه‌ای پژوهشی است که می‌کوشد معیارها و روش‌هایی برای ارزیابی و کاهش تفاوت‌های ناموجه در سامانه‌های الگوریتمی ایجاد کند.

اما «انصاف» تنها یک تعریف ریاضی ندارد.

در یک مسئله ممکن است هدف برابرکردن نرخ خطا باشد؛ در مسئله‌ای دیگر برابری فرصت یا پیامد مورد توجه قرار گیرد.

این معیارها گاهی با یکدیگر ناسازگارند.

بنابراین انتخاب معیار انصاف علاوه بر مسئلهٔ فنی، تصمیمی هنجاری و اجتماعی نیز هست.

دقت کلی و عدالت

یک سامانه می‌تواند دقت کلی بسیار بالایی داشته باشد اما برای یک گروه خاص عملکرد ضعیفی نشان دهد.

فرض کنیم مدل در کل جمعیت ۹۵ درصد دقت داشته باشد، اما نرخ خطای آن برای یک گروه ۲۰ درصد و برای گروه دیگر ۳ درصد باشد.

اعلام تنها دقت کلی این تفاوت را پنهان می‌کند.

به همین دلیل ارزیابی سامانه‌های حساس باید عملکرد را برای گروه‌ها و شرایط مختلف نیز بررسی کند.

تقاطع ویژگی‌ها

سوگیری همیشه تنها بر یک ویژگی متمرکز نیست.

ممکن است سامانه برای زنان و مردان به‌طور کلی عملکرد مشابهی داشته باشد، اما برای زنان یک گروه قومی خاص خطای بیشتری ایجاد کند.

این موضوع با مفهوم تقاطع‌مندی مرتبط است.

بنابراین ارزیابی تنها بر اساس دسته‌های بسیار کلی می‌تواند برخی تفاوت‌ها را پنهان کند.

ممیزی الگوریتمی

ممیزی الگوریتمی فرایند بررسی نظام‌مند عملکرد، داده‌ها و پیامدهای یک سامانه است.

ممیزی می‌تواند شامل بررسی موارد زیر باشد:

• داده‌های آموزشی؛
• عملکرد گروهی؛
• معیارهای انصاف؛
• مستندات مدل؛
• فرایند تصمیم‌گیری؛
• امنیت؛
• حریم خصوصی؛
• و پیامدهای اجتماعی.

ممیزی ممکن است داخلی یا توسط نهاد مستقل انجام شود.

شفافیت

شفافیت یکی از اصول مهم در مدیریت سوگیری است.

کاربران و افراد متأثر از سامانه باید در حد متناسب با کاربرد بدانند که تصمیم چگونه و با چه نوع داده‌ای گرفته شده است.

اما شفافیت به معنای انتشار سادهٔ کد منبع نیست.

یک الگوریتم پیچیده ممکن است کاملاً منتشر شود اما برای عموم قابل فهم نباشد.

بنابراین شفافیت می‌تواند شامل توضیح هدف، داده، محدودیت، معیار ارزیابی و سازوکار اعتراض نیز باشد.

توضیح‌پذیری

توضیح‌پذیری (Explainability) به توانایی ارائهٔ توضیح قابل فهم دربارهٔ عملکرد یا تصمیم سامانه اشاره دارد.

در کاربردهای حساس، فردی که تصمیم الگوریتم بر او اثر گذاشته است ممکن است نیاز داشته باشد بداند چرا درخواست او رد شده است.

توضیح‌پذیری می‌تواند به شناسایی خطا و سوگیری کمک کند، اما خود به‌تنهایی تضمین‌کنندهٔ انصاف نیست.

یک سامانه می‌تواند تصمیم تبعیض‌آمیز خود را به‌خوبی توضیح دهد و همچنان ناعادلانه باشد.

پاسخگویی

پاسخگویی الگوریتمی به این اصل اشاره دارد که مسئولیت تصمیم‌های سامانه نباید در پیچیدگی فناوری گم شود.

اگر الگوریتم موجب زیان شود، باید مشخص باشد چه فرد یا نهادی مسئول طراحی، استقرار، نظارت و اصلاح آن است.

عبارت «رایانه تصمیم گرفت» نمی‌تواند به‌خودی‌خود جایگزین مسئولیت سازمانی و انسانی شود.

نظارت انسانی

نظارت انسانی یکی از ابزارهای مهم کاهش خطر سامانه‌های خودکار است.

یونسکو در توصیه‌نامهٔ اخلاق هوش مصنوعی بر اهمیت نظارت انسانی در کنار اصولی مانند انصاف، شفافیت و احترام به حقوق بشر تأکید کرده است.

با این حال صرف حضور یک انسان در فرایند کافی نیست.

ناظر باید اطلاعات، زمان، تخصص و اختیار لازم برای بررسی یا تغییر تصمیم الگوریتم را داشته باشد.

کاهش سوگیری

هیچ روش واحدی برای حذف همهٔ انواع سوگیری وجود ندارد.

اقدامات کاهش سوگیری می‌توانند در مراحل مختلف انجام شوند.

در مرحلهٔ داده:

• افزایش تنوع داده‌ها؛
• بررسی نمایندگی گروه‌ها؛
• اصلاح خطاهای برچسب‌گذاری؛
• و مستندسازی منشأ داده.

در مرحلهٔ طراحی:

• بررسی متغیرها؛
• انتخاب معیارهای مناسب؛
• آزمایش مدل برای گروه‌های مختلف؛
• و تحلیل پیامدهای احتمالی.

پس از استقرار:

• پایش عملکرد؛
• ممیزی دوره‌ای؛
• امکان گزارش خطا؛
• سازوکار اعتراض؛
• و اصلاح سامانه.

آیا می‌توان سوگیری را کاملاً حذف کرد؟

حذف کامل همهٔ انواع سوگیری هدفی دشوار و در برخی موارد مفهومی نامشخص است.

بخشی از مسئله از این واقعیت ناشی می‌شود که تصمیم دربارهٔ «انصاف» خود نیازمند انتخاب میان ارزش‌ها و معیارهای مختلف است.

همچنین داده‌های جهان واقعی از شرایط تاریخی و اجتماعی جدا نیستند.

از این رو رویکردهای جدید بیشتر بر شناسایی، اندازه‌گیری، کاهش و مدیریت سوگیری در طول چرخهٔ زندگی سامانه تأکید دارند.

NIST نیز مسئله را در قالب مدیریت مستمر خطر و سوگیری بررسی می‌کند.

یونسکو و سوگیری الگوریتمی

یونسکو در سال ۲۰۲۱ «توصیه‌نامهٔ اخلاق هوش مصنوعی» را تصویب کرد که حقوق بشر و کرامت انسانی را در مرکز چارچوب اخلاقی هوش مصنوعی قرار می‌دهد.

در این سند تأکید شده است که فناوری‌های هوش مصنوعی می‌توانند سوگیری‌های موجود را بازتولید یا تقویت کنند و به تبعیض، نابرابری و حذف اجتماعی منجر شوند.

یونسکو از بازیگران حوزهٔ هوش مصنوعی می‌خواهد تلاش‌های معقول برای جلوگیری از تقویت یا تداوم کاربردها و نتایج تبعیض‌آمیز و سوگیرانه در سراسر چرخهٔ زندگی سامانه انجام دهند.

حقوق بشر

سوگیری الگوریتمی زمانی اهمیت حقوق بشری پیدا می‌کند که تصمیم سامانه بر دسترسی افراد به فرصت، خدمت یا حق اساسی اثر بگذارد.

این موضوع می‌تواند با:

• برابری؛
• منع تبعیض؛
• حریم خصوصی؛
• آزادی بیان؛
• حق دادرسی منصفانه؛
• دسترسی به آموزش؛
• و برخورداری از خدمات عمومی

ارتباط پیدا کند.

یونسکو چارچوب اخلاق هوش مصنوعی خود را بر حقوق بشر، کرامت انسانی، انصاف، شفافیت و نظارت انسانی استوار کرده است.

سوگیری الگوریتمی و قدرت

بحث سوگیری الگوریتمی تنها مسئله‌ای فنی دربارهٔ دقت مدل نیست.

الگوریتم‌ها در برخی موارد تعیین می‌کنند چه کسی دیده شود، چه کسی اعتبار دریافت کند، چه محتوایی توصیه شود یا چه فردی برای بررسی بیشتر انتخاب شود.

در نتیجه پرسش‌هایی مانند این اهمیت پیدا می‌کنند:

چه کسی الگوریتم را طراحی می‌کند؟

چه کسی هدف آن را تعیین می‌کند؟

چه داده‌ای در اختیار مدل قرار می‌گیرد؟

چه کسی از تصمیم آن متأثر می‌شود؟

و چه کسی امکان اعتراض به نتیجه را دارد؟

از این منظر، مطالعهٔ سوگیری الگوریتمی با مطالعهٔ قدرت، پاسخگویی و ساختارهای اجتماعی پیوند پیدا می‌کند.

سوگیری و آزادی اطلاعات

الگوریتم‌های جست‌وجو، توصیه‌گر و رتبه‌بندی نقش مهمی در تعیین اطلاعاتی دارند که کاربران مشاهده می‌کنند.

اگر این سامانه‌ها به شکل نظام‌مند برخی منابع یا دیدگاه‌ها را بیشتر یا کمتر نمایش دهند، بر محیط اطلاعاتی کاربران اثر خواهند گذاشت.

این موضوع با پلورالیسم سیاسی، آزادی بیان و دسترسی به اطلاعات ارتباط پیدا می‌کند.

با این حال وجود تفاوت در رتبه‌بندی به‌تنهایی اثبات‌کنندهٔ سوگیری ناموجه نیست؛ ارزیابی نیازمند بررسی معیارهای الگوریتم، داده‌ها و پیامدهای واقعی است.

سوگیری و پروپاگاندا

سامانه‌های توصیه‌گر و تولید محتوا می‌توانند در انتشار پروپاگاندا و اطلاعات نادرست نقش داشته باشند.

اگر الگوریتمی صرفاً برای بیشینه‌کردن تعامل کاربران بهینه شود، ممکن است محتوایی که واکنش شدیدتری ایجاد می‌کند بیشتر توزیع شود.

این نتیجه الزاماً ناشی از قصد سیاسی طراح الگوریتم نیست؛ ممکن است پیامد معیار بهینه‌سازی باشد.

این مثال نشان می‌دهد که اهداف فنی الگوریتم می‌توانند پیامدهای اجتماعی و سیاسی پیش‌بینی‌نشده داشته باشند.

سوگیری و سانسور الگوریتمی

سامانه‌های خودکار برای تعدیل محتوا نیز ممکن است دچار خطا یا سوگیری شوند.

مدل ممکن است برخی اصطلاحات را بدون درک زمینه به عنوان محتوای نامناسب طبقه‌بندی کند.

این مشکل برای زبان‌ها، گویش‌ها یا زمینه‌هایی که دادهٔ آموزشی کمتری دارند می‌تواند شدیدتر باشد.

به همین دلیل تصمیم‌های خودکار دربارهٔ حذف محتوا، محدودکردن حساب یا کاهش دسترسی به اطلاعات نیازمند امکان بررسی و اعتراض هستند.

سوگیری الگوریتمی و دموکراسی

با افزایش نقش الگوریتم‌ها در توزیع اطلاعات، تبلیغات، شبکه‌های اجتماعی و خدمات عمومی، پیامدهای آنها می‌تواند به فرایندهای دموکراتیک نیز گسترش یابد.

یونسکو در چارچوب اخلاق هوش مصنوعی به آثار احتمالی این فناوری بر دموکراسی، فرایندهای سیاسی، ارتباطات و دسترسی به اطلاعات اشاره کرده است.

شفافیت، تکثر اطلاعات، امکان بررسی تصمیم‌های خودکار و پاسخگویی نهادهای استفاده‌کننده از الگوریتم از موضوعات مطرح در این حوزه‌اند.

سوگیری و مسئولیت انسانی

وجود الگوریتم مسئولیت انسان را از میان نمی‌برد.

الگوریتم هدف خود را مستقلاً انتخاب نمی‌کند؛ انسان یا سازمان هدف، داده، شرایط استقرار و نحوهٔ استفاده از نتیجه را تعیین می‌کند.

حتی اگر سامانهٔ یادگیری ماشین رفتاری ایجاد کند که طراحان دقیقاً پیش‌بینی نکرده‌اند، مسئولیت ایجاد سازوکارهای نظارت و کنترل همچنان مسئله‌ای انسانی و سازمانی است.

به همین دلیل اخلاق هوش مصنوعی بر مفهوم پاسخگویی تأکید دارد.

سوگیری الگوریتمی و ایران

با گسترش سامانه‌های دیجیتال و هوش مصنوعی در ایران، مسئلهٔ سوگیری الگوریتمی نیز می‌تواند در حوزه‌هایی مانند خدمات بانکی، آموزش، استخدام، تشخیص هویت، نظارت تصویری، رتبه‌بندی محتوا و مدیریت خدمات عمومی مطرح شود.

ارزیابی علمی هر سامانه نیازمند دسترسی به اطلاعات دربارهٔ داده‌های آموزشی، معیارهای تصمیم‌گیری، نرخ خطا و عملکرد آن برای گروه‌های مختلف است.

در نبود شفافیت دربارهٔ این عناصر، سنجش مستقل میزان سوگیری دشوار خواهد بود.

در سامانه‌های حکومتی، اهمیت موضوع افزایش می‌یابد؛ زیرا تصمیم خودکار ممکن است مستقیماً بر حقوق شهروندان اثر بگذارد. از این رو شفافیت، امکان اعتراض، پاسخگویی نهاد استفاده‌کننده و نظارت مستقل از الزامات مهم ارزیابی چنین سامانه‌هایی به‌شمار می‌روند.

اهمیت دانشنامه‌ای

سوگیری الگوریتمی یکی از مفاهیم کلیدی برای فهم رابطهٔ میان فناوری و جامعه در عصر هوش مصنوعی است.

این مفهوم نشان می‌دهد که مسئلهٔ هوش مصنوعی تنها افزایش دقت محاسبات نیست؛ بلکه باید پرسید این دقت چگونه میان افراد و گروه‌ها توزیع می‌شود و خطاهای سامانه بر چه کسانی اثر بیشتری می‌گذارند.

همچنین مطالعهٔ سوگیری الگوریتمی نشان می‌دهد که مرز روشنی میان «مسئلهٔ فنی» و «مسئلهٔ اجتماعی» وجود ندارد.

داده، الگوریتم، سازمان و جامعه بخشی از یک سامانهٔ واحد هستند.

جمع‌بندی

سوگیری الگوریتمی به گرایش‌های نظام‌مند در داده‌ها، طراحی، عملکرد یا کاربرد سامانه‌های الگوریتمی گفته می‌شود که می‌توانند به تفاوت‌های ناموجه یا پیامدهای تبعیض‌آمیز منجر شوند.

این سوگیری لزوماً ناشی از تعصب آگاهانهٔ برنامه‌نویس نیست. داده‌های غیرنماینده، خطای نمونه‌گیری، معیارهای نامناسب، ساختارهای اجتماعی، تصمیم‌های سازمانی و سوگیری‌های شناختی انسان همگی می‌توانند در ایجاد آن نقش داشته باشند.

NIST سه حوزهٔ مهم سوگیری را سیستمی، آماری و محاسباتی، و شناختی انسانی معرفی کرده است.

گسترش هوش مصنوعی مولد، تشخیص چهره، سامانه‌های توصیه‌گر و تصمیم‌گیری خودکار اهمیت این موضوع را افزایش داده است.

راه‌حل نیز صرفاً «حذف سوگیری از کد» نیست؛ بلکه مدیریت آن مستلزم بررسی داده، طراحی، معیارهای ارزیابی، شرایط اجتماعی، عملکرد واقعی، شفافیت، ممیزی و پاسخگویی در تمام چرخهٔ زندگی سامانه است.

یونسکو نیز در توصیه‌نامهٔ اخلاق هوش مصنوعی تأکید کرده است که بازیگران این حوزه باید برای کاهش و جلوگیری از تقویت نتایج تبعیض‌آمیز یا سوگیرانه تلاش کنند و امکان جبران مؤثر در برابر تبعیض الگوریتمی وجود داشته باشد.

جستارهای وابسته

• هوش مصنوعی
• هوش مصنوعی مولد
• یادگیری ماشین
• یادگیری عمیق
• الگوریتم
• مدل زبانی بزرگ
• توکن (هوش مصنوعی)
• پرامپت (هوش مصنوعی)
• اخلاق هوش مصنوعی
• حریم خصوصی
• تبعیض
• پروپاگاندا
• پلورالیسم سیاسی
• آزادی بیان
• حقوق بشر
• علوم رایانه

کتاب‌شناسی

• Barocas, Solon, Moritz Hardt, and Arvind Narayanan. Fairness and Machine Learning: Limitations and Opportunities. MIT Press, 2023.
• Buolamwini, Joy, and Timnit Gebru. “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification.” Proceedings of Machine Learning Research 81 (2018): 1–15.
• Mehrabi, Ninareh, et al. “A Survey on Bias and Fairness in Machine Learning.” ACM Computing Surveys 54, no. 6 (2021).
• National Institute of Standards and Technology. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence. NIST Special Publication 1270. Gaithersburg, MD: NIST, 2022.
• Noble, Safiya Umoja. Algorithms of Oppression: How Search Engines Reinforce Racism. New York: New York University Press, 2018.
• O’Neil, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown, 2016.
• UNESCO. Recommendation on the Ethics of Artificial Intelligence. Paris: UNESCO, 2021.