عدالت (یادگیری ماشین) - ویکی‌پدیا، دانشنامهٔ آزاد

عدالت در یادگیری ماشین به تلاش‌های مختلف برای تصحیح algorithmic bias (تعصب الگوریتمی) در فرآیندهای تصمیم‌گیری خودکار بر اساس مدل‌های یادگیری ماشین اشاره دارد. همان‌طور که در مورد بسیاری از مفاهیم اخلاقی وجود دارد، تعاریف عدالت و تعصب همیشه بحث‌برانگیز است. به‌طور کلی، عدالت و تعصب وقتی مرتبط تلقی می‌شود که فرایند تصمیم‌گیری بر زندگی افراد تأثیر می‌گذارد، به ویژه با توجه به مجموعه ای از متغیرهای حساس مانند جنسیت، قومیت، گرایش جنسی، ناتوانی و غیره. در یادگیری ماشین، مسئله algorithmic bias (تعصب الگوریتمی) به خوبی شناخته شده و به خوبی مطالعه شده‌است. نتایج ممکن است توسط طیفی از عوامل منحرف شود و بنابراین ممکن است با توجه به گروه‌ها یا افراد خاص ناعادلانه در نظر گرفته شود. یک مثال می‌تواند راهی باشد که سایت‌های رسانه‌های اجتماعی اخبار شخصی‌سازی شده را به مصرف‌کنندگان ارائه می‌کنند.

تحقیق در مورد عدالت در یادگیری ماشینی موضوع نسبتاً جدیدی است. در سال ۲۰۱۸، اکثر مقالات در این زمینه در سه سال گذشته منتشر شده بودند.^[۱] در همان سال، AI Fairness 360 ،IBM را معرفی کرد، یک کتابخانه پایتون با چندین الگوریتم برای کاهش تعصب نرم‌افزار و افزایش عدالت آن^[۲][۳] و فیس‌بوک استفاده خود را از ابزاری به نام جریان عدالت برای تشخیص تعصب در هوش مصنوعی خود عمومی کرد. اگر چه، کد منبع ابزار در دسترس نیست.^[۴] در سال ۲۰۱۹، گوگل مجموعه ای از ابزارها را در گیت‌هاب منتشر کرد تا اثرات عدالت را در بلندمدت بررسی کند.^[۵]

استفاده از تصمیم‌گیری الگوریتمی در نظام حقوقی یک حوزه قابل توجه مورد استفاده تحت بررسی بوده‌است. در سال ۲۰۱۴، اریک هولدر، دادستان کل ایالات متحده، این نگرانی را مطرح کرد که روش‌های «ارزیابی ریسک» ممکن است بر عواملی که تحت کنترل متهم نیستند، مانند سطح تحصیلات یا پیشینه اقتصادی-اجتماعی آنها تمرکز نادرست داشته باشد.^[۶] یک گزارش تحقیقی که توسط پروپابلیکا در سال ۲۰۱۶ منتشر شد، ادعا کرد که نرم‌افزار COMPAS، که به‌طور گسترده در دادگاه‌های ایالات متحده برای پیش‌بینی recidivism (تکرار جرم) استفاده می‌شود، تعصب نژادی است. این گزارش ادعا کرد که متهمان سیاهپوست تقریباً دو برابر بیشتر از متهمان سفیدپوست به‌طور نادرست به عنوان خطر بالاتر برچسب‌گذاری می‌شوند، در حالی که با متهمان سفیدپوست اشتباه معکوس را مرتکب می‌شوند.^[۷] تعصب نژادی و جنسیتی نیز در الگوریتم‌های تشخیص تصویر مورد توجه قرار گرفته‌است. مشخص شده‌است که تشخیص چهره و حرکت در دوربین‌ها، حالات صورت سوژه‌های غیرسفید را نادیده می‌گیرد یا اشتباه می‌گذارد.^[۸] در سال ۲۰۱۵، ویژگی برچسب‌گذاری خودکار در فلیکر و گوگل فوتوز برای برچسب‌گذاری سیاه‌پوستان با برچسب‌هایی مانند «حیوان» و «گوریل» پیدا شد.^[۹] یک مسابقه بین‌المللی زیبایی در سال ۲۰۱۶ که توسط یک الگوریتم هوش مصنوعی داوری شد، مشخص شد که نسبت به افرادی با پوست روشن‌تر، احتمالاً به دلیل تعصب در داده‌های آموزشی، تعصب دارد.^[۱۰] مطالعه‌ای روی سه الگوریتم طبقه‌بندی جنسیتی تجاری در سال ۲۰۱۸ نشان داد که هر سه الگوریتم معمولاً در طبقه‌بندی مردان با پوست روشن دقیق‌ترین و بدترین در طبقه‌بندی زنان با پوست تیره هستند.

در مسائل طبقه‌بندی، یک الگوریتم تابعی را برای پیش‌بینی یک مشخصه ${\textstyle Y}$گسسته می‌آموزد، متغیر هدف، از ویژگی‌های شناخته شده ${\textstyle X}$ است.${\textstyle A}$ به عنوان یک متغیر تصادفی گسسته مدل می‌کنیم که برخی از ویژگی‌های موجود یا به‌طور ضمنی رمزگذاری شده در ${\textstyle X}$ که به عنوان ویژگی‌های حساس (جنسیت، قومیت، گرایش جنسی و غیره) در نظر می‌گیریم). پیش‌بینی طبقه‌بندی کننده را در نهایت با ${\textstyle R}$ نشان می‌دهیم حال اجازه دهید سه معیار اصلی را برای ارزیابی عادل بودن یک طبقه‌بندی‌کننده را مشخص کنیم، یعنی اگر پیش‌بینی‌های آن تحت تأثیر برخی از این متغیرهای حساس قرار نگیرد.^[۱۱]

${\textstyle (R,A)}$ را اقناع استقلال متغیرهای تصادفی می‌گوییم اگر ویژگی‌های حساس مشخصه ${\textstyle A}$ از نظر متغیر تصادفی مستقل از پیش‌بینی ${\textstyle R}$ هستند، و ما می‌نویسیم$${\displaystyle R\bot A.}$$همچنین می‌توانیم این مفهوم را با فرمول زیر بیان کنیم:$${\displaystyle P(R=r\ |\ A=a)=P(R=r\ |\ A=b)\quad \forall r\in R\quad \forall a,b\in A}$$این بدان معنی است که نرخ طبقه‌بندی برای هر کلاس هدف برای افراد متعلق به گروه‌های مختلف با توجه به ویژگی‌های حساس برابر مشخصه ${\displaystyle A}$ است.

با این حال می‌توان یک عبارت معادل دیگر برای استقلال با استفاده از مفهوم اطلاعات متقابل بین متغیرهای تصادفی ارائه داد که به این صورت تعریف شده‌است.$${\displaystyle I(X,Y)=H(X)+H(Y)-H(X,Y)}$$در این فرمول، ${\textstyle H(X)}$ آنتروپی متغیر تصادفی ${\displaystyle X}$ است. سپس ${\textstyle (R,A)}$ اقناع استقلال است اگر ${\textstyle I(R,A)=0}$ باشد.

یک آرامش احتمالی در تعریف استقلال شامل معرفی یک سستی مثبت است ${\textstyle \epsilon >0}$ و با این فرمول به دست می‌آید:$${\displaystyle P(R=r\ |\ A=a)\geq P(R=r\ |\ A=b)-\epsilon \quad \forall r\in R\quad \forall a,b\in A}$$در نهایت، یکی دیگر از آرامش‌های احتمالی نیاز است ${\textstyle I(R,A)\leq \epsilon }$ باشد.

${\textstyle (R,A,Y)}$ را متغیرهای تصادفی اقناع جدایی می‌گوییم اگر ویژگی‌های ${\textstyle A}$ حساس است از نظر آماری مستقل از پیش‌بینی ${\textstyle R}$ هستند با توجه به مقدار هدف ${\textstyle Y}$ ، و ما می‌نویسیم$${\displaystyle R\bot A\ |\ Y.}$$همچنین می‌توانیم این مفهوم را با فرمول زیر بیان کنیم:$${\displaystyle P(R=r\ |\ Y=q,A=a)=P(R=r\ |\ Y=q,A=b)\quad \forall r\in R\quad q\in Y\quad \forall a,b\in A}$$این بدان معنی است که تمام وابستگی تصمیم ${\displaystyle R}$ روی ویژگی حساس ${\displaystyle A}$ باید با وابستگی واقعی متغیر هدف واقعی ${\displaystyle Y}$ توجیه شود.

عبارت معادل دیگر، در مورد نرخ هدف باینری، این است که نرخ مثبت واقعی و نرخ مثبت کاذب برابر هستند (و بنابراین نرخ منفی کاذب و نرخ منفی واقعی برابر هستند) برای هر مقدار از ویژگی‌های حساس:$${\displaystyle P(R=1\ |\ Y=1,A=a)=P(R=1\ |\ Y=1,A=b)\quad \forall a,b\in A}$$$${\displaystyle P(R=1\ |\ Y=0,A=a)=P(R=1\ |\ Y=0,A=b)\quad \forall a,b\in A}$$یک تخفیف ممکن برای تعاریف داده شده این است که اجازه دهیم مقدار اختلاف بین نرخ‌ها عددی مثبت کمتر از یک سستی باشد. ${\textstyle \epsilon >0}$ ، به جای برابر با صفر.

{{سخ}}در برخی زمینه‌ها، جداسازی (ضریب جداسازی) در یک ماتریس درهم ریختگی، اندازه‌گیری فاصله (در سطح معینی از امتیاز احتمال) بین درصد تجمعی پیش‌بینی‌شده منفی و درصد تجمعی پیش‌بینی‌شده مثبت است.

هر چه این ضریب تفکیک در یک مقدار امتیاز معین بیشتر باشد، مدل در تمایز بین مجموعه مثبت و منفی در یک برش احتمال خاص مؤثرتر است. به گفته مایز: «اغلب در صنعت اعتبار مشاهده می‌شود که انتخاب معیارهای اعتبارسنجی به رویکرد مدل‌سازی بستگی دارد. به عنوان مثال، اگر روش مدل‌سازی پارامتری یا نیمه پارامتری باشد، اغلب از آزمون کولموگروف–اسمیرنف دو نمونه استفاده می‌شود. اگر مدل با روش‌های جستجوی اکتشافی یا تکراری مشتق شده باشد، معیار عملکرد مدل معمولاً <b id="mwkg">واگرایی</b> است. گزینه سوم ضریب تفکیک است. . . ضریب جداسازی، در مقایسه با دو روش دیگر، برای عملکرد مدل به‌عنوان معیاری معقول‌تر به نظر می‌رسد، زیرا الگوی جداسازی یک مدل را منعکس می‌کند.

${\textstyle (R,A,Y)}$ را متغیرهای تصادفی اقناع کفایت می‌گوییم اگر ویژگی‌های ${\textstyle A}$ حساس است از نظر آماری مستقل از مقدار هدف ${\textstyle Y}$ هستند با توجه به پیش‌بینی ${\textstyle R}$ ، و ما می‌نویسیم$${\displaystyle Y\bot A\ |\ R.}$$همچنین می‌توانیم این مفهوم را با فرمول زیر بیان کنیم:$${\displaystyle P(Y=q\ |\ R=r,A=a)=P(Y=q\ |\ R=r,A=b)\quad \forall q\in Y\quad r\in R\quad \forall a,b\in A}$$این بدان معنی است که احتمال حضور واقعی در هر یک از گروه‌ها برای دو فرد با ویژگی‌های حساس متفاوت برابر است، با توجه به اینکه پیش‌بینی شده بود که آنها به یک گروه تعلق دارند.

در نهایت، برخی از نتایج اصلی را که به سه تعریف ارائه شده در بالا مربوط می‌شود، خلاصه می‌کنیم:

• با فرض اینکه ${\textstyle Y}$ باینری است، اگر ${\textstyle A}$ و ${\textstyle Y}$ از نظر آماری مستقل نیستند و ${\textstyle R}$ و ${\textstyle Y}$ از نظر آماری نیز مستقل نیستند، پس استقلال و جدایی هر دو نمی‌توانند برقرار باشند.
• اگر ${\textstyle (R,A,Y)}$ به عنوان یک توزیع مشترک دارای احتمال مثبت برای تمام مقادیر ممکن است و ${\textstyle A}$ و ${\textstyle Y}$ از نظر آماری مستقل نیستند، پس جدایی و کفایت هر دو نمی‌توانند برقرار باشند.

بیشتر معیارهای آماری عدالت بر معیارهای مختلفی تکیه دارند، بنابراین ما با تعریف آنها شروع می‌کنیم. هنگام با یک طبقه‌بندی باینری کار می‌کند، هم کلاس‌های پیش‌بینی‌شده و هم کلاس‌های واقعی می‌توانند دو مقدار داشته باشند: مثبت و منفی. اکنون اجازه دهید شروع به توضیح روابط ممکن مختلف بین نتیجه پیش‌بینی‌شده و واقعی کنیم:^[۱۲]

• مثبت واقعی (TP): موردی که هم نتیجه پیش‌بینی‌شده و هم نتیجه واقعی در یک کلاس مثبت هستند.
• منفی واقعی (TN): موردی که هم نتیجه پیش‌بینی‌شده و هم نتیجه واقعی به کلاس منفی نسبت داده می‌شوند.
• مثبت کاذب (FP): موردی که پیش‌بینی می‌شود در یک کلاس مثبت که در نتیجه واقعی تخصیص داده می‌شود، به طبقه منفی می‌رسد.
• منفی کاذب (FN): موردی که پیش‌بینی می‌شود در کلاس منفی با نتیجه واقعی باشد، در حالت مثبت است.

این روابط را می‌توان به راحتی با یک ماتریس درهم‌ریختگی نشان داد، جدولی که دقت یک مدل طبقه‌بندی را توصیف می‌کند. در این ماتریس، ستون‌ها و ردیف‌ها به ترتیب نمونه‌هایی از موارد پیش‌بینی شده و واقعی را نشان می‌دهند.

با استفاده از این روابط، می‌توانیم معیارهای متعددی را تعریف کنیم که بعداً می‌توان برای اندازه‌گیری عادلانه بودن یک الگوریتم استفاده کرد:

• مقدار پیش‌بینی‌شده مثبت (PPV): کسری از موارد مثبت که از بین تمام پیش‌بینی‌های مثبت به درستی پیش‌بینی شده‌اند. معمولاً به آن دقت می‌گویند و نشان دهنده احتمال یک پیش‌بینی مثبت صحیح است. با فرمول زیر ارائه می‌شود:

$${\displaystyle PPV=P(actual=+\ |\ prediction=+)={\frac {TP}{TP+FP}}}$$

• نرخ کشف نادرست (FDR): کسری از پیش‌بینی‌های مثبت که در واقع از بین همه پیش‌بینی‌های مثبت منفی بودند. این احتمال یک پیش‌بینی مثبت اشتباه را نشان می‌دهد و با فرمول زیر ارائه می‌شود:

$${\displaystyle FDR=P(actual=-\ |\ prediction=+)={\frac {FP}{TP+FP}}}$$

• ارزش پیش‌بینی شده منفی (NPV): کسری از موارد منفی که از بین تمام پیش‌بینی‌های منفی به درستی پیش‌بینی شده‌اند. احتمال یک پیش‌بینی منفی صحیح را نشان می‌دهد و با فرمول زیر ارائه می‌شود:

$${\displaystyle NPV=P(actual=-\ |\ prediction=-)={\frac {TN}{TN+FN}}}$$

• نرخ حذف نادرست (FOR): کسری از پیش‌بینی‌های منفی که در واقع از بین همه پیش‌بینی‌های منفی مثبت بودند. احتمال یک پیش‌بینی منفی اشتباه را نشان می‌دهد و با فرمول زیر ارائه می‌شود:

$${\displaystyle FOR=P(actual=+\ |\ prediction=-)={\frac {FN}{TN+FN}}}$$

• نرخ مثبت واقعی (TPR): کسری از موارد مثبت که از بین همه موارد مثبت به درستی پیش‌بینی شده‌است. معمولاً از آن به عنوان حساسیت یا یادآوری یاد می‌شود و احتمال دسته‌بندی صحیح موضوعات مثبت را نشان می‌دهد. با این فرمول نشان داده می‌شود:

$${\displaystyle TPR=P(prediction=+\ |\ actual=+)={\frac {TP}{TP+FN}}}$$

• نرخ منفی کاذب (FNR): کسری از موارد مثبت که به اشتباه از بین همه موارد مثبت منفی پیش‌بینی شده‌است. احتمال دسته‌بندی نادرست موضوعات مثبت به عنوان موضوعات منفی را نشان می‌دهد و با این فرمول ارائه می‌شود:

$${\displaystyle FNR=P(prediction=-\ |\ actual=+)={\frac {FN}{TP+FN}}}$$

• نرخ منفی واقعی (TNR): کسری از موارد منفی که از بین همه موارد منفی به درستی پیش‌بینی شده‌است. این احتمال را نشان می‌دهد که موضوعات منفی به درستی طبقه‌بندی شوند و با فرمول ارائه می‌شود:

$${\displaystyle TNR=P(prediction=-\ |\ actual=-)={\frac {TN}{TN+FP}}}$$

• نرخ مثبت کاذب (FPR): کسری از موارد منفی که به اشتباه از بین همه موارد منفی مثبت پیش‌بینی شده‌است. احتمال دسته‌بندی نادرست موضوعات منفی به عنوان موضوعات مثبت را نشان می‌دهد و با این فرمول ارائه می‌شود:

$${\displaystyle FPR=P(prediction=+\ |\ actual=-)={\frac {FP}{TN+FP}}}$$

معیارهای زیر را می‌توان معیارهای سه تعریف کلی ارائه شده در ابتدای این بخش یعنی استقلال، جدایی و کفایت دانست. در جدول^[۱۱] سمت راست، روابط بین آنها را می‌بینیم.

برای تعریف دقیق این معیارها، همان‌طور که در Verma و همکاران انجام شد، آنها را به سه گروه بزرگ تقسیم می‌کنیم:^[۱۲] تعاریف بر اساس یک نتیجه پیش‌بینی شده، بر اساس نتایج پیش‌بینی شده و واقعی، و تعاریف بر اساس احتمالات پیش‌بینی شده و نتیجه واقعی.

ما با یک طبقه‌بندی کننده باینری و نماد زیر کار خواهیم کرد: ${\textstyle S}$ اشاره به نمره داده شده توسط طبقه‌بندی کننده است که احتمال قرار گرفتن یک موضوع خاص در کلاس مثبت یا منفی است. ${\textstyle R}$ نشان دهنده طبقه‌بندی نهایی پیش‌بینی شده توسط الگوریتم است و مقدار آن معمولاً از ${\textstyle S}$ مشتق می‌شود، برای مثال زمانی مثبت خواهد بود که ${\textstyle S}$ بالاتر از یک آستانه مشخص باشد. ${\textstyle Y}$ نشان دهنده نتیجه واقعی است، یعنی طبقه‌بندی واقعی فرد و در نهایت، ${\textstyle A}$ نشان دهنده ویژگی‌های حساس موضوعات است.

تعاریف در این بخش برای توزیع‌های مختلف موضوعات بر یک نتیجه پیش‌بینی شده ${\textstyle R}$ تمرکز دارد. آنها ساده‌ترین و شهودی‌ترین مفاهیم عدالت هستند.

• برابری جمعیتی که به آن برابری آماری، برابری نرخ پذیرش و معیار نیز گفته می‌شود. یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر آزمودنی‌های گروه‌های محافظت‌شده و محافظت‌نشده احتمال یکسانی برای انتساب به کلاس پیش‌بینی‌شده مثبت داشته باشند. این در صورتی است که فرمول زیر برآورده شود:

$${\displaystyle P(R=+\ |\ A=a)=P(R=+\ |\ A=b)\quad \forall a,b\in A}$$

• برابری آماری مشروط اساساً شامل تعریف بالا است، اما فقط به زیر مجموعه ای از نمونه‌ها محدود می‌شود. در نماد ریاضی این خواهد بود:

$${\displaystyle P(R=+\ |\ L=l,A=a)=P(R=+\ |\ L=l,A=b)\quad \forall a,b\in A\quad \forall l\in L}$$

این تعاریف نه تنها نتیجه پیش‌بینی شده ${\textstyle R}$ را در نظر می‌گیرند بلکه آن را با نتیجه واقعی${\textstyle Y}$ مقایسه کنید.

• برابری پیش‌بینی کننده که به آن نتیجه آزمون نیز گفته می‌شود. اگر افراد در گروه‌های محافظت شده و محافظت نشده دارای PPV برابر باشند، طبقه‌بندی کننده این تعریف را برآورده می‌کند. این در صورتی است که فرمول زیر برآورده شود:

$${\displaystyle P(Y=+\ |\ R=+,A=a)=P(Y=+\ |\ R=+,A=b)\quad \forall a,b\in A}$$

از نظر ریاضی، اگر یک طبقه‌بندی کننده دارای PPV برابر برای هر دو گروه باشد، FDR برابری نیز خواهد داشت که فرمول زیر را برآورده می‌کند:

$${\displaystyle P(Y=-\ |\ R=+,A=a)=P(Y=-\ |\ R=+,A=b)\quad \forall a,b\in A}$$

• تعادل نرخ خطای مثبت کاذب، که به آن برابری پیش‌بینی نیز گفته می‌شود. اگر افراد در گروه‌های محافظت‌شده و محافظت‌نشده دارای FPR یکسان باشند، یک طبقه‌بندی‌کننده این تعریف را برآورده می‌کند. این در صورتی است که فرمول زیر برآورده شود:

$${\displaystyle P(R=+\ |\ Y=-,A=a)=P(R=+\ |\ Y=-,A=b)\quad \forall a,b\in A}$$

از نظر ریاضی، اگر یک طبقه‌بندی کننده FPR برابر برای هر دو گروه داشته باشد، TNR برابر نیز خواهد داشت که فرمول زیر را برآورده می‌کند:

$${\displaystyle P(R=-\ |\ Y=-,A=a)=P(R=-\ |\ Y=-,A=b)\quad \forall a,b\in A}$$

• تعادل نرخ خطا منفی کاذب، همچنین به عنوان فرصت برابر نامیده می‌شود. اگر موضوعات در گروه‌های محافظت شده و محافظت نشده دارای FNR برابر باشند، یک طبقه‌بندی کننده این تعریف را برآورده می‌کند. این در صورتی است که فرمول زیر برآورده شود:

$${\displaystyle P(R=-\ |\ Y=+,A=a)=P(R=-\ |\ Y=+,A=b)\quad \forall a,b\in A}$$

از نظر ریاضی، اگر یک طبقه‌بندی کننده FNR برابر برای هر دو گروه داشته باشد، TPR برابر نیز خواهد داشت که فرمول زیر را برآورده می‌کند:

$${\displaystyle P(R=+\ |\ Y=+,A=a)=P(R=+\ |\ Y=+,A=b)\quad \forall a,b\in A}$$

• شانس مساوی که به آن برابری دقت رویه مشروط و بدرفتاری نامتجانس نیز گفته می‌شود. یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر افراد در گروه‌های محافظت‌شده و محافظت‌نشده دارای TPR برابر و FPR برابر باشند، که فرمول زیر را برآورده می‌کند:

$${\displaystyle P(R=+\ |\ Y=y,A=a)=P(R=+\ |\ Y=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A}$$

• برابری دقت استفاده مشروط یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر افراد در گروه‌های محافظت‌شده و محافظت‌نشده دارای PPV برابر و NPV برابر باشند، با فرمول:

$${\displaystyle P(Y=y\ |\ R=y,A=a)=P(Y=y\ |\ R=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A}$$

• برابری دقت کلی یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر موضوع در گروه‌های محافظت‌شده و محافظت‌نشده دقت پیش‌بینی برابری داشته باشد، یعنی احتمال اینکه موضوعی از یک کلاس به آن اختصاص داده شود. این در صورتی است که فرمول زیر را برآورده کند:

$${\displaystyle disc_{A=a}(D)={\frac {\sum W(X)X\in \{X\in D|X(A)\neq a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)\neq a\}}}-{\frac {\sum W(X)X\in \{X\in D|X(A)=a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)=a\}}}}$$

• برابری درمان یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر افراد در گروه‌های محافظت‌شده و محافظت‌نشده نسبت برابری از FN و FP داشته باشند، که این فرمول را برآورده می‌کند:

$${\displaystyle {\frac {FN_{A=a}}{FP_{A=a}}}={\frac {FN_{A=b}}{FP_{A=b}}}}$$

این تعاریف بر اساس نتیجه واقعی ${\textstyle Y}$ است و امتیاز احتمال ${\textstyle S}$ پیش‌بینی شده.

• تست عدالت، که به عنوان کالیبراسیون یا تطبیق فرکانس‌های شرطی نیز شناخته می‌شود. اگر افراد دارای امتیاز احتمال ${\textstyle S}$ پیش‌بینی‌شده یکسان باشند، طبقه‌بندی‌کننده این تعریف را برآورده می‌کند زمانی که به گروه محافظت شده یا محافظت نشده تعلق دارند، احتمال یکسانی برای طبقه‌بندی در کلاس مثبت دارند:

$${\displaystyle P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)\quad \forall s\in S\quad \forall a,b\in A}$$

• چاه کالیبراسیون بسط تعریف قبلی است. بیان می‌کند که وقتی افراد داخل یا خارج از گروه محافظت شده امتیاز احتمال پیش‌بینی شده ${\textstyle S}$ یکسانی دارند آنها باید همان احتمال طبقه‌بندی در کلاس مثبت را داشته باشند و این احتمال باید برابر ${\textstyle S}$ باشد :

$${\displaystyle P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)=s\quad \forall s\in S\quad \forall a,b\in A}$$

• تعادل برای کلاس مثبت یک طبقه‌بندی کننده این تعریف را برآورده می‌کند اگر آزمودنی‌های تشکیل‌دهنده کلاس مثبت از هر دو گروه محافظت‌شده و محافظت‌نشده دارای میانگین امتیاز احتمال پیش‌بینی‌شده ${\textstyle S}$ برابر باشند. این بدان معنی است که مقدار مورد انتظار امتیاز احتمال برای گروه‌های محافظت شده و محافظت نشده با نتیجه واقعی مثبت ${\textstyle Y}$ یکسان است و فرمول زیر را برآورده می‌کند:

$${\displaystyle E(S\ |\ Y=+,A=a)=E(S\ |\ Y=+,A=b)\quad \forall a,b\in A}$$

• تعادل برای کلاس منفی اگر آزمودنی‌های تشکیل‌دهنده کلاس منفی از هر دو گروه محافظت‌شده و محافظت‌نشده دارای میانگین امتیاز احتمالی پیش‌بینی‌شده ${\textstyle S}$ برابر باشند، طبقه‌بندی‌کننده این تعریف را برآورده می‌کند. این بدان معناست که مقدار مورد انتظار امتیاز احتمال برای گروه‌های محافظت شده و محافظت نشده با پیامد واقعی منفی${\textstyle Y}$ یکسان است و فرمول زیر را برآورده می‌کند:

$${\displaystyle E(S\ |\ Y=-,A=a)=E(S\ |\ Y=-,A=b)\quad \forall a,b\in A}$$

روش دیگر اصلاح سوگیری در زمان تمرین است. این را می‌توان با افزودن قیود به هدف بهینه‌سازی الگوریتم انجام داد.^[۱۳] این محدودیت‌ها الگوریتم را مجبور می‌کند تا با حفظ نرخ‌های یکسان اقدامات خاص برای گروه محافظت‌شده و بقیه افراد، عدالت را بهبود بخشد. برای مثال، می‌توانیم این شرط را به هدف الگوریتم اضافه کنیم که نرخ مثبت کاذب برای افراد در گروه محافظت شده و افراد خارج از گروه محافظت شده یکسان باشد.

معیارهای اصلی مورد استفاده در این رویکرد، نرخ مثبت کاذب، نرخ منفی کاذب و نرخ کلی طبقه‌بندی اشتباه است. می‌توان فقط یک یا چند مورد از این محدودیت‌ها را به هدف الگوریتم اضافه کرد. توجه داشته باشید که برابری نرخ‌های منفی کاذب به معنای برابری نرخ‌های مثبت واقعی است، بنابراین این به معنای برابری فرصت‌ها است. پس از افزودن محدودیت‌ها به مشکل، ممکن است مشکل حل نشدنی شود، بنابراین ممکن است به آرامش در مورد آنها نیاز باشد.

این تکنیک نتایج خوبی در بهبود عدالت و در عین حال حفظ دقت بالا به دست می‌آورد و به برنامه‌نویس اجازه می‌دهد اقدامات عادلانه را برای بهبود انتخاب کند. با این حال، هر کار یادگیری ماشینی ممکن است به روش متفاوتی برای اعمال نیاز داشته باشد و کد موجود در طبقه‌بندی‌کننده باید اصلاح شود، که همیشه امکان‌پذیر نیست.^[۱۴]

ما دو طبقه‌بندی‌کننده را همزمان از طریق برخی روش‌های مبتنی بر گرادیان (fe: gradient descent) آموزش می‌دهیم. اولین مورد، پیش‌بینی کننده تلاش می‌کند تا وظیفه پیش‌بینی${\textstyle Y}$ را انجام دهد، متغیر هدف ${\textstyle X}$ ، ورودی، با تغییر وزن ${\textstyle W}$ آن برای به حداقل رساندن برخی از تابع از دست دادن ${\textstyle L_{P}({\hat {y}},y)}$ داده شده‌است. مورد دوم، دشمن تلاش می‌کند تا وظیفه پیش‌بینی ${\textstyle A}$ را انجام دهد، متغیر حساس، ${\textstyle {\hat {Y}}}$ با تغییر وزن آن ${\textstyle U}$ برای به حداقل رساندن برخی از تابع از دست دادن ${\textstyle L_{A}({\hat {a}},a)}$ داده شده‌است.^[۱۵][۱۶]

نکته مهم در اینجا این است که برای انتشار صحیح، ${\textstyle {\hat {Y}}}$ در بالا باید به خروجی خام طبقه‌بندی‌کننده اشاره داشته باشد، نه پیش‌بینی گسسته. به عنوان مثال، با یک شبکه عصبی مصنوعی و یک مشکل طبقه‌بندی، ${\textstyle {\hat {Y}}}$ می‌تواند به خروجی (تابع) بیشینه هموار اشاره کند.

سپس به روز می‌کنیم ${\textstyle U}$ را به حداقل رساندن ${\textstyle L_{A}}$ در هر مرحله آموزش با توجه به گرادیان ${\textstyle \nabla _{U}L_{A}}$ و ما ${\textstyle W}$ را اصلاح می‌کنیم با توجه به عبارت:$${\displaystyle \nabla _{W}L_{P}-proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}-\alpha \nabla _{W}L_{A}}$$جایی که $\alpha$ یک فراپارامتر قابل تنظیم است که می‌تواند در هر مرحله زمانی متفاوت باشد.

ایده شهودی این است که ما می‌خواهیم پیش‌بینی‌کننده سعی کند ${\textstyle L_{P}}$ (اصطلاح عبارت ${\textstyle \nabla _{W}L_{P}}$)را به حداقل برساند در حالی که، در همان زمان، ${\textstyle L_{A}}$ (اصطلاح عبارت ${\textstyle -\alpha \nabla _{W}L_{A}}$)حداکثر است، بنابراین به طوری که دشمن در پیش‌بینی متغیر حساس از ${\textstyle {\hat {Y}}}$ است.

عبارت ${\textstyle -proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}}$ مانع از حرکت پیش‌بینی کننده در جهتی می‌شود که به دشمن کمک می‌کند تا عملکرد ضرر خود را کاهش دهد.

می‌توان نشان داد که آموزش مدل طبقه‌بندی پیش‌بینی کننده با این الگوریتم، برابری جمعیت شناختی را نسبت به آموزش آن بدون حریف بهبود می‌بخشد.

روش نهایی سعی در تصحیح نتایج یک طبقه‌بندی برای دستیابی به عدالت را دارد. در این روش ما یک طبقه‌بندی داریم که برای هر فرد یک امتیاز برمی‌گرداند و باید برای آنها یک پیش‌بینی باینری انجام دهیم. نمرات بالا احتمالاً نتیجه مثبت دارند، در حالی که نمرات پایین احتمالاً یک نتیجه منفی دارند، اما ما می‌توانیم آستانه را تنظیم کنیم تا مشخص کنیم چه زمانی باید به صورت دلخواه پاسخ مثبت دهیم. توجه داشته باشید که تغییرات در مقدار آستانه بر مبادله بین نرخ‌های مثبت واقعی و منفی واقعی تأثیر می‌گذارد.

اگر تابع امتیاز عادلانه باشد به این معنا که مستقل از ویژگی محافظت شده باشد، در این صورت هر انتخاب آستانه نیز عادلانه خواهد بود، اما طبقه‌بندی‌کننده‌های این نوع تمایل به جانبداری دارند، بنابراین ممکن است آستانه متفاوتی برای هر گروه محافظت شده لازم باشد. برای رسیدن به عدالت^[۱۷] یک راه برای انجام این کار ترسیم نرخ مثبت واقعی در برابر نرخ منفی کاذب در تنظیمات آستانه‌های مختلف (به این منحنی ROC گفته می‌شود) و یافتن آستانه ای است که در آن نرخ برای گروه محافظت شده و سایر افراد برابر است.^[۱۷]

از مزایای پس پردازش می‌توان به این نکته اشاره کرد که این تکنیک می‌تواند بعد از هر طبقه‌بندی کننده، بدون تغییر آن اعمال شود و عملکرد خوبی در معیارهای عدالت دارد. معایب نیاز به دسترسی به ویژگی محافظت شده در زمان آزمایش و عدم انتخاب در تعادل بین دقت و عدالت است.^[۱۴]

با توجه به طبقه‌بندی اجازه دهید ${\textstyle P(+|X)}$ احتمال محاسبه شده توسط طبقه‌بندی کننده‌ها به عنوان احتمالی باشد که نمونه ${\textstyle X}$ متعلق به کلاس مثبت + است. چه زمانی ${\textstyle P(+|X)}$ نزدیک به ۱ یا ۰ است، نمونه ${\textstyle X}$ با درجه اطمینان بالا به ترتیب متعلق به کلاس + یا - مشخص شده‌است. با این حال، زمانی که ${\textstyle P(+|X)}$ نزدیکتر به ۰٫۵ است طبقه‌بندی نامشخص تر است.^[۱۸]

ما می‌گوییم ${\textstyle X}$ یک "مثال رد شده" است اگر ${\textstyle max(P(+|X),1-P(+|X))\leq \theta }$ با معین ${\textstyle \theta }$ به طوری که ${\textstyle 0.5<\theta <1}$ .

الگوریتم "ROC" شامل طبقه‌بندی نمونه‌های رد نشده طبق قانون بالا و نمونه‌های رد شده به شرح زیر است: اگر نمونه نمونه ای از یک گروه محروم باشد (${\displaystyle X(A)=a}$) سپس آن را به عنوان مثبت و در غیر این صورت برچسب منفی بزنید.

ما می‌توانیم معیارهای مختلف تبعیض (پیوند) را به عنوان توابعی از ${\textstyle \theta }$ بهینه کنیم برای یافتن بهینه ${\textstyle \theta }$ برای هر مشکلی و اجتناب از تبعیض آمیز شدن علیه گروه ممتاز.^[۱۸]

• تعصب الگوریتمی (Algorithmic bias)
• فراگیری ماشین