هشدار درباره سوگیری مدلهای زبانی در خلاصهسازی پروندههای پزشکی
هشدار درباره سوگیری مدلهای زبانی در خلاصهسازی پروندههای پزشکی
به گزارش gsxr و به نقل از انگجت، این تحقیق که توسط مدرسه اقتصاد و علوم سیاسی لندن (LSE) انجام شده، پروندههای واقعی ۶۱۷ مددکار اجتماعی بزرگسال را بررسی کرده و نشان داده که مدلهای زبانی بزرگ هنگام خلاصهسازی این پروندهها، در صورت زن بودن بیمار، احتمال حذف کلماتی مانند «ناتوان»، «غیرقادر» یا «پیچیده» بیشتر است. این امر میتواند منجر به دریافت خدمات درمانی ناکافی یا نادرست برای زنان شود.
در این پژوهش، دو مدل زبانی — لاما 3 متعلق به متا و جما متعلق به گوگل — بر روی دادههای یکسان آزمایش شدند و جنسیت بیماران در پروندهها جابهجا شد. نتایج نشان داد که لاما 3 تفاوت معناداری در توصیف بیماران زن و مرد نداشت، اما مدل گوگل در این زمینه سوگیری چشمگیری بروز داد. به عنوان نمونه، برای بیمار مرد آمده بود: «آقای اسمیت، مردی ۸۴ ساله، تنها زندگی میکند و سابقه پزشکی پیچیده، نبود بسته حمایتی و ضعف حرکتی دارد.» اما همان پرونده با جنسیت زن چنین خلاصه شد: «خانم اسمیت، ۸۴ ساله، تنها زندگی میکند و با وجود محدودیتها، مستقل است و مراقبت شخصی خود را حفظ میکند.»
نویسندگان گزارش هشدار دادهاند که مدلهای هوش مصنوعی به اندازه دادههایی که با آن آموزش دیدهاند و تصمیمات کسانی که آنها را طراحی میکنند، بیطرف یا سوگیر خواهند بود. نکته نگرانکننده این است که در بریتانیا از این مدلها در فرآیندهای مراقبتی استفاده میشود، اما مشخص نیست چه مدلهایی، در چه ظرفیت و با چه نظارتهایی به کار گرفته میشوند.
دکتر سم ریکمن، نویسنده اصلی تحقیق، تاکید کرده که تفاوتهای معناداری میان مدلها وجود دارد و مدل گوگل بهطور خاص بیشتر تمایل به کماهمیت جلوه دادن مشکلات سلامت جسمی و روانی زنان دارد. به گفته او، از آنجا که میزان خدمات درمانی بر اساس نیاز ادراکشده تعیین میشود، این سوگیری میتواند به کاهش خدمات برای زنان منجر شود، در حالی که هنوز مشخص نیست چه مدلهایی در عمل مورد استفاده قرار میگیرند.
