Úvod > Články > AI nástroje mohou zlehčovat zdravotní problémy žen

AI nástroje mohou zlehčovat zdravotní problémy žen

Studie anglických výzkumníků ukázala, že AI může vytvářet genderovou nerovnost. Modely častěji zdůrazňují obtíže mužů než žen se stejnými potřebami.

Umělá inteligence podle nové studie zlehčuje fyzické a psychické problémy žen. Podle Londýnské školy ekonomie (LSE), který výzkum provedla, ovšem AI využívá více než polovina radnic v Anglii, a tak může vznikat genderová nerovnost v přidělování péče.

Výzkum zjistil, že model Gemma od Googlu při zpracování stejných poznámek sociálních pracovníků častěji u mužů používal slova jako „neschopný“, „zdravotně postižený“ nebo „komplexní“. U žen se naopak podobné potíže buď vynechaly, nebo popsaly mírněji. „Model od Google podceňuje zejména fyzické a psychické potřeby žen ve srovnání s muži,“ uvedl hlavní autor studie Dr. Sam Rickman.

Podle něj může mít taková zaujatost vážné dopady, péče se totiž přiděluje na základě vnímaných potřeb, a pokud AI hodnotí ženy méně závažně, mohou získat méně podpory. Zatím ale není jasné, jaké konkrétní modely místní úřady skutečně používají.

Výzkumníci pracovali s reálnými záznamy 617 dospělých klientů sociální péče. Ty vložili do různých jazykových modelů opakovaně, pouze s prohozeným pohlavím. Celkem tak vzniklo 29 616 párů hodnocení, která ukázala rozdíly v popisu mužů a žen. Model Llama 3 od Mety rozdíly nevykazoval a právě Gemma vykazovala největší odchylky.

Rickman varuje, že „nástroje se už v praxi používají, ale jejich nasazení nesmí být na úkor férovosti“. Podle závěrů studie by měli regulátoři vyžadovat povinné měření předsudků v modelech, které se využívají v dlouhodobé péči. Jen tak lze zajistit spravedlivý přístup k uživatelům.

Společnost Google uvedla, že se výsledky studie prověří. Testy se týkaly první generace modelu Gemma, zatímco nyní je dostupná už třetí verze, která má fungovat lépe. Google ovšem nikdy nedoporučil, že by se model měl využívat pro lékařské účely.