Профессор Йельской школы менеджмента выявил скрытую предвзятость языковых моделей при отборе кандидатов

Профессор Йельской школы менеджмента Тристан Ботело установил: большие языковые модели, оценивая кандидатов, могут опираться на расовые и гендерные признаки, при этом не допуская откровенно дискриминационных формулировок в итоговых рекомендациях. Исследование описывает феномен, который авторы назвали символическим соответствием нормам, — модель выдаёт внешне нейтральный текст, но внутренние оценки уже искажены демографическими сигналами.

По словам Ботело, многие компании не раскрывают, как именно применяют ИИ при найме и оценке персонала. «Никто на самом деле не знает, способны ли модели проводить действительно непредвзятый отбор», — заявил он. Часть разработчиков использует посттренировочную калибровку (safety alignment), которая штрафует модель за предвзятые ответы. Но авторы работы ставят вопрос иначе: делает ли такая калибровка оценку справедливее или лишь защищает компанию от публичного скандала, маскируя проблему.

Чем нынешняя предвзятость отличается от прежней

В 2018 году Amazon отказалась от собственного рекрутингового ИИ: алгоритм систематически занижал оценки резюме, где встречалось слово «women». Работа Ботело переводит проблему в другую плоскость. Если раньше алгоритмы ошибались грубо и их можно было поймать прямым поиском по ключевым словам, то современные языковые модели обходят такие фильтры, сохраняя предвзятость на уровне внутренних весов.

Что это значит для проверки моделей

Выводы исследования касаются аудита, управления рисками и проектирования систем найма. Проверять справедливость модели, по мнению авторов, нельзя только по итоговым формулировкам на отсутствие запрещённых слов. Нужен анализ чувствительности модели к идентификационным признакам и сопоставление результатов по разным демографическим группам — даже когда все ответы выглядят безупречно.