Нетоксичный алгоритм
На протяжении долгого времени общемировой культурный фон оставался по гендерному признаку крайне предвзятым. В XXI веке все эти стереотипы перенимают модели машинного обучения, тренируемые на статистических данных и корпусах текстов.
Вот как это происходит: искуственный интеллект работает с так называемыми «эмбеддингами» — представлениями слов в виде векторов, где расстояние между кодами слов соотносится с их смысловой близостью. Обучают «эмбеддинги» на больших объемах текста, значительная часть которых совсем не гендерно-нейтральна (например, классическая художественная литература). Как результат — алгоритмы работают некорректно, сопоставляя со словами мужчина и женщина множество не всегда подходящих терминов.
Команда AivsBIAS предлагает технический подход к решению этой проблемы, применимый ко всем современным чат-ботам, переводчикам и даже роботам-журналистам. Мы представляем прототип гендерно-нейтральную языковую модели и описание регулиризирующей функции для ее обучения.
Полученные результаты
Мы реализовали успешно работающий прототип регулиризирующей функции и обучили с помощью неё word2vec модель. Весь исходный код проекта и необходимая техническая информация представлена на нашем GitHub.
Сравнение
Мы обучили две модели: с помощью стандартных алгоритмов и используя наш, после чего продемонстрировали то, как они по разному решают задачу предсказания пропущенного слова в тексте. Моделям необходимо было предсказать, с какой вероятностью пропущено одно из двух слов. Этот эксперимент наглядно демонстрирует предвзятость обычных моделей и успешную работу нашего алгоритма.
My [?] in pretty dress playing music
Standart: girl = 71.3%, boy = 28.7%
Debiased: girl = 49.7%, boy = 50.3%
My [?] pours brandy
Standart: uncle = 59.9%, aunt = 40.1%
Debiased: uncle = 49.9%, aunt = 50.1%
Science job is for [?]
Standart: man = 58.1%, woman = 41.9%
Debiased: man = 50.1%, woman = 49.9%
[?] in action
Standart: man = 69.6%, woman = 30.4%
Debiased: man = 51.1%, woman = 48.9%
Perfect dance of [?]
Standart: lady = 63.7%, gentleman = 36.3%
Debiased: lady = 50.6%, gentleman = 49.4%
Act of creation can be perfomed only by [?]
Standart: man = 61.2%, woman = 38.8%
Debiased: man = 49.9%, woman = 50.1%