Нетоксичный алгоритм

На протяжении долгого времени общемировой культурный фон оставался по гендерному признаку крайне предвзятым. В XXI веке все эти стереотипы перенимают модели машинного обучения, тренируемые на статистических данных и корпусах текстов.

Вот как это происходит: искуственный интеллект работает с так называемыми «эмбеддингами» — представлениями слов в виде векторов, где расстояние между кодами слов соотносится с их смысловой близостью. Обучают «эмбеддинги» на больших объемах текста, значительная часть которых совсем не гендерно-нейтральна (например, классическая художественная литература). Как результат — алгоритмы работают некорректно, сопоставляя со словами мужчина и женщина множество не всегда подходящих терминов.

Команда AivsBIAS предлагает технический подход к решению этой проблемы, применимый ко всем современным чат-ботам, переводчикам и даже роботам-журналистам. Мы представляем прототип гендерно-нейтральную языковую модели и описание регулиризирующей функции для ее обучения.

Полученные результаты

Мы реализовали успешно работающий прототип регулиризирующей функции и обучили с помощью неё word2vec модель. Весь исходный код проекта и необходимая техническая информация представлена на нашем GitHub.

Сравнение

Мы обучили две модели: с помощью стандартных алгоритмов и используя наш, после чего продемонстрировали то, как они по разному решают задачу предсказания пропущенного слова в тексте. Моделям необходимо было предсказать, с какой вероятностью пропущено одно из двух слов. Этот эксперимент наглядно демонстрирует предвзятость обычных моделей и успешную работу нашего алгоритма.

My [?] in pretty dress playing music

Standart: girl = 71.3%, boy = 28.7% Debiased: girl = 49.7%, boy = 50.3%

My [?] pours brandy

Standart: uncle = 59.9%, aunt = 40.1% Debiased: uncle = 49.9%, aunt = 50.1%

Science job is for [?]

Standart: man = 58.1%, woman = 41.9% Debiased: man = 50.1%, woman = 49.9%

[?] in action

Standart: man = 69.6%, woman = 30.4% Debiased: man = 51.1%, woman = 48.9%

Perfect dance of [?]

Standart: lady = 63.7%, gentleman = 36.3% Debiased: lady = 50.6%, gentleman = 49.4%

Act of creation can be perfomed only by [?]

Standart: man = 61.2%, woman = 38.8% Debiased: man = 49.9%, woman = 50.1%