Gender Bias in a Neural Machine Translation System: a study of Cross-Lingual Transfert Mechanisms

Biais de genre dans un système de traduction automatique neuronale : une étude des mécanismes de transfert cross-langue

Guillaume Wisniewski (1) , Lichao Zhu (1) , Nicolas Ballier (2) , François Yvon (3)

1 LLF - UMR7110 - Laboratoire de Linguistique Formelle
2 CLILLAC-ARP (URP_3967) - Centre de Linguistique Inter-langues, de Lexicologie, de Linguistique Anglaise et de Corpus
3 TLP - Traitement du Langage Parlé - LISN

This paper describes a study on gender bias in French/English neural machine translation (MT) systems. We introduce a controlled corpus to measure the intensity of such biases in the two translation directions (from and into English). This corpus also allows us to investigate the information flow in a encoder-decoder architecture and to identify how gender information can be transfered between languages. Considering both probing as well as interventions on the internal representations of the MT system, we show that gender information is encoded in all token representations built by the encoder and the decoder and that there are multiple paths to transfer gender. MOTS-CLÉS : biais de genre, traduction automatique neuronale, évaluation diagnostique en TAL.

Cet article a pour objectif de mettre en évidence les biais de genre dans les systèmes de traduction automatique et de rechercher leurs causes en étudiant les différentes manières dont l'information de genre peut circuler entre le décodeur et l'encodeur. Pour cela, nous décrivons un corpus minimal et contrôlé pour mesurer l'intensité de ces biais dans les traductions de l'anglais vers le français et du français vers l'anglais. Grâce à des méthodes de sondage et des interventions sur les représentations internes de l'encodeur, nos expériences montrent que l'information de genre est distribuée sur l'ensemble des représentations des tokens sources et cibles et que la sélection du genre en langue cible résulte d'une multiplicité d'interactions entre les diverses unités impliquées dans la traduction.

Mots clés: Gender bias Neural Machine Translation Diagnostic Evaluation in NLP; Gender bias

Mots clés: Neural Machine Translation; Diagnostic Evaluation in NLP

Domaines: Traitement du texte et du document

Guillaume Wisniewski, Lichao Zhu, Nicolas Ballier, François Yvon. Biais de genre dans un système de traduction automatique neuronale : une étude des mécanismes de transfert cross-langue. Revue TAL : traitement automatique des langues, 2022, 63 (1), pp.37-61. ⟨hal-03890622⟩