Dans sa présentation, Elan dit que les configurations hyper-paramètres de transformateur prêtes à l'emploi ne conviennent pas aux tâches à faibles ressources. Il en résulte des réseaux sous-performants qui ont une demande de calcul plus élevée.
En savoir plus sur la solution de son équipe à ce problème: À propos de la profondeur optimale du transformateur pour la traduction dans une langue à faibles ressources par Arnu Pretorius, Elan van Biljon, Julia Kreutzer · 26 avril 2020 · ICLR 2020
Cette conférence a été prononcée à Addis-Abeba, en Éthiopie, lors de l'ICLR 2020 «Atelier AfricaNLP - Mettre l'Afrique sur la carte de la PNL» via le programme AI4D Africa avec le soutien de CRDI, Asdi et Fondation Connaissance pour tous