Aremu Adeola apresenta um trabalho na oficina do AfricaNLP, que se localizou na Conferência Internacional sobre Representação Aprendizagem (ICLR) em Viena, 2024. Imagem usada com permissão. À medida que mais e mais aspectos chave da vida diária migram online, a inclusão de língua pode ser um componente chave para garantir o acesso igual para todos nos espaços digitais. No entanto, muitos idiomas africanos não têm recursos para desenvolver tecnologias linguísticas e migrar totalmente online. Isto normalmente não afeta os dialetos mais falados dessas línguas, que são frequentemente usados como o dialeto padrão, mas muitas vezes afetam dialetos de língua menos comuns.
A maioria dos esforços para criar recursos para estes idiomas de baixos recursos estão concentrados nos dialetos padrão, enquanto muitos dialetos regionais que são falados por milhões são negligenciados. O idioma Yoruba é falado por 47 milhões de alto-falantes no mundo. É falado principalmente na Nigéria, Benin e Togo, com comunidades migradas menores na Costa do Marfim, Serra Leoa e Gâmbia. Embora o dialeto padrão desta língua tenha recebido atenção considerável dos pesquisadores do Processamento de Língua Natural (NLP), nenhum recurso foi desenvolvido para os seus dialetos não- padrão. Para resolver este problema, um grupo de linguistas desenvolveu o YORULECT, um corpus paralelo de dados de texto e discurso Yoruba de alta qualidade para quatro dialetos regionais do Yoruba.
Falando com Global Voices via WhatsApp, Aremu Anuoluwapo, um linguista computacional que está atualmente em busca de um mestrado em modelagem computacional de línguas e cognição na Universidade de Trento, Itália, compartilharam a motivação por trás deste projeto. Global Voices (GV): Pode nos dizer um pouco sobre seu passado e o que o levou ao campo da linguística computacional?
Aremu Anuoluwapo (AA): Sou linguista por treinamento. Estudei Linguística e Estudos Africanos na Universidade de Lagos. Fui introduzido na linguística computacional por um mentor, Kola Tunbosun, durante meus anos de graduação na universidade. Então, eu trabalhei em alguns projetos que estão relacionados com projetos de coleta de dados, limpeza e anotação. Comecei a ganhar experiência e a colaborar com profissionais de empresas multinacionais como o Google, a Microsoft, etc., no meu terceiro ano na universidade. Meu interesse em usar ferramentas computacionais para analisar, prever ou transformar linguagens cresceu a partir daí. GV: Você pode nos dizer o que motivou a criação do YORULECT?
AA: Oreva Ahia, minha colega que é doutora em Ciências da Computação na Universidade de Washington, Estados Unidos, me contou sobre uma ideia que ela tem sobre dialecologia. Isto me lembrou de um curso que eu fiz, sobre Yoruba e sua dialecologia, durante o terceiro ano de meus estudos de graduação. Nós aprendemos sobre alguns estudiosos que fizeram alguns trabalhos sobre dialetos como.gbá, Ékó,. y, etc., e como o Yoruba padrão é desenhado principalmente a partir do dialeto. Eu achei o curso interessante e sempre quis fazer algo sobre dialecologia. Ao estudar esse curso, percebi que a palavra ‘stool (') difere entre o dialeto falado na minha cidade natal em Yorubaland e o padrão Yoruba. Existem outras comunidades que também têm nomes dialéticos distintivos para vários itens. Eu estava curioso sobre isso.
Mais tarde, enquanto participava de uma conferência na Espanha, eu viajei para Paris para discutir a ideia com a Oreva. Nós projetamos o framework para executar o projeto. Quando voltei para a Nigéria, viajei para comunidades específicas onde os dialetos em que decidimos trabalhar são falados. Decidir sobre os dialetos para trabalhar foi um pouco técnico porque há uma divisão na dialecologia Yoruba. Há o sudoeste de Yoruba, o sudeste de Yoruba, dialetos de Yoruba Nordeste, etc. Queríamos tocar todas essas divisões dialéticas. Uma das razões pelas quais decidimos fazer este projeto é por causa da aplicação crescente da IA e da aprendizagem de máquinas nas ferramentas que usamos hoje. Nós queríamos garantir que dialetos de baixos recursos de línguas de baixos recursos também sejam representados na tecnologia.
GV: Você pode descrever os dialetos específicos com os quais está trabalhando e explicar por que estes foram escolhidos como foco? Quais são algumas de suas características linguísticas únicas que representam desafios para os sistemas NLP? AA: O dialeto em que trabalhamos são Ìj Ìbú, Ifè, Ilaje e Yoruba Padrão. Nós escolhemos estes dialetos porque eles pertencem a diferentes divisões dialéticas da língua Yoruba. Também queríamos ter uma boa representação dessas línguas na tecnologia. Outra razão é porque queríamos fazer uma análise comparativa de como os sistemas NLP existentes entendem os dialetos das línguas antes de afiná- las. Nós testamos no reconhecimento automático de fala (ASR) e na tradução automática (MT) e o desempenho foi ruim. Também fizemos alguns ajustes para aumentar o desempenho antes de ele se tornar um pouco melhor.
Algumas das peculiaridades linguísticas que descobrimos são que existem algumas letras existentes nos dialetos que não estão nos alfabetos Yoruba Padrão. O dialeto Ilaje é um bom exemplo de dialeto com algumas letras diferentes e construção de frases. A estrutura da linguagem é semelhante em todos os dialetos, embora existam alguns arranjos sintáticos diferentes. Nossos achados mostram que o dialeto Ifè tem o maior grau de similaridade com o Yoruba Padrão, enquanto o Ilaje tem o menor grau de similaridade com o Yorùbá Padrão. Estamos planejando fazer mais trabalho para expandir a pesquisa. GV: Muitas línguas africanas são faladas principalmente. Como você aborda o desafio de coletar e curar dados de língua para dialetos Yoruba que têm recursos escritos limitados ou ortografia padronizada?
AA: Este foi um desafio difícil para nós. Alguns dialetos ainda não têm uma grande população de pessoas que possam escrever esses dialetos. Nós fomos capazes de superar os desafios porque alguns desses dialetos têm estudiosos que trabalharam neles.
Sempre tento dizer aos linguistas que querem fazer este tipo de projeto NLP para coletar os dados do discurso primeiro um.