Ferramenta de Leitura

In natural language processing, dealing with the dynamics of languages, such as the arisen of new words, can be a challenge to models. In deep learning models, when a word is not presented in the training dataset, it is not known by the model and, therefore, considered out of vocabulary (OOV). Although many models manage to get around this barrier, sometimes it is necessary to learn the embedding of a new word. In this sense, a method is presented to obtain a dynamic contextual vector representation of a new word based in the BERT language model. To evaluate the method, we took the case of the arisen of the word 'voip' in scientific publications, obtaining an embedding close to 'telecommunications' and 'signalling', some of the main words with significance in relation to the context of the word of study, demonstrating that the proposed method offers an efficient way to obtain embeddings for new words.

No processamento de linguagem natural, lidar com a dinamicidade das línguas, como o surgimento de novas palavras, pode ser um desafio aos modelos. Visto que, em modelos de aprendizado profundo, quando uma palavra não é apresentada na etapa de treinamento ela não é conhecida pelo modelo e, portanto, considerada fora do vocabulário (OOV). Apesar de muitos modelos conseguirem contornar essa barreira, às vezes se faz necessário aprender o embedding de novas palavras. Neste sentido, apresenta-se um método para obtenção da representação vetorial contextual dinâmica de palavras novas a partir do modelo de linguagem BERT. Na avaliação do método, foi utilizado o caso do surgimento da palavra ‘voip’ em artigos científicos, obtendo um embedding próximo de ‘telecommunications’ e ‘signalling’, algumas das principais palavras com significância em relação ao contexto da palavra de estudo, demonstrando que o método proposto oferece uma maneira eficiente para obter embeddings para palavras novas.