Sistema de geração automática de legendas e traduções para vídeos multilingues

Abstract

Este projeto aborda o desenvolvimento de uma aplicação de tradução e legendagem baseada em IA, aproveitando as tecnologias de Processamento de Linguagem Natural (NLP) e de Reconhecimento Automático de Fala (ASR). O sistema proposto visa automatizar a legendagem de vídeos integrando modelos ASR como o Whisper da OpenAI para conversão de fala em texto, seguidos pela tradução automática para acessibilidade multilingue. O sistema aborda desafios na sincronização de legendas, na distinção do locutor e na deteção de limites de frases, garantindo coerência e legibilidade. Ao ultrapassar as barreiras linguísticas, esta aplicação tem o potencial de melhorar a acessibilidade na educação, nos media e na comunicação corporativa.

Abstract : This project addresses the development of an AI-based translation and subtitling application, leveraging Natural Language Processing (NLP) and Automatic Speech Recognition (ASR) technologies. The system proposes to automate video captioning by integrating ASR models such as OpenAI's Whisper for speech-to-text conversion, followed by automatic translation for multilingual accessibility. The system addresses challenges in subtitle synchronization, speaker distinction, and sentence boundary detection, ensuring coherence and readability. By overcoming language barriers, this app has the potential to improve accessibility in education, media and corporate communications.