Estruturação de roteiros de fabrico suportada em técnicas de machine learning

Abstract

A leitura e transcrição manual de cotas, tolerâncias geométricas e dimensionais (GD&T) e tabelas de metadados a partir de desenhos técnicos de engenharia é um processo moroso e propenso a erros, sobretudo quando aplicado a grandes volumes de desenhos exportados de sistemas CAD. Este projeto tem como objetivo o desenvolvimento de um pipeline automático para a extração desta informação a partir de desenhos técnicos em formato PDF, reduzindo a intervenção manual e aumentando a fiabilidade dos dados extraídos. A solução desenvolvida combina deteção de objetos com deep learning e processamento de texto vetorial. Um modelo YOLOv8, treinado especificamente para este domínio, deteta as regiões de interesse em cada desenho — peças cilíndricas, outras peças, tabelas de metadados e legendas. Sobre essas regiões é aplicado um conjunto de regras geométricas e expressões regulares que reconstrói as cotas e respetivas tolerâncias, agregando corretamente valores nominais, ajustes e desvios, e que interpreta a estrutura das tabelas a partir da sobreposição espacial entre palavras e colunas. Os resultados são exportados em formato Excel, prontos a integrar nos processos produtivos. Um aspeto central da abordagem seguida é a extração do texto diretamente da camada vetorial do PDF, através da biblioteca PyMuPDF, em vez do recurso a Reconhecimento Ótico de Caracteres (OCR). Uma vez que os desenhos processados são exportados diretamente de sistemas CAD — e não digitalizações —, o texto já existe de forma pesquisável dentro do próprio ficheiro, o que permite evitar os erros de reconhecimento e o custo computacional associados a motores de OCR. O trabalho inclui uma análise comparativa entre esta abordagem e as técnicas de OCR identificadas no estado da arte — desde motores clássicos como o Tesseract, a pipelines industriais como o PaddleOCR, até arquiteturas Transformer como o TrOCR, e trabalhos que combinam deteção de objetos com OCR no mesmo domínio de aplicação —, discutindo as vantagens da extração vetorial em precisão e eficiência computacional, bem como as suas limitações quando aplicada a desenhos digitalizados ou de qualidade inferior. Os resultados obtidos demonstram que a combinação de deteção de objetos com extração vetorial de texto constitui uma alternativa viável e mais leve às abordagens baseadas em OCR ou em modelos de visão-linguagem, para o caso específico de desenhos técnicos em formato vetorial, contribuindo para a automatização do controlo de qualidade e da digitalização de processos de engenharia. Os resultados devem, contudo, ser lidos à luz de um constrangimento importante: o dataset utilizado (44 desenhos, 101 imagens anotadas) é ainda pequeno, sendo necessário aumentá-lo substancialmente para consolidar a generalização do modelo e para suportar, em trabalho futuro, a estruturação de roteiros de fabrico otimizados a partir da informação extraída.

Abstract: Manually reading and transcribing dimensions, geometric and dimensional tolerances (GD&T), and metadata tables from engineering technical drawings is a slow and error-prone process, particularly when applied to large volumes of drawings exported from CAD systems. This project aims to develop an automated pipeline for extracting this information from technical drawings in PDF format, reducing manual intervention and increasing the reliability of the extracted data. The developed solution combines deep learning-based object detection with vector text processing. A YOLOv8 model, trained specifically for this domain, detects the regions of interest in each drawing — cylindrical parts, other parts, metadata tables, and legends. Over these regions, a set of geometric rules and regular expressions reconstructs dimensions and their tolerances, correctly aggregating nominal values, fits, and deviations, and interprets table structure based on the spatial overlap between words and columns. The results are exported to Excel, ready to be integrated into production processes. A central aspect of the approach is extracting text directly from the PDF's vector layer using the PyMuPDF library, instead of relying on Optical Character Recognition (OCR). Since the processed drawings are exported directly from CAD systems — rather than scanned — the text already exists in searchable form within the file itself, avoiding the recognition errors and computational cost associated with OCR engines. The work includes a comparative analysis between this approach and the OCR techniques identified in the state of the art — from classic engines such as Tesseract, to industrial pipelines such as PaddleOCR, to Transformer architectures such as TrOCR, and works that combine object detection with OCR for the same application domain — discussing the advantages of vector extraction in terms of accuracy and computational efficiency, as well as its limitations when applied to scanned or lower-quality drawings. The results obtained show that combining object detection with vector text extraction constitutes a viable and lighter alternative to OCR-based or vision-language model-based approaches, for the specific case of vector-format technical drawings, contributing to the automation of quality control and the digitalization of engineering processes. These results should, however, be read in light of an important constraint: the dataset used (44 drawings, 101 annotated images) is still small, and must be substantially expanded to consolidate the model's generalization and to support, in future work, the structuring of optimized manufacturing routings from the extracted information.