Ver, ouvir e falar: os modelos multimodais

Os assistentes de 2026 não leem apenas texto. Leem uma fotografia, uma página digitalizada, um gráfico ou uma captura de ecrã, e muitos ouvem e falam. Diz-se que são multimodais. O princípio continua a ser o dos tokens.

Uma imagem é dividida em pequenos quadrados, por exemplo de 16 píxeis de lado. Cada quadrado torna-se um vetor, tratado como um token pelo transformer. Para que estes tokens de imagem ganhem sentido, o modelo aprende com um número muito grande de imagens associadas à sua legenda. Em 2021, o modelo CLIP aproximou assim as imagens e os textos que as descrevem num mesmo espaço de vetores, a partir de 400 milhões de pares.

A voz segue dois caminhos. Muitas vezes, é primeiro transcrita em texto e depois tratada como um pedido escrito. O sistema de transcrição Whisper, publicado em 2022, foi treinado com 680 000 horas de gravações. Outros modelos tratam diretamente o som como tokens, o que lhes permite captar o tom e responder quase sem atraso.

• Os caracteres pequenos e as tabelas densas de uma página digitalizada, onde uma coluna pode deslizar.
• Os valores lidos num gráfico, que são estimativas a olho, não dados.
• Contar objetos ou situar com precisão um elemento na imagem.
• Os pormenores inventados. O modelo pode descrever com segurança o que não está na imagem.