Ver, oír y hablar: los modelos multimodales

Los asistentes de 2026 no solo leen texto. Leen una foto, una página escaneada, un gráfico o una captura de pantalla, y muchos escuchan y hablan. Se les llama multimodales. El principio sigue siendo el de los tokens.

Una imagen se divide en pequeños cuadrados, por ejemplo de 16 píxeles de lado. Cada cuadrado se convierte en un vector, que el transformer procesa como un token. Para que estos tokens de imagen adquieran sentido, el modelo aprende con un número muy grande de imágenes asociadas a su pie de foto. Así, en 2021, el modelo CLIP acercó las imágenes y los textos que las describen en un mismo espacio de vectores, a partir de 400 millones de pares.

La voz sigue dos caminos. A menudo se transcribe primero a texto y después se procesa como una petición escrita. El sistema de transcripción Whisper, publicado en 2022, se entrenó con 680.000 horas de grabaciones. Otros modelos procesan directamente el sonido como tokens, lo que les permite captar el tono y responder casi sin demora.

• Los caracteres pequeños y las tablas densas de una página escaneada, donde una columna puede desplazarse.
• Los valores leídos en un gráfico, que son estimaciones a ojo, no datos.
• Contar objetos o situar con precisión un elemento en la imagen.
• Los detalles inventados. El modelo puede describir con seguridad lo que no está en la imagen.