Haces una foto a una factura arrugada o a un tablero de ajedrez y le preguntas a la IA qué hay en ella. Con la factura tiene a su favor que leer y resumir documentos es uno de sus usos básicos. Con el tablero, la propia OpenAI avisa en su documentación de que sus modelos tienen problemas con la localización espacial precisa y pone ese ejemplo exacto: identificar la posición de las piezas.En resumen: un modelo multimodal es una IA que acepta como entrada algo más que texto (imágenes, audio, vídeo o documentos) y responde sobre ese contenido. Esta guía es para quien ya usa ChatGPT, Gemini o Claude y quiere saber qué puede pedirles con una foto o una grabación, y sobre todo dónde no fiarse. Los límites salen de la documentación técnica de las propias empresas, que es bastante más honesta que su publicidad.¿Qué significa exactamente que una IA sea multimodal?Significa que el mismo modelo procesa varios tipos de información y los combina en una respuesta. Google lo describe en su documentación de comprensión de imágenes como modelos multimodales desde su diseño, capaces de describir imágenes, clasificarlas o responder preguntas sobre ellas sin entrenar un sistema especializado para cada tarea.La diferencia práctica: antes necesitabas un programa para leer el texto de una foto, otro para transcribir audio y otro para etiquetar objetos. Ahora le pasas el archivo al chatbot y le preguntas en lenguaje natural.Ojo con una confusión habitual: entender una imagen no es lo mismo que crearla. Claude, por ejemplo, solo interpreta imágenes. Su guía de visión aclara que no puede generar, editar ni manipular imágenes. Lo multimodal se refiere a lo que el modelo puede leer; lo que puede producir depende de cada producto.Todo lo que entra cuesta. Las imágenes, el audio y el vídeo se convierten en unidades de cómputo igual que el texto: en Gemini, una imagen pequeña equivale a 258 tokens y un minuto de audio a 1.920 tokens. Por eso un vídeo largo llena enseguida lo que el modelo puede retener, el mismo motivo por el que la IA «se olvida» de lo que le dijiste al principio de una conversación larga.Qué acepta cada uno: imágenes, audio y vídeoLos límites cambian con cada versión, así que lo que sigue es una foto a octubre de 2026 de la documentación para desarrolladores de cada empresa. En las aplicaciones de consumo los topes suelen ser más bajos.Imágenes. Las tres compañías las admiten.– OpenAI acepta PNG, JPEG, WEBP y GIF no animado, con hasta 1.500 imágenes y 512 MB por petición en su API, según su guía de imágenes y visión.– Google añade los formatos HEIC y HEIF y admite hasta 3.600 imágenes por petición.– Anthropic admite JPEG, PNG, GIF y WebP. En claude.ai el límite es de 20 imágenes por mensaje y 10 MB por imagen, con un máximo de 8.000 × 8.000 píxeles.Audio. La documentación de audio de Gemini es la más detallada: hasta 9,5 horas de audio por petición, con capacidad para transcribir, traducir, poner marcas de tiempo y distinguir quién habla. También reconoce sonidos que no son voz, como pájaros o sirenas. Un detalle técnico con consecuencias: el audio se reduce a 16 kbps, así que la calidad de la grabación original importa menos de lo que parece, pero el ruido de fondo sigue ahí.Vídeo. Según la guía de vídeo de Gemini, los modelos con ventana de un millón de tokens procesan vídeos de hasta 3 horas en resolución baja o 1 hora en alta, y aceptan enlaces públicos de YouTube. En la guía de visión de Anthropic consultada para este artículo no hay entrada de vídeo ni de audio para Claude.Los usos que más rinden en el día a día son poco espectaculares: leer y resumir un documento fotografiado, extraer los datos de un tique, describir un gráfico, transcribir una reunión grabada o localizar en qué minuto de un vídeo se habla de un tema. En la aplicación de Gemini, además, puedes compartir la cámara o la pantalla en Gemini Live; su aviso de privacidad indica que, por defecto, esas grabaciones de audio y vídeo no se usan para mejorar los servicios de Google.Dónde se equivoca: contar, leer letra pequeña y situar cosasEn las tareas visuales sencillas para una persona, como contar objetos pequeños, leer texto diminuto o saber qué está a la izquierda de qué. Lo dicen las propias empresas.La guía de visión de OpenAI enumera sus límites: los recuentos de objetos son aproximados, el texto pequeño hay que ampliarlo, el texto girado o al revés se malinterpreta, los gráficos con líneas discontinuas o colores variables le cuestan, las imágenes panorámicas y de ojo de pez le dan problemas y rinde peor con alfabetos no latinos como el japonés o el coreano. Anthropic coincide en lo esencial: Claude da recuentos aproximados, sobre todo con muchos objetos pequeños, se equivoca más con imágenes de baja calidad, giradas o de menos de 200 píxeles, y sus coordenadas son aproximadas.Hay investigación independiente que apunta en la misma dirección. El estudio Vision language models are blind, publicado en julio de 2024 y revisado en marzo de 2025, planteó siete pruebas triviales para una persona, como decir si dos círculos se tocan o cuántas veces se cruzan dos líneas. Los cuatro modelos punteros de entonces acertaron de media un 58,07 %; el mejor llegó al 77,84 %. Los autores comprobaron que la información visual estaba en el sistema, pero el modelo no conseguía traducirla en una respuesta correcta. Los modelos han cambiado desde entonces; que las documentaciones de 2026 sigan avisando de lo mismo sugiere que el problema de fondo no está resuelto.Tres límites más que conviene conocer:Diagnóstico médico. Tanto OpenAI como Anthropic advierten que sus modelos no sirven para interpretar escáneres especializados como un TAC.Detectar imágenes falsas. Anthropic avisa de que Claude no puede saber si una imagen está generada por IA y puede equivocarse si se lo preguntas, un problema hermano del de los detectores que intentan saber si un texto está escrito con IA y por qué fallan.Vídeo rápido. Gemini analiza por defecto un fotograma por segundo, y Google reconoce que en escenas de acción rápida se pierde detalle.Para vídeos largos, Gemini ofrece un modo en el que el modelo navega por la transcripción y carga solo los fragmentos que necesita, con hasta un 88 % menos de tokens según Google. Funciona con razonamiento interno, la misma lógica que la de los modelos de IA «de razonamiento» y cuándo merece la pena dejarlos pensar: en clips cortos puede tardar más y gastar más.Mi lectura es que lo multimodal ha cambiado de verdad lo que se puede hacer con un móvil y un chatbot, pero la pantalla engaña. Una respuesta fluida sobre una foto suena igual de segura cuando acierta que cuando cuenta mal. La documentación de las propias empresas da una regla útil: cuanto más dependa la respuesta de un detalle pequeño, de una cifra exacta o de dónde está cada cosa, más motivos para comprobarla. Para describir, resumir y transcribir, es una herramienta excelente. Para contar pastillas o leer una matrícula lejana, yo no me fiaría sin mirarlo por mi cuenta.La noticia Qué es un modelo de IA multimodal y qué puede hacer con imágenes, audio y vídeo fue publicada originalmente en Wwwhatsnew.com por Natalia Polo.