Pendant longtemps, les intelligences artificielles les plus connues ne lisaient que du texte. Vous tapiez une question, elles vous répondaient par écrit. Aujourd'hui, un nouveau type de modèle change la donne : l'IA multimodale. Elle accepte en entrée une photo, un fichier audio, un document scanné ou une vidéo, et peut combiner ces sources pour fournir une réponse plus riche. Concrètement, vous photographiez une facture, le modèle en extrait les montants. Vous enregistrez une réunion, il en produit le compte rendu. Vous décrivez une image, il la génère. Cette capacité fait sortir l'IA des tâches purement rédactionnelles pour toucher des métiers de terrain.
Comment fonctionne un modèle multimodal ?
Un modèle d'IA classique, comme les premiers ChatGPT, était unimodal : il ne traitait que du texte. Un modèle multimodal doit gérer des données de natures différentes : des mots, des pixels, des fréquences sonores. Le défi technique est de créer une représentation commune pour ces données hétérogènes. Par exemple, le mot "pancréas", une IRM d'un pancréas et le son "pancréas" doivent être fusionnés en une seule entité que le modèle peut comprendre.
Deux grandes approches existent. La première, dite nativement multimodale, est celle revendiquée par Google pour son modèle Gemini : l'IA est entraînée dès l'origine sur plusieurs types de données. La seconde assemble des modules spécialisés (un pour le texte, un pour l'image) autour d'un modèle central. Pour l'utilisateur, la différence se ressent surtout dans la fluidité : les modèles natifs raisonnent directement sur l'image ou le son, sans passer par une conversion en texte qui pourrait perdre de l'information.
Quels usages concrets par métier ?
L'intérêt de l'IA multimodale n'est pas théorique. Elle répond à des besoins précis dans plusieurs secteurs. Voici une grille des cas d'usage les plus fréquents :
| Modalité d'entrée | Cas d'usage type | Métiers concernés |
|---|---|---|
| Documents et images de texte | Extraction de données de factures, contrats, formulaires scannés | Comptabilité, administration, juridique |
| Photo de produit ou de lieu | Identification d'un objet, recommandation de taille ou de modèle | Commerce, logistique, service client |
| Audio (réunion, dictée) | Transcription et résumé automatique | Management, santé, formation |
| Vidéo ou flux caméra | Analyse de gestes, détection d'anomalies sur une chaîne de production | Industrie, sécurité, maintenance |
| Image médicale (IRM, radio) | Analyse et comparaison avec des comptes rendus textuels | Santé, recherche clinique |
Le traitement documentaire, premier gain rapide
Le cas d'usage le plus rentable en entreprise est le traitement des documents papier ou scannés. Là où un OCR classique se contentait de convertir l'image en texte, un modèle multimodal comprend le document. Il peut extraire un montant, une date, un numéro de contrat, et même vérifier la cohérence des informations. Pour une TPE ou une PME qui reçoit encore des factures papier, cela signifie la fin de la saisie manuelle.
Des assistants qui voient et entendent
Imaginez un chatbot capable de vous parler de vos lunettes et de vous recommander une taille sur la base d'une photo que vous partagez avec lui. Ou une application d'identification d'oiseaux qui reconnaît une image et confirme son identification en écoutant un extrait audio de son chant. Ces exemples, déjà opérationnels, montrent comment l'IA multimodale rend les interactions plus naturelles. Les assistants virtuels peuvent comprendre à la fois des commandes vocales et des indices visuels, ce qui les rend plus efficaces qu'un simple chat textuel.
Quelles limites et quels risques ?
Passer d'un modèle unimodal à un modèle multimodal ne se fait pas sans difficultés. D'abord, ces modèles sont entraînés différemment : un modèle de texte apprend à partir de mots, un modèle d'image à partir de pixels, un modèle sonore à partir de fréquences. Les aligner dans une représentation commune demande des volumes de données annotées importants.
Ensuite, les règles anti-hallucination s'appliquent à toutes les modalités. Un chiffre extrait d'une facture se vérifie comme un fait généré en texte. Une photo mal interprétée peut conduire à une erreur de diagnostic ou à une recommandation inadaptée. La multimodalité ne supprime pas le besoin de contrôle humain, elle le déplace.
Enfin, un point souvent négligé : les photos et les enregistrements contiennent des visages et des voix. Ces flux relèvent du RGPD et doivent être intégrés dans le registre de traitements de l'entreprise. Utiliser une IA multimodale sur des documents clients sans précaution expose à des risques juridiques.
Pourquoi c'est la fonctionnalité la plus sous-exploitée du moment
Beaucoup d'entreprises paient déjà des licences pour des modèles capables de lire des images et de l'audio, mais les équipes continuent de taper du texte dans un outil qui pourrait traiter leurs documents, leurs photos et leurs réunions. Le gain de productivité le plus rapide du moment consiste à identifier les trois flux non textuels qui coûtent le plus de saisie manuelle : factures, formulaires papier, comptes rendus, photos de chantier. Les tester cette semaine, sur un volume réel, permet de mesurer le retour sur investissement avant de généraliser.
La multimodalité ne remplacera pas l'expertise humaine, mais elle fait entrer dans le champ de l'IA les flux non numérisés qui constituent l'essentiel du quotidien des petites structures. Le choix à faire n'est pas entre l'adopter ou non, mais de décider par où commencer.
