Oui, de plus en plus. Les modèles d'IA les plus récents savent regarder un écran, cliquer, taper et passer d'une application à l'autre, comme le ferait un salarié. Cela ouvre des automatisations jusqu'ici impossibles, mais demande des précautions sérieuses.
De quoi parle-t-on ?
On parle d'utilisation de l'ordinateur (« computer use ») quand une IA voit l'écran, déplace la souris, clique et tape, comme le ferait un salarié. Jusqu'ici, automatiser un logiciel supposait qu'il propose une API, une porte d'entrée technique. Avec ces modèles, même un vieux logiciel métier sans API peut, en théorie, être piloté.
Ce que cela permet
- saisir dans un logiciel des données reçues par mail ;
- mettre à jour des fiches clients à partir d'un tableur ;
- remplir des formulaires administratifs répétitifs ;
- naviguer dans plusieurs outils pour rassembler une information.
Les limites actuelles
- Lenteur et coût : piloter une interface est plus lent et plus cher qu'un appel d'API.
- Fragilité : un bouton déplacé ou une fenêtre inattendue peut faire échouer la tâche.
- Erreurs silencieuses : une mauvaise case cochée ne se voit pas toujours.
- Sécurité : une IA qui lit des pages web peut tomber sur des instructions piégées (injection de prompt).
Les précautions indispensables
- Compte dédié pour l'IA, jamais votre compte personnel ni un compte administrateur.
- Droits minimaux : uniquement les écrans et les données nécessaires.
- Validation humaine avant toute action irréversible (envoi, paiement, suppression).
- Environnement de test avant la production.
- Journal des actions pour pouvoir vérifier et corriger.
En pratique : par où commencer
Choisissez une tâche de saisie simple, répétitive et facile à contrôler (par exemple recopier dix demandes reçues par mail dans un tableur). Comparez le résultat de l'IA ligne par ligne avec le travail humain avant d'envisager d'aller plus loin. Si une automatisation classique (Make, Zapier, n8n) suffit, préférez-la : elle est plus fiable et moins chère.
À retenir
- Les modèles récents savent utiliser un logiciel par son interface.
- C'est utile quand aucune automatisation classique n'est possible.
- Compte dédié, droits limités et validation humaine sont indispensables.
Vous souhaitez initier vos équipes aux agents IA et à l'automatisation ? Contactez-nous.