Captures d’écran et vision
Quand une capture est créée, où elle va, ce qu’elle peut révéler et pourquoi la vision reste un dernier recours.
#Création
L’outil PC capture l’écran dans un fichier temporaire du système. D’autres étapes de contrôle peuvent créer des captures de ciblage ou de vérification. Une capture reflète tout ce qui est visible: notifications, noms, onglets et données d’autres applications.
#Traitement par le modèle
Seuls certains modèles acceptent une entrée image. Lorsqu’un modèle externe compatible est sélectionné, la capture peut être encodée et envoyée à ce fournisseur avec le contexte nécessaire. Les autres modèles ne doivent pas recevoir une image sous une forme incompatible.
#Limites de la vision
- Une image ne prouve pas qu’une action a réussi.
- Les coordonnées deviennent obsolètes après défilement ou changement de fenêtre.
- Le texte petit ou masqué peut être mal interprété.
- Une confirmation visuelle peut ignorer un état hors écran.
- Les fichiers temporaires sont nettoyés au mieux; un crash peut laisser des artefacts.
#Préférer un état structuré
Utilisez le DOM, une réponse d’API, une existence de fichier ou un état de processus quand c’est possible. La vision complète l’observation; elle ne remplace pas une vérification déterministe.
Provenance de cette page
Faits produit vérifiés sur PC 7b6b3b000b89, mobile d492cc89cf77 et Worker f07e239bd455.
Sources consultées
- PC: osia/agent.py
- PC: osia/server/server.py