MIDSCENE : Automatisation gratuite de votre navigateur

https://midscenejs.com

Midscene.js s’appuie sur un modèle de langage multimodal (LLM) capable de “comprendre” intuitivement une interface utilisateur. Il suffit de décrire les interactions ou les formats de données attendus, et l’IA se charge de l’exécution.

Fonctionnalités principales

Midscene.js offre trois capacités essentielles :

• Action (.aiAction) : Exécute une série d’actions via des descriptions en langage naturel.
• Requête (.aiQuery) : Extrait des données personnalisées depuis l’interface en décrivant simplement le format JSON attendu.
• Assertion (.aiAssert) : Vérifie des éléments de la page avec des instructions naturelles.

Exemple pratique

//  Tape un mot-clé et effectue une recherche
await ai('type "Headphones" in search box, hit Enter');

//  Trouve les articles et retourne les résultats en JSON
const items = await aiQuery(
  "{itemTitle: string, price: Number}[], find item in list and corresponding price"
);
console.log("headphones in stock", items);

//  Vérifie un élément par langage naturel
await aiAssert("There is a category filter on the left");

Quick Experience est une Extension Chrome qui permet d’explorer rapidement les fonctionnalités principales de Midscene sur n’importe quelle page web, sans avoir besoin de configurer un projet.

L’extension utilise le même code que les packages npm @midscene/. Elle peut être vue comme un bac à sable ou un outil pour déboguer avec Midscene.

Installation et configuration

Avant de commencer, prépare une clé API de OpenAI ou Claude ou Gemini, etc , nécessaire pour la configuration https://midscenejs.com/model-provider.html

• Installer l’extension : Trouve l’extension Midscene dans le Chrome Web Store.
• Configurer rapidement : Une fois lancée, configure-la en collant les informations au format K=V dans le champ prévu, par exemple :
  OPENAI_API_KEY="sk-replace-by-your-own".
• Personnalisation : Tu peux également ajuster les configurations pour personnaliser le modèle et le fournisseur comme expliqué dans la documentation.

---

Expérience instantanée

Après configuration, utilise l’extension pour :

• Interagir avec la page grâce à des actions.
• Extraire des données JSON à l’aide de requêtes.
• Valider des éléments via des assertions.

L’extension propose également :

• Un playback des actions effectuées.
• Un fichier de rapport détaillé pour révision ou archivage.

---

Quick Experience by Chrome Extension simplifie l’interaction avec Midscene, tout en offrant des outils robustes pour tester et automatiser.

https://chromewebstore.google.com/detail/midscenejs/gbldofcpkknbggpkmbdaefngejllnief