OpenAI et Ironclad évaluent les agents contractuels

Recherche sur 11 tâches.

Actualité

L’étude OpenAI–Ironclad du 6 octobre indique 55% de score moyen pour Astra contre 41,6% pour GPT-5.6 Sol sur 11 tâches. Il s’agit de critères d’évaluation, pas d’un taux de contrats entièrement corrects.

Ces chiffres concernent les tâches testées. Ils ne prouvent pas un gain horaire pour toute entreprise, qui doit vérifier ses propres règles, données et conditions.

Analyse

Analyse TBN Grow : un agent contractuel doit respecter les règles tout au long du processus. Les bons clics et formulaires ne suffisent pas si les validations finales sont mal configurées.

Exemple hypothétique : un achat au-dessus d’un seuil nécessite une validation. Testez les demandes en dessous, au-dessus et incomplètes. Évaluez le fonctionnement final, pas seulement des actions plausibles.

À suivre

Les temps annoncés sont des estimations simulées, pas des économies mesurées chez les clients. Gardez cette distinction.

Commencez dans un environnement de test, limitez les droits et conservez les journaux. Les décisions importantes demandent une vérification humaine. Mesurez la gestion des exceptions, la récupération et le travail de contrôle avant d’étendre l’autonomie.