OpenAIとIronclad、契約業務AIを評価

研究対象は11タスク。

本文

10月6日のOpenAIとIroncladの研究では、11の課題でAstraの平均評価点が55%、GPT-5.6 Solが41.6%でした。契約を完全に正しく処理した割合ではありません。

比較は評価対象の課題に限られます。任意の企業での時間短縮を証明するものではなく、各社の規則、データ、運用条件を使った検証が必要です。

分析

TBN Growの分析：契約エージェントは一連の作業で業務規則を守る必要があります。正しくクリックし、フォームを作成しても、最後の承認設定が違えば不十分です。

例えば一定額を超える購入に追加承認が必要な場合、基準額の上下と情報不足の申請を試します。個々の動作が妥当に見えるだけでなく、完成した仕組みが正しく動くかを評価しましょう。

今後の注目点

発表された時間はシミュレーションによる推定で、顧客の実測した節約時間ではありません。この区別が重要です。

試験環境で始め、変更権限を限定し、操作記録を保存してください。重要な判断には人の確認が必要です。例外処理、誤りからの復旧、人の確認作業の量を評価してから自律性を広げましょう。