OpenAI và Ironclad đánh giá AI xử lý hợp đồng

Nghiên cứu gồm 11 nhiệm vụ.

Nội dung chính

OpenAI công bố nghiên cứu với Ironclad ngày 06/10/2026. Trong 11 nhiệm vụ nghiên cứu, Astra đạt điểm trung bình 55%, so với 41,6% của GPT-5.6 Sol. Đây là điểm theo các tiêu chí đánh giá, không phải tỷ lệ hợp đồng hoàn thành đúng hoàn toàn.

Các con số giúp so sánh hai mô hình trong cùng bài đánh giá. Tuy nhiên, chúng không cho biết một doanh nghiệp bất kỳ sẽ tiết kiệm bao nhiêu giờ hoặc xử lý đúng bao nhiêu hồ sơ. Muốn áp dụng vào thực tế phải xác định nhiệm vụ, dữ liệu và điều kiện vận hành của chính doanh nghiệp.

Phân tích

Phân tích TBN Grow: một agent làm việc với hợp đồng cần giữ đúng quy tắc trong toàn bộ quy trình. Bấm đúng nút hoặc tạo được biểu mẫu chưa đủ nếu bước phê duyệt cuối cùng không đúng yêu cầu.

Ví dụ giả định: đơn mua phần mềm vượt một ngưỡng chi phí cần được chuyển đến người có quyền phê duyệt. Bài thử phải kiểm tra cả đơn dưới ngưỡng, trên ngưỡng và tình huống thiếu thông tin. Quan trọng là quy trình cuối cùng hoạt động đúng, không chỉ từng thao tác trông có vẻ hợp lý.

Điều cần theo dõi

Khi đánh giá agent, nên phân biệt kết quả đo trong nghiên cứu với thời gian tiết kiệm thực tế. Công bố của OpenAI ghi rõ các thời gian là ước tính mô phỏng; không nên trình bày chúng như số giờ khách hàng đã tiết kiệm được.

Doanh nghiệp nên bắt đầu bằng môi trường thử nghiệm, giới hạn quyền thay đổi và lưu lịch sử thao tác để kiểm tra. Với quyết định quan trọng, cần có người chịu trách nhiệm duyệt kết quả. TBN Grow đề xuất theo dõi khả năng xử lý ngoại lệ, khôi phục khi sai và chi phí kiểm tra của con người.