TheAgentCompany là một tiêu chuẩn yêu cầu các AI agent LLM hoàn thành 175 nhiệm vụ thực tế trong một công ty phần mềm mô phỏng và đo lường hiệu suất của họ dựa trên tỷ lệ hoàn thành.
TheAgentCompany là một điểm chuẩn được đề xuất trong một bài báo xuất bản vào tháng 12 năm 2024 (arXiv:2412.14161) yêu cầu các AI agent LLM hoàn thành 175 nhiệm vụ thực tế dài hạn (chẳng hạn như mã hóa, duyệt web và tương tác với các cuộc trò chuyện kiểu Slack mô phỏng với đồng nghiệp) trong môi trường công ty phần mềm mô phỏng và đo lường tỷ lệ hoàn thành cả về điểm kiểm tra và kết quả thực thi. Bài báo báo cáo rằng ngay cả với mô hình hàng đầu, tỷ lệ đạt được quyền tự chủ chỉ khoảng 30% và nó đã được coi trong ngành như một chỉ số để đo lường khả năng của các AI agent tuyên bố cung cấp dịch vụ thực tế. Tuy nhiên, trong hoạt động thực tế kể từ năm 2026, có những cạm bẫy ở chỗ thiết kế nhiệm vụ dành riêng cho môi trường mô phỏng không nhất thiết phải phù hợp với quy trình làm việc thực tế của công ty và chi phí đánh giá để xây dựng môi trường tự lưu trữ và gọi API tới nhiều mô hình cũng rất đáng kể. Khi lựa chọn một sản phẩm agent tại hiện trường, thông lệ tiêu chuẩn không phải là lấy điểm chuẩn theo mệnh giá mà kết hợp chúng với xác minh bổ sung về các nhiệm vụ tương tự như hoạt động của chính công ty.