OSWorld là một tiêu chuẩn đánh giá nhằm đo lường xem AI agent có thể tự động thực hiện các hoạt động tệp và ứng dụng trong môi trường hệ điều hành máy tính để bàn thực tế hay không (tương đương với Ubuntu, Windows và macOS).
OSWorld là một tiêu chuẩn đánh giá đo lường mức độ mà các AI agent có thể tự động hoàn thành các tác vụ thực tế trên nhiều ứng dụng như LibreOffice, GIMP, trình duyệt và trình quản lý tệp trong môi trường hệ điều hành máy tính để bàn thực tế và được tham chiếu rộng rãi như một tiêu chuẩn ngành. Hệ thống này được đặc trưng bằng cách cho điểm tỷ lệ thành công không chỉ dựa trên độ chính xác khi vận hành một ứng dụng mà còn về việc chuyển đổi giữa các ứng dụng và tính nhất quán của các định dạng lưu tệp. Trong hoạt động thực tế kể từ năm 2026, người ta đã chỉ ra rằng ngay cả những nhân viên có điểm chuẩn cao cũng thường không hoạt động như mong đợi ở những nơi làm việc có liên quan đến các ứng dụng kinh doanh độc quyền hoặc giao diện người dùng cũ. Về mặt chi phí, các mô hình yêu cầu nhiều thao tác GUI thử và sai hơn yêu cầu nhiều thao tác nhấp chuột và phân tích ảnh chụp màn hình hơn, đồng thời xét về hiệu suất thị trường, các AI agent có tỷ lệ thành công cao hơn thường có chi phí thực hiện trên mỗi nhiệm vụ cao hơn. Tại địa điểm cài đặt, phương pháp lựa chọn cơ bản là kiểm tra không chỉ giá trị tuyệt đối của tỷ lệ thành công mà còn kiểm tra số lần thử trung bình và số bước vận hành, đồng thời chọn các điều kiện gần với môi trường hệ điều hành thực tế của công ty.