ChartQA là một tiêu chuẩn trả lời câu hỏi bằng hình ảnh nhằm đo lường xem liệu mô hình AI có thể đọc chính xác các con số và xu hướng từ biểu đồ hay không bằng cách đưa ra một tập hợp các hình ảnh biểu đồ như biểu đồ thanh, biểu đồ đường và câu hỏi.
ChartQA là điểm chuẩn ngôn ngữ trực quan (đa phương thức) để đo lường xem mô hình AI có thể đọc và trả lời chính xác các giá trị số và xu hướng từ biểu đồ hay không bằng cách đưa ra một tập hợp các hình ảnh biểu đồ như biểu đồ thanh, biểu đồ đường, biểu đồ hình tròn và các câu hỏi ngôn ngữ tự nhiên. Nó được đặc trưng bởi một cấu trúc bao gồm các câu hỏi do máy tạo ra bên cạnh các câu hỏi do con người tạo ra và được sử dụng rộng rãi như một chỉ báo để so sánh khả năng hiểu sơ đồ của các LLM đa phương thức chính như GPT-4V, Gemini và Claude. Trong hoạt động thực tế kể từ năm 2026, sẽ có sự gia tăng các trường hợp sử dụng trong đó AI được sử dụng để tóm tắt và trích xuất các biểu đồ có trong báo cáo tài chính và báo cáo kinh doanh, đồng thời các mô hình có điểm ChartQA cao hơn có xu hướng ít đọc sai các con số hơn. Điều đáng tiếc là ngay cả những mô hình có điểm cao cũng có khả năng đọc sai biểu đồ có nhãn trục nhỏ hoặc chú thích phức tạp và người ta cho rằng việc kiểm tra kỹ các con số cuối cùng theo cách thủ công thay vì dựa vào AI đang trở nên phổ biến hơn trong lĩnh vực này. Mặc dù bản thân chi phí thực hiện điểm chuẩn là nhỏ nhưng cần phải tính đến việc đánh giá liên tục bằng dữ liệu nội bộ đòi hỏi một lượng thời gian nhất định để chuẩn bị bộ dữ liệu đánh giá.