Hỗn hợp agent (MoA) là phương pháp tạo ra câu trả lời chính xác hơn so với một mô hình duy nhất bằng cách sắp xếp nhiều LLM thành các lớp, đồng thời tham chiếu và tích hợp đầu ra của nhiều mô hình ở giai đoạn trước với các mô hình ở giai đoạn sau.
MoA là kiến trúc được đề xuất trong nghiên cứu Together AI vào năm 2024 và là phương pháp nhằm đạt được độ chính xác cao hơn so với suy luận của một mô hình duy nhất bằng cách chia nhiều LLM thành một "lớp đề xuất" và một "lớp tổng hợp" rồi xếp chúng thành nhiều giai đoạn, đồng thời tích hợp đầu ra của mỗi lớp trong khi tham chiếu đến lớp tiếp theo. Có thông tin cho rằng điểm chuẩn cao hơn chỉ riêng mẫu GPT-4 và nó đã được khen ngợi vì khả năng đạt được kết quả tổng hợp hiệu suất cao ngay cả khi kết hợp với các mô hình nguồn mở. Tuy nhiên, trong hoạt động thực tế vào năm 2026, có một cạm bẫy là càng thêm nhiều lớp thì số lượng lệnh gọi API sẽ càng tăng, độ trễ và chi phí sẽ tăng nhiều hơn tuyến tính. Về cách chọn một mô hình trong hiện trường, việc giới hạn nó ở các ứng dụng tạo báo cáo và xử lý hàng loạt trong đó ưu tiên độ chính xác và độ trễ có thể chấp nhận được ngày càng trở nên phổ biến hơn, đồng thời xem xét sử dụng một mô hình duy nhất hoặc kết hợp với RAG cho các chatbot yêu cầu phản hồi theo thời gian thực.