Sử dụng công cụ là khả năng LLM gọi các API, DB và chương trình bên ngoài để thu thập và xử lý thông tin theo thời gian thực. Công nghệ cốt lõi của AI agent.
Sử dụng công cụ là một cơ chế trong đó LLM xuất ra `` công cụ nào để gọi với đối số nào '' ở định dạng JSON thay vì phản hồi văn bản và ứng dụng sẽ thực thi API và trả về kết quả cho LLM, lặp lại chu trình. Còn được gọi là "Gọi hàm."
LLM chỉ có kiến thức trong dữ liệu học tập, nhưng bằng cách kết hợp việc sử dụng các công cụ, nó có thể truy cập các tài nguyên bên ngoài như công cụ tìm kiếm, lịch, cơ sở dữ liệu nội bộ và môi trường thực thi mã, đồng thời có thể xử lý dữ liệu duy nhất và thời gian thực. Đây là công nghệ cốt lõi của các AI agent. Kể từ năm 2026, Claude, GPT-4o và Gemini đều tương thích nguyên bản và có thể được liên kết với các hệ thống nội bộ trong cùng một ngày miễn là lược đồ được xác định.
Có ba cạm bẫy trong hoạt động thực tế. ① Nếu có quá nhiều định nghĩa công cụ, LLM sẽ đưa ra lựa chọn sai (khuyến nghị 5 hoặc ít hơn trong trường này). ② Nếu xác thực đối số yếu, API sẽ bị ảnh hưởng trực tiếp bởi giá trị ảo giác. ③Chuỗi công cụ càng dài thì chi phí và độ trễ càng cao. Trong một nghiên cứu điển hình của Ban Biên tập ReviewAI, đã xảy ra trường hợp chi phí API hàng tháng cho một agent kết hợp RAG và mức sử dụng công cụ tăng gấp ba lần so với ước tính ban đầu. Trong thực tế, cách tiếp cận tiêu chuẩn là bắt đầu với "một công cụ, một nhiệm vụ" và sau đó mở rộng từng bước sau khi củng cố việc xử lý lỗi.