Sơ đồ suy nghĩ là một kỹ thuật gợi ý thể hiện quá trình suy nghĩ của LLM theo cấu trúc biểu đồ thay vì cấu trúc cây, giúp nó có thể phân nhánh và tích hợp nhiều đường dẫn lý luận.
Đồ thị suy nghĩ (GoT) là một phương pháp prompt mở rộng Chuỗi suy nghĩ và Cây suy nghĩ, đồng thời thể hiện quá trình suy luận LLM dưới dạng cấu trúc biểu đồ tùy ý (đỉnh = suy nghĩ, cạnh = phụ thuộc). Không giống như cấu trúc cây, CoT được đặc trưng bởi khả năng tích hợp nhiều suy nghĩ (tổng hợp) và quay lại và sửa đổi các nút suy nghĩ trung gian, đồng thời được cho là có thể đạt được độ chính xác cao hơn CoT đơn giản trong các nhiệm vụ phân tách, sắp xếp và tối ưu hóa vấn đề phức tạp. Tuy nhiên, trong hoạt động thực tế vào năm 2026, một lệnh gọi LLM bổ sung sẽ diễn ra cho mỗi nút suy nghĩ, do đó, mức tiêu thụ mã thông báo và chi phí API có thể sẽ tăng nhiều lần so với CoT đơn giản và sự cân bằng giữa độ trễ và chi phí có thể sẽ trở thành một vấn đề trong lĩnh vực này. Nói chung, chìa khóa để triển khai là thiết kế thu hẹp số lượng lệnh gọi tùy thuộc vào độ phức tạp của nhiệm vụ (đặt giới hạn trên cho độ sâu của biểu đồ và số nhánh) và sử dụng CoT cho QA đơn giản và chỉ sử dụng GoT cho các nhiệm vụ suy luận phức tạp yêu cầu tích hợp nhiều giải pháp trung gian được hỗ trợ rộng rãi như một phương pháp được lựa chọn trong hiện trường.