Tree of Thoughts là một kỹ thuật prompt trong đó LLM tìm kiếm song song nhiều đường dẫn suy luận trong cấu trúc cây, chọn đường dẫn tốt nhất ở mỗi bước trong khi giải quyết vấn đề.
Một phương pháp được Đại học Princeton và Google DeepMind công bố vào năm 2023 nhằm mở rộng “lý luận một đường” của Chuỗi tư duy (CoT). Ở mỗi bước suy luận, nhiều ứng cử viên (nút suy nghĩ) được tạo ra và việc tìm kiếm cấu trúc cây được thực hiện để chọn và tìm hiểu sâu hơn về đường dẫn tốt nhất trong khi tự đánh giá.
Khi sử dụng thực tế vào năm 2026, nó sẽ có hiệu quả đối với các bằng chứng toán học phức tạp, lập kế hoạch chiến lược nhiều bước và thiết kế mã, nhưng chi phí sẽ là vấn đề lớn nhất. Mức tiêu thụ token tăng từ 5 đến 20 lần so với CoT thông thường và khi sử dụng GPT-4o, một yêu cầu có thể tốn hàng chục đến hàng trăm yên Nhật. Trong nghiên cứu tại chỗ sử dụng ReviewAI, người ta đã xác định rằng nó chỉ được sử dụng cho các vấn đề có không gian tìm kiếm rộng (Tsume Shogi, lập kế hoạch dài hạn) và CoT đủ để đảm bảo chất lượng hàng ngày và chuyển đổi văn bản.
Xét về giá trị thị trường, chi phí API nằm trong khoảng hàng nghìn yên Nhật ngay cả khi API được sử dụng khoảng 100 lần một tháng, khiến các công ty khó áp dụng nó một cách thường xuyên. Có ba cách để lựa chọn trong lĩnh vực này: (1) chi phí thất bại cao và việc tìm kiếm kỹ lưỡng là hợp lý, (2) LLM có cấu trúc cho phép các bước trung gian tự chấm điểm và (3) có nhiều "đường dẫn chính xác" cho vấn đề. Mặt khác, việc kiểm tra thực tế, tóm tắt và phân loại các kết quả trong quá trình kỹ thuật hoàn chỉnh.
Kể từ năm 2026, do khả năng suy luận của LLM chính (Claude Sonnet 4/GPT-4o) được cải thiện, các cơ chế nội bộ như Tư duy mở rộng sẽ tự động hóa hoạt động khám phá giống như ToT và lợi thế của việc triển khai nhanh chóng thủ công sẽ giảm đi.