prompt đa phương thức là một kỹ thuật prompt đưa ra hướng dẫn cho AI bằng cách kết hợp không chỉ văn bản mà còn cả hình ảnh, âm thanh, video, PDF, v.v.
prompt đa phương thức là một kỹ thuật prompt kết hợp nhiều phương thức như văn bản, hình ảnh, âm thanh và video rồi nhập chúng vào AI để xử lý chính xác những thông tin khó truyền tải chỉ bằng văn bản. Sự phổ biến của GPT-4o, Gemini và Claude sẽ tăng tốc sau năm 2024, khi chúng trở nên tương thích với khả năng hiểu bằng hình ảnh và tính đến năm 2026, chúng đang được sử dụng tại nơi làm việc cho nhiều mục đích khác nhau, chẳng hạn như gỡ lỗi ảnh chụp màn hình, phân tích bản thiết kế và ghi lại OCR.
Cạm bẫy lớn nhất trong hoạt động thực tế là “chi phí mở rộng mã thông báo hình ảnh”. Nếu bạn truyền một hình ảnh có độ phân giải cao, mức tiêu thụ mã thông báo sẽ tăng gấp 10 đến 30 lần so với văn bản. Về giá thị trường, nếu bạn xử lý 10.000 yêu cầu mỗi tháng bằng API, phí hàng tháng cho hình ảnh thường gấp 5 đến 20 lần so với chỉ văn bản. Để tối ưu hóa chi phí, việc thay đổi kích thước thành 512px trở xuống và chỉ định chế độ chi tiết thấp sẽ có hiệu quả.
Phương pháp lựa chọn cơ bản trên trang web là hỏi, ``Câu hỏi có thực sự yêu cầu hình ảnh không?'' Không sử dụng trong những tình huống có thể thay thế văn bản. ReviewAI khuyến nghị tính toán sự cân bằng giữa chi phí tăng lên và độ chính xác được cải thiện do bổ sung các phương thức trước khi đưa vào sản xuất. Kể từ năm 2026, Gemini 2.0 Flash sẽ tiết kiệm chi phí nhất và nếu độ chính xác là quan trọng thì Claude 3.7 Sonnet hoặc GPT-4o sẽ là sản phẩm chủ đạo.