Song song theo ngữ cảnh là một phương pháp song song hóa để phân chia một chuỗi đầu vào lớn giữa các GPU và xử lý chúng đồng thời trong quá trình học và suy luận LLM.
Song song bối cảnh là một phương pháp song song hóa để phân chia chuỗi đầu vào thành nhiều thiết bị và xử lý nó, không giống như song song tensor hoặc song song đường ống phân chia các lớp mô hình và được cho là được áp dụng rộng rãi để học và suy luận các mô hình lớn xử lý các bối cảnh dài như tài liệu dài, video và âm thanh. Do lượng tính toán chú ý tăng theo bình phương của độ dài chuỗi, người ta nói rằng phân chia chuỗi có ưu điểm là phân bổ bộ nhớ và tính toán, nhưng trong hoạt động thực tế đã chỉ ra rằng chi phí liên lạc giữa các thiết bị lớn và có thể dễ dàng trở thành nút cổ chai. Kể từ năm 2026, sự cạnh tranh sẽ dựa trên ''có thể giữ lại bao nhiêu ngữ cảnh'' trong các ứng dụng như phân tích tài liệu siêu dài và xử lý bộ nhớ dài hạn của agent, đồng thời chi phí sử dụng GPU đám mây có xu hướng tăng tỷ lệ thuận với độ dài chuỗi, do đó, điều quan trọng trong lĩnh vực này là phải quyết định xem có áp dụng chúng hay không sau khi xác định sự cân bằng giữa độ dài và chi phí ngữ cảnh cần thiết.