CUDA là mô hình lập trình và môi trường phát triển để thực hiện các phép tính song song trên GPU NVIDIA và được sử dụng rộng rãi để tăng tốc độ học tập và suy luận AI.
CUDA là một nền tảng điện toán song song dành cho GPU do NVIDIA cung cấp và đề cập đến một nhóm các mô hình lập trình, chuỗi công cụ và thư viện để điều khiển trực tiếp nhiều lõi GPU từ C hoặc C++ và tăng tốc các hoạt động ma trận. Nhiều khung học máy chính, chẳng hạn như TensorFlow và PyTorch, được tối ưu hóa cho GPU tương thích CUDA và được cho là chiếm vị trí tiêu chuẩn ngành là nền tảng học tập và suy luận cho học sâu. Mặt khác, trong hoạt động thực tế kể từ năm 2026, CUDA là một hệ sinh thái khép kín với GPU NVIDIA, do đó khả năng di chuyển sang GPU AMD và TPU thấp và chi phí khóa nhà cung cấp có thể sẽ trở thành một vấn đề trong lĩnh vực này. Ngoài ra, có nhiều trường hợp nó không hoạt động tùy thuộc vào sự kết hợp giữa phiên bản CUDA, trình điều khiển và framework, dẫn đến vô số vấn đề về xây dựng môi trường. Giá thị trường của GPU đám mây tiếp tục duy trì ở mức cao và khi chọn thiết kế dựa trên CUDA, đây là một lựa chọn thực tế trong lĩnh vực này để xem xét chi phí mua sắm GPU trong tương lai và khó khăn khi chuyển sang các phương pháp thay thế (chẳng hạn như ROCm).