HBM là một tiêu chuẩn bộ nhớ đạt được khả năng truyền dữ liệu băng thông rộng bằng cách xếp chồng nhiều chip DRAM theo chiều dọc và đặt chúng gần bộ xử lý như GPU.
HBM (Bộ nhớ băng thông cao) là một tiêu chuẩn DRAM xếp chồng được tiêu chuẩn hóa bởi JEDEC, tiêu chuẩn này xếp chồng nhiều khuôn DRAM theo chiều dọc bằng cách sử dụng vias xuyên silicon (TSV) để đạt được băng thông bộ nhớ cao với chiều rộng giao diện rộng. Nó được cài đặt thông qua bộ chuyển đổi bên cạnh GPU và bộ tăng tốc AI, đồng thời được cho là công nghệ cơ bản hỗ trợ truy cập tốc độ cao vào số lượng lớn tham số và bộ nhớ đệm KV cần thiết cho việc học và suy luận của các mô hình ngôn ngữ quy mô lớn. Trong hoạt động thực tế kể từ năm 2026, bản thân việc cung cấp HBM sẽ là nút thắt cổ chai ảnh hưởng đến khối lượng sản xuất GPU và khi mua GPU thế hệ mới nhất trong lĩnh vực này, cấu trúc sẽ dẫn đến sự khác biệt về dung lượng HBM và thông số băng thông có liên quan trực tiếp đến giá cả. Về giá thành, GPU cao cấp được trang bị HBM có xu hướng đắt hơn đáng kể so với các mẫu được trang bị bộ nhớ thông thường và giá thị trường cũng được phản ánh mạnh mẽ qua giá theo giờ của các phiên bản GPU đám mây. Chìa khóa để tối ưu hóa chi phí là tính toán băng thông bộ nhớ cần thiết từ kích thước mô hình và kích thước lô, đồng thời tránh các thông số kỹ thuật quá mức cho dung lượng HBM.