NPU (đơn vị xử lý thần kinh) là một chip bán dẫn chuyên xử lý suy luận mạng thần kinh tốc độ cao. Nó được cài đặt trong điện thoại thông minh và PC và thực hiện xử lý AI với mức tiêu thụ điện năng thấp hơn CPU và GPU.
NPU (Bộ xử lý thần kinh) là tên tiêu chuẩn công nghiệp cho bộ xử lý chuyên dụng chuyên dùng cho việc suy luận và học tập sâu. Trong khi CPU giỏi tính toán cho mục đích chung và GPU giỏi tính toán song song, NPU được cho là chuyên xử lý suy luận, tăng hiệu suất tính toán trên mỗi đơn vị điện năng tiêu thụ. Việc cài đặt các công nghệ như Neural Engine của Apple và NPU của Qualcomm trong điện thoại thông minh và PC sẽ được chuẩn hóa từ năm 2026. Cạm bẫy trong hoạt động thực tế là những hạn chế của khung hỗ trợ. Cần phải trải qua thời gian chạy suy luận dành riêng cho từng NPU và thường không thể chạy các mô hình PyTorch hoặc TensorFlow như cũ. Quá trình giảm trọng lượng của mô hình thông qua lượng tử hóa có thể sẽ trở nên cần thiết và sự đánh đổi với sự suy giảm độ chính xác trở thành mối lo ngại trong lĩnh vực này. Về mặt chi phí, bản thân thiết bị đầu cuối được trang bị NPU thường không có thêm chi phí, nhưng khi chuyển từ suy luận đám mây sang suy luận trên thiết bị, thời gian phát triển để chuyển đổi và xác minh mô hình trở thành yếu tố chi phí chính. Về mặt tâm lý thị trường, người ta nói rằng ROI của việc sử dụng NPU có thể được thấy trong các ứng dụng mà bạn muốn liên tục giảm phí API đám mây hoặc các ứng dụng không thể gửi dữ liệu ra bên ngoài.