AI trên thiết bị là công nghệ suy luận và thực thi trực tiếp mô hình AI trên chính thiết bị đó (điện thoại thông minh, PC, thiết bị IoT, v.v.) mà không gửi đến máy chủ đám mây.
AI trên thiết bị là kiến trúc hoàn thành quá trình xử lý suy luận trên thiết bị cuối thay vì trên đám mây. Những ưu điểm chính bao gồm bảo vệ quyền riêng tư, độ trễ thấp, hoạt động ngoại tuyến và giảm chi phí liên lạc.
Kể từ năm 2026, các máy tăng tốc AI như Apple Silicon (Công cụ thần kinh), NPU Qualcomm Snapdragon và Kích thước MediaTek đã trở nên phổ biến và các mẫu điện thoại thông minh loại 7B giờ đây có thể hoạt động ở tốc độ thực tế. Copilot+ PC của Microsoft và dòng Pixel của Google đang tích cực áp dụng khả năng suy luận trên thiết bị.
Có ba cạm bẫy trong hoạt động thực tế thường gặp tại hiện trường: (1) hạn chế về kích thước mô hình—bộ nhớ thiết bị biên thường là 4 đến 8 GB, yêu cầu lượng tử hóa (INT4/INT8), có xu hướng làm giảm độ chính xác; (2) tính đa dạng của thiết bị—ngay cả chỉ với các thiết bị Android, sự khác biệt về hiệu suất của NPU là rất lớn, làm tăng số bước cần thiết để đảm bảo hoạt động; và (3) chi phí cập nhật mô hình—việc phân phối thông qua các bản cập nhật ứng dụng là bắt buộc và tùy thuộc vào tốc độ cập nhật của người dùng.
Về cách lựa chọn trong lĩnh vực này, ROI có thể sẽ tốt cho các dự án có lệnh gọi API LLM vượt quá hàng chục nghìn yên Nhật mỗi tháng và các ứng dụng không thể gửi dữ liệu bí mật ra bên ngoài, chẳng hạn như ứng dụng y tế và tài chính. Theo khảo sát của ReviewAI, tính đến năm 2026, mẫu phổ biến nhất là cấu hình kết hợp giữa trên thiết bị và đám mây (xử lý ánh sáng ở phía thiết bị, suy luận phức tạp ở phía đám mây).