Llama là một loạt các mô hình ngôn ngữ quy mô lớn, có trọng lượng mở được Meta phát triển và phát hành miễn phí. Đây là tùy chọn duy nhất hoạt động trên máy chủ hoặc môi trường cục bộ của riêng bạn và cho phép bạn sử dụng LLM mà không cần gửi dữ liệu ra bên ngoài.
Họ LLM được Meta phát hành dưới dạng trọng lượng mở. Giấy phép thương mại đã được phát hành kể từ Llama 2 (tháng 7 năm 2023), đồng thời khả năng suy luận và đa ngôn ngữ đã được cải thiện đáng kể kể từ Llama 3 (2024). Tính đến năm 2026, Llama 4 là phiên bản mới nhất, hỗ trợ các bối cảnh dài và đa phương thức trên quy mô hàng triệu token.
Điểm mạnh lớn nhất là nó có thể được hoàn thành bằng cơ sở hạ tầng của chính chúng tôi. Trong các lĩnh vực như y tế, tài chính và pháp lý nơi dữ liệu không thể xuất ra bên ngoài, Llama trên thực tế đã trở thành ứng cử viên trong trường hợp OpenAI hoặc API Anthropic không phải là một lựa chọn. Mô hình 70B có thể chạy trên một máy chủ được trang bị GPU (khoảng 50.000 đến 70.000 yên Nhật mỗi tháng đối với AWS g4dn.
Cạm bẫy trong hoạt động thực tế là sự suy giảm độ chính xác lượng tử hóa. Lượng tử hóa Q4, giúp tiết kiệm VRAM, có thể giảm độ chính xác từ 20 đến 30% so với GPT-4o trong mã hóa và lý luận câu dài. Lý thuyết trường là nó phù hợp với các tác vụ đơn giản như Câu hỏi thường gặp ngắn, RAG và phân loại, đồng thời nó được sử dụng đúng cách với các mô hình đám mây cấp cao hơn để xử lý agent phức tạp. ReviewAI cũng định vị nó là một "LLM chạy mà không cần đám mây" đại diện và thực tế là hàng chục nghìn mô hình có nguồn gốc và tinh chỉnh được xuất bản trên HuggingFace cũng giúp ích cho việc lựa chọn nó.