Ollama

Ollama là một công cụ dòng lệnh để chạy các LLM nguồn mở như Llama, Mistral và Gemma trong môi trường cục bộ. Tải mô hình của bạn bằng ollama pull và bắt đầu tương tác với mô hình đó ngay lập tức bằng ollama run. Nó được nhiều người sử dụng, bao gồm cả các công ty không dựa vào API đám mây và không muốn gửi dữ liệu nội bộ ra bên ngoài, các nhóm phát triển muốn giảm phí sử dụng API và các nhà phát triển cá nhân muốn thử tạo AI ngoại tuyến. Nó tương thích với Mac / Windows / Linux và tiếp tục phát triển từ dựa trên llama.cpp thành một công cụ độc quyền kể từ khi phát hành vào tháng 8 năm 2023.

Các tính năng chính

Giới thiệu mô hình bằng một lệnh: Nhận vài GB mô hình bằng một lệnh như ollama pull llama3.2. Tất cả các bước của hợp đồng API đám mây, phát hành khóa API và cài đặt SDK có thể được bỏ qua và việc xây dựng môi trường xác minh, trước đây mất khoảng 30 phút, có thể giảm xuống dưới 5 phút.

Thư viện mô hình chính thức với hơn 100 loại: Các mô hình chính như Llama 3.2 / 3.3, Mistral, Gemma, DeepSeek, Phi, v.v. có thể được tải xuống trực tiếp từ danh mục chính thức. Lớp lượng tử hóa (Q4_K_M, v.v.) 7B đến 13B hoạt động ngay cả trên máy Mac M2/M4.

Máy chủ API tương thích OpenAI: Hiển thị điểm cuối tương thích OpenAI tại localhost:11434 khi bắt đầu cục bộ. Bạn có thể chuyển sang LLM cục bộ bằng cách viết lại base_url của mã LangChain/LlamaIndex/Dify hiện có, giảm thiểu chi phí di chuyển.

Lời nhắc tùy chỉnh bằng Modelfile: Bạn có thể xác định các mô hình tùy chỉnh với lời nhắc hệ thống, nhiệt độ và độ dài ngữ cảnh cố định bằng cú pháp giống Dockerfile. Thật dễ dàng để sử dụng lại các mẫu chatbot cho các mục đích sử dụng nội bộ khác nhau.

Biên bản xác minh của ban biên tập

So sánh các yêu cầu chức năng của tài liệu công cộng và các công cụ cạnh tranh (LM Studio, vLLM, truy cập trực tiếp vào llama.cpp), sự khác biệt của Ollama có thể được tóm tắt trong ``bắt đầu với những bước ngắn nhất.'' LM Studio có GUI phức tạp và phù hợp với những người không phải là kỹ sư, nhưng Ollama mạnh về khả năng tái tạo giống Docker và nhúng CI thay vì dựa vào thiết bị đầu cuối. vLLM ưu tiên thông lượng sản xuất và hơi nặng nề cho mục đích xác minh. Phí này là miễn phí (phiên bản Cloud chính thức có phí trả theo mức sử dụng riêng). Tính toán từ bảng giá đã công bố, nếu một nhóm nhỏ tiêu thụ 30.000 đến 50.000 yên Nhật mỗi tháng phí sử dụng API GPT-5.5 chuyển sang mô hình 13B cục bộ cho một số mục đích sử dụng nội bộ, thì có thể giảm chi phí API hàng tháng xuống 1/3 đến 1/5. Yêu cầu phần cứng thực tế là Apple Silicon M2 trở lên hoặc GPU NVIDIA có VRAM 8GB trở lên.

Người dùng dự định

Ứng viên phù hợp là nhân viên xác minh tài chính và y tế không thể gửi dữ liệu nội bộ ra bên ngoài, nhà phát triển cá nhân muốn giảm chi phí API và nhà phát triển LangChain/Dify muốn có môi trường suy luận cục bộ dễ sử dụng. Mặt khác, LM Studio phù hợp với những người không phải là kỹ sư, không thể sử dụng nó nếu không có GUI và vLLM phù hợp với những trường hợp xử lý hàng trăm yêu cầu đồng thời trong quá trình sản xuất, nằm ngoài phạm vi của Ollama.

Là một mật khẩu cho việc thực thi LLM cục bộ, Ollama vẫn là khoảng cách ngắn nhất kể từ tháng 5 năm 2026. Llama 4, Qwen3.5, Gemma 4, gpt-oss:20b, v.v. có thể được xử lý từ ứng dụng CLI/API/máy tính để bàn và API tương thích OpenAI của localhost:11434 giúp dễ dàng kết nối với các công cụ hiện có. Chạy miễn phí và không giới hạn phần cứng của riêng bạn, Pro với giá 20 USD/tháng. Tuy nhiên, nó kém hơn GPT-5 và Claude Sonnet 4.6 về chất lượng suy luận, giao diện người dùng Nhật Bản và quản lý chia sẻ nên phù hợp với các nhà phát triển muốn xác minh dữ liệu bí mật trong tay.