Trả lời nhanh: Ollama là công cụ mã nguồn mở cho phép tải và chạy các model AI (LLM) như Qwen, Llama, Gemma ngay trên máy tính hoặc server của bạn, không cần tài khoản, không trả phí theo token, dữ liệu không gửi đi đâu. Cài bằng một lệnh, ollama run qwen2.5 là có chatbot chạy hoàn toàn cục bộ sau vài phút.
Từ khóa ollama đang được tìm 14.800 lượt mỗi tháng ở Việt Nam, tăng gần 1.500 lần trong 4 năm, thuộc hàng trend dốc nhất giới công nghệ. Lý do dễ hiểu: ai cũng dùng AI hằng ngày nhưng ngày càng nhiều người không muốn dữ liệu công việc chảy lên máy chủ nước ngoài, không muốn hóa đơn API phình theo từng token. Ollama là câu trả lời gọn nhất: chạy AI trên phần cứng của chính bạn. Bài này giải thích nó là gì, làm được gì thật, và cần máy cỡ nào.
- Ollama = trình quản lý + chạy LLM cục bộ: tải model một lệnh, chat qua terminal hoặc API
- Miễn phí toàn phần: trả bằng phần cứng của bạn thay vì trả theo token
- Dữ liệu không rời máy, đúng nhu cầu tài liệu nội bộ, dữ liệu khách hàng, ngành nhạy cảm
- Chạy được trên máy không GPU: model 7-8B trên CPU nhiều nhân là dùng được thật
- Hệ sinh thái xoay quanh API chuẩn OpenAI: n8n, Dify, code của bạn cắm vào như cắm GPT
Ollama hoạt động thế nào, nói không màu mè
Ollama gói ba việc vốn rất lằng nhằng thành một công cụ: tải model (kho model chính chủ, kéo về như docker pull), chạy model (trên nền llama.cpp tối ưu cho cả CPU lẫn GPU), và phục vụ API (mặc định ở cổng 11434, kèm endpoint tương thích chuẩn OpenAI). Bạn không phải biết gì về định dạng GGUF, quantization hay CUDA để bắt đầu:
curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen2.5
# >>> go cau hoi tieng Viet vao va chatModel tải một lần nằm lại trên đĩa, các lần sau chạy ngay không cần mạng. Đó cũng là điểm mấu chốt: sau khi cài, mọi thứ hoạt động offline.
Vì sao dân dev và doanh nghiệp đổ về AI cục bộ
Ba động lực thật, không phải trend suông: dữ liệu, hợp đồng, hồ sơ khách, code nội bộ không được phép rời hệ thống, đặc biệt khi luật bảo vệ dữ liệu cá nhân siết dần; chi phí, API trả theo token, workload đều đặn (phân loại email, tóm tắt tài liệu hằng ngày) cộng lại nhanh hơn bạn nghĩ, trong khi model cục bộ chạy bao nhiêu cũng một giá phần cứng; chủ động, không phụ thuộc hạn mức, thay đổi giá, hay việc nhà cung cấp khai tử model bạn đang dùng. Đổi lại, model mở cỡ nhỏ thông minh kém các model thương mại đầu bảng, nghệ thuật nằm ở chọn đúng việc giao cho nó, chủ đề của các bài sau trong series.
Cần máy cỡ nào: sự thật không tô vẽ
Thước đo quan trọng nhất là RAM: model 7-8B bản nén chuẩn cần ~5-6GB, 14B cần ~10-11GB, 32B cần ~20-22GB (công thức chi tiết ở bài RAM của series). GPU không bắt buộc: trên CPU server nhiều nhân, model 7-8B trả lời ở tốc độ đọc được, đủ cho chatbot nội bộ, tóm tắt, phân loại; cần phản hồi tức thì hoặc model to mới tính đến GPU. Trải nghiệm CPU thuần trên VPS đã được đo đạc cụ thể trong bài Ollama trên VPS không GPU, đọc trước khi mua phần cứng.
Chạy ở đâu: laptop hay server?
Laptop hợp để nghịch; dùng thật thì lộ ba điểm yếu: model chiếm RAM máy làm việc, tắt máy là dịch vụ chết, và đồng nghiệp không dùng chung được. Mô hình chín hơn: Ollama nằm trên một server chạy 24/7, VPS RAM lớn là vừa vặn, cả đội gọi qua API, giao diện chat dùng chung qua Open WebUI (đã có bài dựng ChatGPT clone tự host). Ổ NVMe đáng tiền ở khoản nạp model: file model 5-20GB đọc từ đĩa mỗi lần khởi động/đổi model, NVMe nạp trong vài giây thay vì cả phút. Và nhớ nguyên tắc an toàn: đừng phơi cổng 11434 ra internet, bài riêng của series sẽ chỉ cách mở đúng qua Tailscale.
Bản đồ series Ollama trên blog TND
Bài này là cổng vào; các bài thao tác sâu: bộ lệnh từ A-Z · chọn model tiếng Việt · API thay OpenAI trong code, n8n, Dify · cần bao nhiêu RAM · mở ra ngoài an toàn · RAG hỏi đáp tài liệu offline · vận hành trên server.
Cài và chạy thử trong năm phút
# Linux va macOS curl -fsSL https://ollama.com/install.sh | sh # Windows: tai bo cai tu trang chu, chay nhu phan mem thuong ollama --version ollama pull qwen2.5:7b # tai model, khoang 4,7 GB ollama run qwen2.5:7b # bat dau chat ngay trong cua so lenh ollama ps # xem model dang nam trong bo nho ollama list # danh sach model da tai
Dịch vụ chạy nền ở cổng 11434 ngay sau khi cài. Kiểm bằng curl http://localhost:11434/api/tags, trả về danh sách model là đã chạy.
Máy cỡ nào chạy được, nói thẳng
| Máy của bạn | Chạy được cỡ nào | Cảm nhận tốc độ |
|---|---|---|
| Laptop 8 GB, không card rời | 3 tới 4 tỉ tham số | Chấp nhận được cho việc ngắn, đừng kỳ vọng nhiều |
| Laptop 16 GB, không card rời | 7 tới 8 tỉ tham số | Khoảng 5 tới 15 chữ mỗi giây, dùng thật được |
| Máy bàn 32 GB, card 8 tới 12 GB | 14 tỉ tham số | Mượt, đây là mức cân bằng hợp lý về giá |
| Máy chủ có card 24 GB trở lên | 32 tỉ tham số trở lên | Nhanh, hợp phục vụ cả nhóm |
| Máy Mac chip Apple 16 GB trở lên | 7 tới 14 tỉ tham số | Bộ nhớ dùng chung nên hiệu quả bất ngờ, một trong những lựa chọn phù hợp cho cá nhân |
Không có card đồ họa vẫn chạy được, chỉ chậm hơn. Với các việc không cần trả lời tức thì, chẳng hạn xử lý hàng loạt tài liệu qua đêm, máy chủ chỉ có vi xử lý là đủ và rẻ hơn nhiều.
Ba việc doanh nghiệp Việt Nam làm được ngay
- Xử lý tài liệu nội bộ mà không gửi ra ngoài. Hợp đồng, hồ sơ nhân sự, dữ liệu khách hàng. Đây là lý do thuyết phục nhất, nhất là từ khi Luật Bảo vệ dữ liệu cá nhân có hiệu lực đầu năm 2026.
- Ghép vào quy trình tự động. Phân loại thư đến, tóm tắt đơn hàng, soạn nháp trả lời. Chạy trên máy của công ty nghĩa là không có hóa đơn theo lượt gọi.
- Chạy thử trước khi quyết định trả tiền cho dịch vụ bên ngoài. Dựng bản thử bằng model chạy tại chỗ, đo xem chất lượng có đủ dùng không, rồi mới tính chuyện mua.
Giới hạn cần biết trước khi kỳ vọng
- Model chạy tại chỗ yếu hơn các dịch vụ lớn ở việc suy luận phức tạp và viết dài. Với tóm tắt, phân loại, trích thông tin thì khoảng cách nhỏ. Với việc khó thì khoảng cách còn rõ.
- Không có kiến thức mới. Model biết tới thời điểm huấn luyện. Muốn nó trả lời theo tài liệu của bạn thì phải dựng hệ thống hỏi đáp trên tài liệu, không phải chỉ chạy model.
- Tốn điện và tỏa nhiệt. Laptop chạy model liên tục sẽ nóng và hết pin nhanh. Với nhu cầu chạy cả ngày, đặt trên máy chủ hợp lý hơn.
- Không có ai hỗ trợ khi hỏng. Đây là phần mềm mã nguồn mở, bạn tự vận hành. Với hệ thống phục vụ công việc chính, cần người biết xử lý.
Câu hỏi thường gặp
Ollama có thật sự miễn phí không?
Có, mã nguồn mở, không tài khoản, không phí. Chi phí thật của bạn là phần cứng (RAM, CPU/GPU, điện hoặc tiền thuê VPS), mô hình chi phí cố định thay vì trả theo token.
Model chạy bằng Ollama có thông minh bằng các chatbot thương mại không?
Model mở 7-32B kém các model thương mại đầu bảng ở suy luận phức tạp, nhưng với việc cụ thể (tóm tắt, phân loại, trích xuất, hỏi đáp trên tài liệu của bạn qua RAG) thì khoảng cách hẹp hơn nhiều và thường đủ dùng. Chọn đúng việc quan trọng hơn chọn model to.
Ollama có hỗ trợ tiếng Việt không?
Bản thân Ollama là công cụ, tiếng Việt phụ thuộc model. Các model như Qwen 2.5, Gemma đời mới xử lý tiếng Việt khá tốt ở cỡ 7B trở lên. Series có bài riêng so sánh model tiếng Việt.
Chạy Ollama trên Windows hay Linux tốt hơn?
Cả hai đều chính chủ hỗ trợ (kèm macOS). Dùng cá nhân thì hệ nào quen dùng hệ đó; làm dịch vụ chạy 24/7 thì Linux/VPS tiện vận hành hơn hẳn, systemd, log, cập nhật, và rẻ.
