Lệnh Ollama từ A-Z: pull, run, Modelfile và keep_alive

Trả lời nhanh: Bộ lệnh lõi: ollama pull tải model, ollama run chat, ollama list xem model đã có, ollama ps xem model đang nằm trong RAM, ollama rm xóa. Nâng cao: Modelfile đóng gói system prompt + tham số thành model riêng của bạn; keep_alive quyết định model ở lại RAM bao lâu, chỉnh nó là hết bệnh chậm ở lượt hỏi đầu.

Ollama cố tình giống Docker: pull, run, list, rm, ai từng chạm container là thấy quen tay ngay. Nhưng phần ăn tiền nằm ở các lệnh và tham số ít người mở ra: Modelfile biến model gốc thành trợ lý chuyên một việc của riêng bạn, keep_alive quyết định trải nghiệm nhanh chậm nhiều hơn cả phần cứng, và num_ctx là công tắc mà ai làm RAG cũng phải biết. Bài này là trang tra cứu giữ lại dùng dần.

Vòng đời model: pull, run, list, ps, rm, cp

ollama pull qwen2.5:14b      # tai model (tag nhu docker)ollama run qwen2.5:14b       # chat truc tiep (tu pull neu chua co)ollama list                  # model da tai + dung luong tren diaollama ps                    # model dang nap trong RAM + het han sau bao lauollama stop qwen2.5:14b      # day model khoi RAM ngayollama rm qwen2.5:14b        # xoa han khoi diaollama cp qwen2.5:14b tro-ly # nhan ban lam nen cho model tuy bienollama show qwen2.5:14b      # xem tham so, template, license

Hai lệnh bị bỏ quên nhiều nhất: ps: trả lời câu vì sao server đầy RAM (một model 14B ai đó gọi từ sáng vẫn nằm lì); và show: xem model đang dùng template chat nào, context mặc định bao nhiêu trước khi đổ lỗi cho chất lượng model.

Trong phiên chat: các lệnh gạch chéo

Đang trong ollama run, các lệnh bắt đầu bằng gạch chéo điều khiển phiên: /set parameter temperature 0.2 (giảm bay bổng khi cần chính xác), /set system "Bạn là trợ lý pháp lý..." (đổi vai ngay trong phiên), /show info (đang chạy tham số gì), /save ten-phien và /load ten-phien (lưu/mở lại hội thoại), /clear (xóa ngữ cảnh làm mới), /bye (thoát). Thử nghiệm system prompt bằng /set system cho nhanh, ưng rồi mới đóng gói vào Modelfile cho bền.

Modelfile: đóng gói trợ lý riêng của bạn

Modelfile với Ollama như Dockerfile với Docker, khai nền, đặt tham số, nhét system prompt:

# file: ModelfileFROM qwen2.5:14bPARAMETER temperature 0.3PARAMETER num_ctx 8192SYSTEM """Bạn là trợ lý chăm sóc khách hàng của cửa hàng phần mềm.Trả lời ngắn gọn, tiếng Việt, xưng em. Không bịa thông tin giá."""

ollama create tro-ly-cskh -f Modelfileollama run tro-ly-cskh

Từ đây tro-ly-cskh là một model trong ollama list, gọi được qua API bằng đúng cái tên đó, app không cần tự nhét system prompt mỗi lần gọi nữa. Đội nhóm dựng nhiều trợ lý chuyên việc (viết mô tả sản phẩm, phân loại email, dịch) chỉ bằng một model nền cộng nhiều Modelfile, đĩa chỉ tốn một lần model nền.

keep_alive: tham số quyết định cảm giác nhanh chậm

Model nạp từ đĩa vào RAM mất từ vài giây (NVMe) đến cả phút (ổ chậm, model to), và mặc định Ollama chỉ giữ model trong RAM 5 phút sau lượt gọi cuối. Hệ quả kinh điển: cứ cách quãng lại hỏi là lượt đầu ì ạch. Ba cách chỉnh:

# giu 1 gio sau moi luot goi:curl http://localhost:11434/api/generate -d '{"model":"qwen2.5","keep_alive":"1h"}'# giu vinh vien (server chuyen dung):OLLAMA_KEEP_ALIVE=-1 ollama serve# day khoi RAM ngay khi can gion cho: ollama stop ten-model

Server chỉ phục vụ AI: đặt -1 giữ model thường trực. Server kiêm nhiều việc: giữ 30m-1h là điểm cân giữa RAM và trải nghiệm. Đây là lý do RAM VPS nên rộng hơn mức tối thiểu của model, phần dư chính là chỗ cho keep_alive làm việc.

num_ctx và các tham số đáng biết nốt

num_ctx: độ dài ngữ cảnh (prompt + tài liệu + câu trả lời) tính bằng token; mặc định thường vài nghìn, ném tài liệu dài vào là bị cắt ngọn âm thầm. Làm RAG hay tóm tắt văn bản: nâng lên 8192-16384 trong Modelfile/API, đổi lại RAM tiêu thêm theo độ dài ngữ cảnh. Bộ còn lại đáng nhớ: temperature (0.1-0.3 cho việc cần chính xác, 0.7+ cho sáng tạo), top_p, seed (tái lập kết quả khi kiểm thử), num_predict (chặn trần độ dài trả lời, chặn luôn hóa đơn thời gian CPU). Xem model đang chạy gì: ollama show ten-model --parameters.

Các tham số đáng biết và ảnh hưởng thật

Giữ model trong bộ nhớ, chữa dứt bệnh lượt hỏi đầu chậm

ollama ps          # cot UNTIL cho biet model con nam trong RAM bao lau nua # Dat mac dinh cho ca dich vusudo systemctl edit ollama# [Service]# Environment="OLLAMA_KEEP_ALIVE=30m"# Environment="OLLAMA_MAX_LOADED_MODELS=2"sudo systemctl daemon-reload && sudo systemctl restart ollama

Giá trị âm một nghĩa là giữ mãi trong bộ nhớ. Trên máy dùng chung đó là chiếm bộ nhớ vĩnh viễn, nhưng với máy chủ chuyên chạy trợ lý nội bộ thì lại là cấu hình đúng: mỗi lần nạp lại model 14 tỉ tham số mất khoảng mười giây và người dùng cảm nhận rõ.

Các lệnh trong phiên trò chuyện

/set parameter num_ctx 16384    # doi tham so ngay trong phien/show info                       # xem thong tin model dang chay/show parameters                 # xem tham so dang ap dung/save ten-phien                  # luu phien lam mot model moi/clear                           # xoa ngu canh, bat dau lai/bye                             # thoat

Lệnh lưu phiên rất tiện: sau khi chỉnh chỉ dẫn và tham số tới lúc ưng ý, lưu lại thành một model mang tên bạn đặt, lần sau gọi thẳng khỏi cấu hình lại.

Dọn dẹp và kiểm tra dung lượng

ollama list                      # dung luong tung modeldu -sh ~/.ollama/models          # tong dung luong tren mayollama rm ten-model              # xoa model khong dungdf -h ~/.ollama                  # o dia con bao nhieu

Model tải về không tự dọn. Máy thử nhiều model trong vài tháng dễ chiếm hàng trăm gigabyte. Đặt lịch rà mỗi quý, giữ lại hai tới ba model thật sự dùng.

Thư mục lưu model đặt được ở nơi khác bằng biến OLLAMA_MODELS, hữu ích khi ổ hệ thống nhỏ mà bạn có ổ dữ liệu riêng lớn hơn.