Trả lời nhanh: vLLM sinh ra để phục vụ mô hình ở quy mô lớn với thông lượng cao, và nó cần GPU để phát huy. Nếu bạn chỉ gọi mô hình vài trăm lượt mỗi ngày, dùng API là lựa chọn hợp lý hơn cả về tiền lẫn công. VPS thường không GPU vẫn đủ cho: chạy agent gọi API, chạy MCP server, chạy mô hình nhỏ cho tác vụ đơn giản, và toàn bộ phần ứng dụng xung quanh. GPU chỉ đáng thuê khi lượng gọi lớn và ổn định.
Thấy người ta nói tự host mô hình là tiết kiệm, bạn định thuê GPU. Hãy tính trước một phép tính đơn giản, nó thường thay đổi quyết định.
- vLLM tối ưu cho thông lượng cao, cần GPU mới phát huy.
- Lượng gọi vừa phải thì API rẻ hơn và ít việc phải lo hơn.
- VPS thường đủ cho agent, MCP server và toàn bộ phần ứng dụng.
- GPU đáng thuê khi lượng gọi lớn, ổn định và kéo dài.
Ba nhu cầu khác nhau
| Nhu cầu | Cần gì |
|---|---|
| Chạy agent gọi API mô hình | VPS thường, ưu tiên ổ NVMe |
| Chạy mô hình nhỏ cho tác vụ đơn giản | VPS thường, nhiều RAM |
| Phục vụ mô hình lớn cho nhiều người dùng | GPU, và khi đó vLLM mới hợp lý |
Nhầm lẫn hay gặp là gộp ba nhu cầu này làm một. Phần lớn người làm vibe coding thuộc nhóm đầu tiên, và nhóm đó không cần GPU chút nào.
Phép tính trước khi thuê GPU
Ba câu hỏi:
- Mỗi ngày gọi mô hình bao nhiêu lượt? Dưới vài nghìn thì API gần như luôn rẻ hơn.
- Tải có đều không? GPU tính tiền theo giờ thuê chứ không theo lượt dùng. Tải chỉ dồn vài giờ mỗi ngày nghĩa là bạn trả tiền cho phần lớn thời gian máy nằm không.
- Ai vận hành? Tự host nghĩa là bạn lo cập nhật, theo dõi, xử lý khi hỏng. Tính thời gian đó vào chi phí.
Trả lời ba câu này trung thực, phần lớn dự án nhỏ và vừa sẽ thấy API là lựa chọn đúng, ít nhất cho tới khi lượng gọi thật sự lớn.
Phần việc VPS thường vẫn cần làm
Kể cả khi dùng API cho mô hình, bạn vẫn cần một máy chủ cho:
- Chạy agent và giữ phiên làm việc dài.
- Chạy MCP server kết nối dữ liệu.
- Chạy database và hàng đợi công việc.
- Chạy build, test và môi trường phát triển.
- Lưu và xử lý kết quả trả về.
Toàn bộ phần này chạy tốt trên VPS thường, và điều nó cần là ổ nhanh cùng xung nhịp cao chứ không phải GPU.
Ba nhu cầu khác nhau, đừng gộp làm một
| Nhu cầu | Cần card đồ họa không | Phương án |
|---|---|---|
| Thử nghiệm, học, chạy vài lượt mỗi ngày | Không | Máy chủ thường, hoặc gọi dịch vụ theo lượt |
| Việc chạy nền hàng loạt, không ai ngồi chờ | Không | Máy chủ thường, chạy ban đêm |
| Phục vụ người dùng thật theo thời gian thực | Có, nếu tự host | Hoặc gọi dịch vụ, thường rẻ hơn nhiều |
| Tinh chỉnh mô hình | Có, bắt buộc | Thuê theo giờ thay vì mua |
Phép tính đáng làm trước khi thuê máy có card đồ họa: lấy số lượt gọi thật mỗi tháng nhân với chi phí gọi dịch vụ, so với chi phí thuê máy có card đồ họa cả tháng. Với đội nhỏ và tải thất thường, gọi dịch vụ gần như luôn rẻ hơn. Điểm hòa vốn chỉ đến khi máy chạy gần như liên tục.
Yếu tố ngoài chi phí
- Dữ liệu: đây là lý do chính đáng nhất để tự chạy. Nếu tài liệu nội bộ hoặc dữ liệu khách hàng không được rời khỏi hạ tầng của bạn, thì phép tính chi phí không còn quan trọng.
- Tính ổn định: tự chạy nghĩa là bạn không phụ thuộc vào việc nhà cung cấp quá tải hay đổi giá.
- Công vận hành: ngược lại, bạn chịu trách nhiệm khi nó hỏng, và không có ai để gọi.
Phần việc máy chủ thường vẫn phải làm
Kể cả khi phần sinh câu trả lời chạy trên card đồ họa hoặc trên dịch vụ ngoài, vẫn còn nhiều việc chạy trên máy chủ thường: nhận yêu cầu, xác thực người dùng, tìm kiếm tài liệu liên quan, lưu nhật ký, giới hạn tần suất, lưu đệm kết quả. Những việc này cần bộ nhớ và ổ nhanh chứ không cần card đồ họa.
# Do phan nao cham: phan tim kiem hay phan sinh cau tra loi
# Ghi lai thoi gian tung buoc trong nhat ky ung dung
# Neu phan tim kiem cham: van de o co so du lieu va o dia
psql -c "SELECT calls, round(mean_exec_time::numeric,1), left(query,60)
FROM pg_stat_statements ORDER BY mean_exec_time DESC LIMIT 5;"
iostat -x 2 10
# Neu phan sinh cau tra loi cham: van de o mo hinh, khong phai o mayBước đo này quan trọng: nhiều đội thuê máy có card đồ họa để tăng tốc, rồi phát hiện phần chậm nằm ở bước tìm kiếm tài liệu chứ không nằm ở mô hình.
Câu hỏi thường gặp
vLLM có chạy được không GPU không?
Chạy được nhưng mất hết ý nghĩa, vì nó sinh ra để tối ưu thông lượng trên GPU. Không có GPU thì dùng công cụ nhẹ hơn hợp lý hơn.
Khi nào nên thuê GPU?
Khi lượng gọi lớn và đều, hoặc khi dữ liệu bắt buộc không được gửi ra ngoài. Lượng gọi thấp thì API rẻ hơn nhiều.
VPS thường có chạy được AI không?
Chạy được phần ứng dụng: agent, MCP server, database, hàng đợi. Phần suy luận mô hình lớn thì gọi API hoặc dùng GPU.
Chi phí GPU so với API thế nào?
GPU tính theo giờ thuê nên tải không đều là lãng phí. API tính theo lượt dùng nên phù hợp khi lượng gọi thấp hoặc thất thường.
