AI

Dung lượng và băng thông bộ nhớ GPU AI: đừng nhầm lẫn

Dung lượng quyết định mô hình có vừa card không, băng thông quyết định tốc độ token: vì sao 480 GB chưa chắc nhanh hơn 96 GB.

Thanh Nguyễn Đăng 7 phút đọc

Dung lượng và băng thông bộ nhớ GPU AI: đừng nhầm lẫn
Mục lục bài viết
  1. Hai con số, hai câu hỏi
  2. Ba loại bộ nhớ trên card AI
  3. Đặt các card cạnh nhau
  4. Dung lượng quyết định điều gì
  5. Băng thông quyết định điều gì
  6. Đọc D270 và RTX PRO 6000 qua hai con số
  7. Ai nên quan tâm
  8. Câu hỏi thường gặp
  9. Bài viết liên quan

Khi so card AI, phần lớn người mua chỉ nhìn một con số: bao nhiêu GB. Nhưng một kho hàng rộng mà cửa hẹp thì xuất hàng vẫn chậm. Bài này giải thích hai con số đó bằng ví dụ cụ thể.

Video ngắn: dung lượng bộ nhớ GPU quyết định mô hình có vừa hay không, băng thông quyết định tốc độ sinh token.

Hai con số, hai câu hỏi

Hình dung bộ nhớ GPU là một kho hàng. Dung lượng là diện tích kho: chứa được bao nhiêu hàng. Băng thông là độ rộng cửa kho: mỗi giây chuyển được bao nhiêu hàng ra vào. Mô hình phải nằm trọn trong kho, và mỗi lần sinh một token, GPU phải đọc lại phần trọng số đang dùng qua cánh cửa đó.

Ba loại bộ nhớ trên card AI

LoạiĐặc điểmThường thấy ở
GDDR6, GDDR7Nhanh trên mỗi chip, dung lượng mỗi chip nhỏ, khó nhồi nhiều GB lên một cardCard máy trạm: Arc Pro B70, RTX PRO 6000
LPDDR5XDung lượng mỗi chip lớn, tốn ít điện, băng thông mỗi chip thấp hơnIntel GPU D270
HBM3, HBM3eChip xếp chồng, băng thông rất cao, đắt và nguồn cung hạn chếCard máy chủ: NVIDIA H200, B200

Theo ServeTheHome ngày 12/10/2026, card Intel dùng 20 chip 8 GB để có 160 GB, bản ODM dùng chip 24 GB để lên 480 GB.

Đặt các card cạnh nhau

CardBộ nhớBăng thôngCông suất
Intel Arc Pro B6024 GB GDDR6456 GB/s120-200 W
Intel Arc Pro B7032 GB GDDR6608 GB/s160-290 W
NVIDIA RTX PRO 6000 Blackwell96 GB GDDR7khoảng 1,8 TB/s600 W
Intel GPU D270160 GB LPDDR5X (ODM tới 480 GB)1,5 TB/s350 W
NVIDIA H200141 GB HBM3e4,8 TB/s700 W
NVIDIA B200180 GB HBM3ekhoảng 8 TB/s1.000 W

Nguồn bảng, tra ngày 18/11/2026: Arc Pro theo Intel ARK; D270 theo ServeTheHome (12/10/2026); RTX PRO 6000, H200 theo bảng so sánh của Akash Network (2026); B200 theo NeevCloud và getdeploying (2026). RTX PRO 6000 bản Workstation được ghi 1.792 GB/s, một số bảng ghi bản Server Edition 1.597 GB/s.

Dung lượng quyết định điều gì

Thứ nhất là mô hình có vừa hay không. Cách ước lượng nhanh: số tham số nhân với số byte mỗi tham số. Mô hình 70 tỷ tham số ở FP16 (2 byte) cần khoảng 140 GB chỉ riêng trọng số. Lượng tử hóa xuống 4 bit thì còn khoảng 35 tới 40 GB. Đây là ước lượng, chưa tính phần phụ trội. Về lượng tử hóa, xem bài Ollama cần bao nhiêu RAM.

Thứ hai là ngữ cảnh và số phiên. Mỗi phiên trò chuyện giữ một bộ đệm KV trong bộ nhớ GPU, ngữ cảnh càng dài bộ đệm càng lớn. Phục vụ 30 người cùng lúc cần chỗ cho 30 bộ đệm. Đây là nơi 160 GB hay 480 GB phát huy: không để chạy nhanh hơn, mà để chứa được nhiều hơn trên một card.

Băng thông quyết định điều gì

Khi sinh token, GPU đọc phần trọng số đang hoạt động một lượt cho mỗi token. Từ đó có một mức trần lý thuyết cho một luồng đơn: băng thông chia cho dung lượng phần trọng số phải đọc.

  • Arc Pro B70 với mô hình dày 27B lượng tử hóa 4 bit (khoảng 16 GB): trần là 608 chia 16, tức khoảng 38 token/giây. Số đo thực tế thấp hơn: 13 tới 22 token/giây theo TeksEdge (04/2026).
  • D270 với mô hình 70B ở FP16 (khoảng 140 GB): mô hình vừa trong card 160 GB, nhưng trần chỉ khoảng 1.500 chia 140, tức gần 11 token/giây cho một luồng. Vừa, nhưng không nhanh.
  • Mô hình kiểu MoE: mỗi token chỉ kích hoạt một phần nhỏ trọng số nên ít bị nghẽn băng thông. Trên một card B70, Qwen3.6-35B-A3B lượng tử hóa 4 bit đạt 76 token/giây với llama.cpp Vulkan, theo số đo của Jonathan Mann (22/06/2026).

Mức trần là ước tính, không phải số đo: hai phép chia ở trên chỉ cho biết giới hạn trên theo lý thuyết của một luồng đơn. Tốc độ thật còn phụ thuộc sức tính và phần mềm, và luôn thấp hơn. Khi chạy nhiều phiên theo lô, tổng token mỗi giây tăng lên vì một lượt đọc trọng số phục vụ được nhiều phiên.

Điều này lý giải vì sao Intel định vị D270 cho nhiều phiên và ngữ cảnh dài, và vì sao bài đo AI Intel công bố ngày 16/11/2026 dùng một mô hình MoE, xem bài đọc đúng con số 5,9 lần.

Đọc D270 và RTX PRO 6000 qua hai con số

Về dung lượng, D270 hơn rõ: 160 GB so với 96 GB. Về băng thông, hai card gần ngang nhau. Với mô hình đã vừa trong 96 GB, đừng kỳ vọng D270 sinh token nhanh hơn nhờ bộ nhớ. Lợi thế của nó nằm ở mô hình không vừa 96 GB, ở số phiên, và ở mức 350 W. So với H200 hay B200 dùng HBM, D270 thua từ 3 tới 5 lần về băng thông. Thông số đầy đủ nằm ở bài Intel GPU D270 là gì.

Ai nên quan tâm

Doanh nghiệp mua máy chủ GPU AI: bắt đầu từ ba câu hỏi: mô hình nào, độ chính xác nào, bao nhiêu người dùng cùng lúc. Tính dung lượng trước, rồi mới xét băng thông. Xem thêm bài chọn card suy luận cho máy chủ 8 GPU.

Người chạy local LLM, Stable Diffusion, ComfyUI: Arc Pro B70 32 GB chứa được mô hình lớn nhưng chat đơn với mô hình dày vẫn chậm, đúng như hai con số trên dự báo. Số đo nằm ở bài Arc Pro B70 chạy local LLM, cách chọn card theo VRAM ở bài chọn B50, B60 hay B70. Tại TND, Arc Pro B70 32 GB có giá 58.990.000đ đã bao gồm VAT, hiện chưa có hàng sẵn, nhận đặt hàng. Xem thêm bài trụ toàn cảnh GPU Intel 2026.

Câu hỏi thường gặp

VRAM nhiều hơn có làm AI chạy nhanh hơn không?

Không trực tiếp. Dung lượng lớn hơn giúp chạy được mô hình to hơn, ngữ cảnh dài hơn và nhiều phiên hơn. Với mô hình đã vừa, tốc độ sinh token phụ thuộc băng thông bộ nhớ và sức tính của card.

Vì sao Intel dùng LPDDR5X thay vì HBM cho D270?

LPDDR5X cho dung lượng lớn trên mỗi chip, ít điện và dễ mua hơn HBM. Đổi lại băng thông chỉ 1,5 TB/s, so với 4,8 TB/s của H200. Đây là lựa chọn ưu tiên dung lượng và điện năng hơn tốc độ một luồng.

Chạy Stable Diffusion thì nên nhìn con số nào?

Trước hết là dung lượng, vì mô hình ảnh và video phải vừa trong VRAM. Sau đó tốc độ tạo ảnh phụ thuộc nhiều vào sức tính và phần mềm hơn là băng thông bộ nhớ.

Chia sẻ:Facebook

Thanh Nguyễn

TND

Tư vấn bản quyền, VPS và máy chủ kèm hóa đơn VAT, hợp đồng đầy đủ cho doanh nghiệp.