Trả lời nhanh: Chia dữ liệu làm ba tầng theo tần suất truy cập. Tầng nóng nằm trên ổ nhanh cho thứ dùng hằng ngày. Tầng ấm trên ổ dung lượng lớn cho thứ thỉnh thoảng cần. Tầng lạnh trên kho rẻ nhất cho thứ giữ vì nghĩa vụ. Chi phí mỗi terabyte chênh nhau nhiều lần giữa các tầng.
Phần lớn doanh nghiệp để mọi thứ trên cùng một loại ổ, và điều đó nghĩa là bạn đang trả giá ổ nhanh cho những tệp không ai mở suốt ba năm. Bài này chỉ cách chia dữ liệu và mức tiết kiệm thực tế.
Ba tầng và đặc tính
Tầng nóng. Ổ NVMe hoặc SSD doanh nghiệp. Độ trễ thấp nhất, đắt nhất trên mỗi terabyte. Dành cho cơ sở dữ liệu, đĩa máy ảo đang chạy, tệp đang được làm việc hằng ngày.
Tầng ấm. Ổ cơ dung lượng lớn. Rẻ hơn nhiều lần, đủ nhanh cho việc mở tệp thỉnh thoảng. Dành cho kho tài liệu chung, bản ghi camera trong vài tháng gần đây, bản sao lưu gần đây.
Tầng lạnh. Kho lưu trữ đối tượng giá rẻ hoặc băng từ. Rẻ nhất trên mỗi terabyte nhưng lấy dữ liệu ra chậm và một số dịch vụ tính phí theo lượng tải về. Dành cho hồ sơ giữ vì nghĩa vụ pháp lý, dữ liệu dự án đã đóng, bản sao lưu cũ.
Quy luật chung quan sát được ở phần lớn doanh nghiệp: phần lớn dung lượng nằm ở nhóm dữ liệu rất ít khi được mở lại, trong khi phần dữ liệu thực sự dùng hằng ngày lại chiếm tỉ lệ nhỏ. Đó chính là cơ hội tiết kiệm.
Phân loại dữ liệu của bạn
Bốn bước để biết mình đang ở đâu.
- Liệt kê các nhóm dữ liệu và dung lượng từng nhóm: cơ sở dữ liệu, đĩa máy ảo, tài liệu chung, bản ghi camera, kho ảnh, bản sao lưu.
- Với mỗi nhóm, hỏi lần cuối truy cập là bao giờ. Có công cụ quét thư mục và thống kê theo thời điểm truy cập gần nhất.
- Xếp nhóm vào tầng theo kết quả.
- Tính chênh lệch chi phí giữa cách để tất cả trên một tầng và cách phân tầng.
Kết quả thường gây bất ngờ, nhất là với bản ghi camera và kho ảnh sản phẩm, hai nhóm chiếm dung lượng lớn nhưng gần như không bao giờ được mở lại sau vài tháng.
Cách chuyển tầng
Thủ công theo lịch. Đơn giản nhất: mỗi quý, chuyển dữ liệu cũ hơn một mốc nhất định xuống tầng thấp hơn. Viết một tác vụ tự động và chạy vào cuối tuần. Cách này đủ cho phần lớn doanh nghiệp.
Tự động ở tầng hệ thống lưu trữ. Một số hệ thống có cơ chế phân tầng tích hợp: dữ liệu ít đọc tự được đẩy xuống ổ chậm hơn, dữ liệu nóng lên thì kéo lại. Trong suốt với người dùng, nhưng cấu hình phức tạp hơn.
Chính sách vòng đời của dịch vụ đám mây. Các kho lưu trữ đối tượng thường cho phép đặt quy tắc dạng dữ liệu quá bao nhiêu ngày thì tự chuyển sang lớp lưu trữ rẻ hơn. Cấu hình một lần rồi quên, rất hiệu quả cho bản sao lưu.
Điều quan trọng dù chọn cách nào: người dùng phải biết dữ liệu cũ nằm ở đâu và lấy lại bằng cách nào, nếu không họ sẽ tưởng nó đã mất.
Bẫy của tầng lạnh
Tầng lạnh rất rẻ về dung lượng nhưng có bốn chi phí ẩn cần biết trước.
- Phí tải dữ liệu ra. Nhiều dịch vụ đám mây lưu trữ rẻ nhưng tính phí khi bạn tải về. Với một lần khôi phục lớn, khoản này có thể đáng kể.
- Thời gian chờ. Một số lớp lưu trữ siêu rẻ cần vài giờ mới lấy được dữ liệu. Không phù hợp nếu bạn cần phục hồi nhanh.
- Thời gian lưu tối thiểu. Một số lớp tính phí như thể bạn lưu đủ một khoảng thời gian tối thiểu, kể cả khi bạn xóa sớm.
- Chi phí thao tác. Tính theo số lần yêu cầu. Với hàng triệu tệp nhỏ, khoản này không nhỏ. Nên gộp thành gói lớn trước khi đẩy lên.
Vì vậy tầng lạnh hợp với dữ liệu bạn gần như chắc chắn không cần lấy ra, và nếu cần thì chấp nhận chờ.
Phân tầng cho bản sao lưu
Đây là nơi phân tầng phát huy tác dụng rõ nhất, vì bản sao lưu có vòng đời rất tự nhiên.
Một chính sách mẫu:
- Bản của hai tuần gần nhất: để trên máy lưu trữ nội bộ, ổ dung lượng lớn. Đây là nơi bạn phục hồi trong chín mươi phần trăm trường hợp và tốc độ mạng nội bộ giúp việc đó nhanh.
- Bản của hai tháng gần nhất: đẩy lên kho đám mây lớp tiêu chuẩn.
- Bản hằng tháng giữ một năm: chuyển sang lớp lưu trữ rẻ, chấp nhận chờ khi cần lấy.
- Bản giữ vì nghĩa vụ pháp lý: lớp rẻ nhất, và cân nhắc bật khóa chống xóa cho tới hết thời hạn.
Cách này giữ nguyên khả năng phục hồi nhanh cho các tình huống thường gặp, trong khi chi phí lưu trữ dài hạn giảm rất đáng kể.
Phân loại dữ liệu của bạn trong một buổi
| Câu hỏi | Nếu trả lời là | Thì xếp vào tầng |
|---|---|---|
| Lần cuối tệp này được mở là khi nào | Trong tháng qua | Tầng nóng |
| Từ ba tới mười hai tháng trước | Tầng ấm | |
| Trên một năm, giữ vì lý do lưu trữ hồ sơ | Tầng lạnh | |
| Nếu cần lấy lại, bạn chờ được bao lâu | Phải có ngay | Tầng nóng |
| Chờ được vài giờ | Tầng lạnh vẫn ổn |
Phí lấy dữ liệu ra, chỗ dễ bất ngờ
Tầng lạnh rẻ ở phần lưu trữ nhưng thường tính phí khi lấy dữ liệu ra, và có nơi tính cả phí cho việc lấy ra sớm hơn thời gian cam kết. Một lần khôi phục lớn có thể tốn nhiều hơn cả năm tiền lưu trữ. Vì thế trước khi đẩy dữ liệu xuống tầng lạnh, hãy hỏi rõ ba con số: phí lưu mỗi tháng, phí lấy ra trên mỗi đơn vị dung lượng, và thời gian tối thiểu phải lưu trước khi được xóa hoặc chuyển đi mà không bị phạt.
Cách chuyển tầng mà không gây rắc rối
# Nguyen tac: chuyen theo QUY TAC TU DONG, khong chuyen bang tay# Chuyen bang tay se dung lai sau vai thang va khong ai nho quy tac cu # Vi du quy tac don gian:# - Tep khong duoc mo trong 12 thang: chuyen xuong tang lanh# - Tep trong thu muc du an da dong: chuyen ngay khi dong du an# - Ban sao luu cu hon 90 ngay: chuyen xuong tang lanh # Truoc khi bat quy tac tu dong, chay thu o che do CHI LIET KE# de xem no se dong toi nhung tep nao:find /du-lieu -type f -atime +365 | head -n 50find /du-lieu -type f -atime +365 | wc -ldu -sh $(find /du-lieu -type f -atime +365 | head -n 1000) 2>/dev/null | tail -n 1 # Luu y ky thuat: nhieu he thong tep tat viec ghi lai thoi diem# truy cap cuoi de tang toc do. Neu the, ket qua o tren khong dung.# Kiem tra truoc khi tin vao con so. # Luon giu mot ban danh muc: tep nao da chuyen xuong dau.# Khong co danh muc thi sau nay khong ai biet du lieu nam o dau.Bản sao lưu nào để nóng, bản nào để lạnh
- Bản sao lưu gần nhất phải ở tầng nóng. Đây là bản bạn dùng trong chín mươi phần trăm tình huống, và bạn cần nó ngay.
- Bản sao lưu cũ hơn ba tháng có thể xuống tầng lạnh, vì bạn hiếm khi cần và khi cần thì chờ được.
- Đừng đẩy toàn bộ bản sao lưu xuống tầng lạnh để tiết kiệm. Lúc cần khôi phục gấp, thời gian chờ lấy dữ liệu ra là thời gian công ty ngừng hoạt động.
Câu hỏi thường gặp
Doanh nghiệp nhỏ có cần phân tầng không
Nếu tổng dung lượng dưới vài terabyte thì chênh lệch chi phí chưa đủ bù công sức. Từ vài chục terabyte trở lên, nhất là khi có bản ghi camera hoặc kho ảnh video, việc phân tầng bắt đầu tiết kiệm rõ.
Người dùng có thấy khác biệt không
Với tầng nóng và ấm thì gần như không, chênh lệch chỉ tính bằng phần giây khi mở tệp. Với tầng lạnh thì có, và cần thông báo rõ cho người dùng biết dữ liệu cũ cần thời gian lấy về.
Nén và loại bỏ trùng lặp có thay được phân tầng không
Không, hai thứ bổ sung cho nhau. Nén giảm dung lượng thật của dữ liệu, phân tầng đưa dữ liệu ít dùng sang môi trường rẻ hơn. Kết hợp cả hai cho hiệu quả cao.
Băng từ còn dùng được không
Còn, và với dung lượng rất lớn thì chi phí mỗi terabyte vẫn thấp nhất, đồng thời băng cất trong tủ thì mã độc không chạm tới được. Nhược điểm là cần thiết bị đọc ghi và quy trình quản lý, nên chỉ hợp lý từ quy mô lớn trở lên.