Vận hành model

Dùng trang chi tiết của model làm source of truth. Status và ready replica count có thể thay đổi trong lúc provisioning, restarting hoặc apply một edit.

Đọc lifecycle

Status	Ý nghĩa	Action tiếp theo
Pending	Create request đã được nhận; chưa có runtime sẵn sàng	Đợi, hoặc dùng Xóa (Delete) nếu không còn cần model
Scheduling	Runtime resource đang được admit và schedule	Đợi; xem Nhật ký (Logs) nếu không còn tiến triển
Warming	Model asset đang load	Đợi; startup duration phụ thuộc model và configuration
Deploying	Serving resource hoặc revision mới đang được triển khai	Theo dõi status, ready replica và Logs
Running	Route đã được publish	Gọi endpoint; kiểm tra ready replica nếu trang báo degraded phase
Restarting hoặc Stopping	Lifecycle action vẫn đang chạy	Không gửi thêm action xung đột
Stopped	Runtime offline và không serve request	Chỉnh sửa (Edit), Khởi động lại (Restart) hoặc Xóa (Delete)
Failed	Provisioning hoặc lifecycle operation không converge	Đọc status reason và Chẩn đoán triển khai (Deploy diagnostics), rồi dùng action Console đang cho phép
Finalizing	Route update và runtime teardown của model này đang diễn ra	Ngừng gửi traffic tới model này và đợi. Nếu model khác serve cùng Served Model Name, route đó có thể vẫn callable
Finalized	Route update và runtime teardown của model này đã hoàn tất	Model này không còn serve request. Same-name route có thể vẫn callable qua model khác; delete record còn lại khi Console cho phép
Deleting	Permanent teardown đang chạy	Đợi list hoặc detail page xác nhận resource đã biến mất
Delete failed	Teardown không hoàn tất	Kiểm tra error rồi retry Xóa (Delete)

Khi rollout client, dùng readiness gate chặt: Running + có endpoint + sample Sao chép cURL đầy đủ.

Scale hoặc update configuration

Chọn Chỉnh sửa (Edit) trên trang chi tiết.

• Với model single-node, đổi Replicas thành số nguyên ít nhất 1.
• Với model prefill/decode, đổi prefill và decode replica count riêng.
• Replica-only change sẽ thêm hoặc bớt replica in place; các replica đang có không bị restart.
• Runtime change tạo revision mới và rollout model. Đọc mô tả Cách áp dụng (How to apply) trong Console trước khi save; model single-replica có thể unavailable trong lúc reload.
• Nếu model đang Stopped, edit được lưu và chỉ có hiệu lực ở lần Khởi động lại (Restart) tiếp theo.

Edit flow hiện tại không đổi bound model, resource name, Served Model Name hoặc Flavor. Hãy deploy một model khác khi cần đổi một trong các giá trị này.

Không thử runtime tuning, image, environment hoặc engine flags một cách ngẫu nhiên. Bắt đầu từ model recipe và dùng configuration đã được validate cho model cùng Flavor đó.

Observe model

Mỗi tab trả lời một nhóm câu hỏi:

• Sao chép cURL — host, path và Served Model Name hiện tại.
• Cấu hình (Config) — serving configuration đã request. Runtime detail có thể chỉ dành cho catalog admin.
• Chỉ số (Metrics) — pool health live, ready/desired replica và metrics board khả dụng.
• Nhật ký (Logs) — deploy diagnostics và serving output. Bắt đầu ở đây khi status là Failed, rollout bị kẹt hoặc liên tục nhận 503.

Một panel rỗng không chứng minh model khỏe hay lỗi. Hãy đối chiếu status, ready replica, endpoint availability, request result, Chỉ số (Metrics) và Nhật ký (Logs).

Bốn tab nằm ngay dưới card topology. Nhật ký (Logs) là nơi một rollout bị kẹt hay 503 lặp lại tự giải thích.

Stop, restart hay delete

Action	Dùng khi	Kết quả
Dừng (Stop)	Muốn model offline nhưng có thể dùng lại	Request ngừng được serve; model record và configuration vẫn còn
Khởi động lại (Restart)	Model ở Stopped, hoặc Console cho phép recovery từ Failed	Runtime provisioning bắt đầu lại; đợi đủ readiness gate
Xóa (Delete)	Không còn dùng model	Model này bị xóa. Tenant endpoint và same-name route có thể vẫn còn cho model khác; action không thể hoàn tác

Delete có thể supersede model còn đang provisioning. Pending chưa có runtime để Stop, vì vậy hãy dùng Xóa (Delete) nếu hủy ngay sau khi create.

Cleanup checklist

Khi không còn cần model:

1. Lưu diagnostic mà bạn được phép retain.
2. Chọn Xóa (Delete) và xác nhận irreversible action.
3. Đợi model biến mất khỏi list hoặc detail page báo resource không còn tồn tại.
4. Review Khóa API (API Keys). Inference key được chọn qua model này authorize Served Model Name tương ứng, nên replacement tiếp tục dùng name đó vẫn dùng được key. Delete không revoke key; hãy revoke trực tiếp khi Served Model Name đó không còn được authorize.
5. Xóa endpoint và key khỏi local environment variable, application configuration và secret store không còn cần chúng.

Cột Can call là cột cần đọc khi dọn dẹp: nó cho biết key còn authorize scope nào.

Nếu gặp lỗi trong các operation này, xem Khắc phục sự cố self-hosted model.