Vận hành model

Hãy coi trang chi tiết của model là nguồn thông tin chuẩn. Trạng thái (status) và số lượng ready replica có thể thay đổi trong quá trình cấp phát tài nguyên, khởi động lại hoặc khi áp dụng một chỉnh sửa cấu hình.

Đọc trạng thái vòng đời

Trạng thái	Ý nghĩa	Hành động tiếp theo
Pending	Yêu cầu tạo đã được tiếp nhận; chưa có runtime nào sẵn sàng	Chờ hệ thống xử lý, hoặc chọn Xóa (Delete) nếu không cần model này nữa
Scheduling	Tài nguyên runtime đang được kiểm tra cấp phát và lập lịch	Chờ hệ thống hoàn tất; xem mục Nhật ký (Logs) nếu tiến trình bị đình trệ
Warming	Trọng số và tài nguyên của model đang được tải vào bộ nhớ	Chờ đợi; thời gian khởi động phụ thuộc vào kích thước model và cấu hình phục vụ
Deploying	Tài nguyên phục vụ hoặc revision cấu hình mới đang được triển khai	Tiếp tục theo dõi trạng thái, số ready replica và Nhật ký (Logs)
Running	Route phục vụ đã được công bố	Có thể gọi endpoint; nếu trang chi tiết báo phase degraded, hãy kiểm tra số ready replica
Restarting hoặc Stopping	Một thao tác vòng đời vẫn đang chạy	Đừng chạy thêm thao tác nào có thể gây xung đột
Stopped	Runtime ngoại tuyến và không còn nhận request	Bạn có thể chọn Chỉnh sửa (Edit), Khởi động lại (Restart) hoặc Xóa (Delete)
Failed	Quá trình cấp phát hoặc một thao tác vòng đời không đạt được trạng thái mong muốn	Đọc lý do lỗi và mục Chẩn đoán triển khai (Deploy diagnostics), sau đó chọn một thao tác mà Console cho phép
Finalizing	Tiến trình route update và runtime teardown của model này đang diễn ra	Ngừng gửi traffic tới model này rồi chờ. Nếu một model khác cũng phục vụ Served Model Name này, route đó vẫn có thể gọi được
Finalized	Tiến trình route update và runtime teardown của model này đã hoàn tất	Model này không còn phục vụ request. Route cùng tên vẫn có thể gọi được thông qua model khác; hãy xóa bản ghi còn lại khi Console cho phép
Deleting	Đang xóa vĩnh viễn tài nguyên	Chờ danh sách hoặc trang chi tiết xác nhận tài nguyên đã biến mất hoàn toàn
Delete failed	Teardown gặp sự cố và chưa hoàn tất được	Kiểm tra thông báo lỗi cụ thể và thử lại thao tác Xóa (Delete)

Trước khi cho ứng dụng client gọi tới model, hãy kiểm tra đủ cả ba điều kiện sẵn sàng: trạng thái Running + có địa chỉ endpoint + lệnh cURL mẫu trong Sao chép cURL (Copy as cURL) hiển thị đầy đủ.

Scale hoặc cập nhật cấu hình

Chọn Chỉnh sửa (Edit) trên trang chi tiết của model:

• Với model single-node, đổi Replicas thành một số nguyên từ 1 trở lên.
• Với model tách prefill/decode, chỉnh riêng số replica cho prefill và cho decode.
• Thao tác scale chỉ bổ sung hoặc giảm bớt số replica tại chỗ (in place); nếu bạn chỉ đổi số replica, các replica hiện có sẽ không bị khởi động lại.
• Các thay đổi cấu hình runtime sẽ tạo revision mới và rollout lại model. Hãy đọc kỹ mô tả trong mục Cách áp dụng (How to apply) trên Console trước khi lưu; model chỉ chạy một replica có thể tạm thời không khả dụng trong lúc nạp lại.
• Nếu model đang ở trạng thái Stopped, các chỉnh sửa sẽ được lưu lại và chỉ bắt đầu có hiệu lực trong lần Khởi động lại (Restart) tiếp theo.

Quy trình chỉnh sửa hiện tại không cho phép thay đổi model nguồn được gắn kết, tên tài nguyên, Served Model Name hoặc Flavor. Hãy triển khai một model khác khi cần thay đổi một trong các giá trị này.

Đừng đổi tham số tinh chỉnh runtime, image, biến môi trường hay engine flags theo kiểu thử sai. Hãy bắt đầu từ recipe của model và dùng cấu hình đã được kiểm chứng cho đúng model và Flavor đó.

Giám sát model

Mỗi tab chức năng sẽ giúp bạn trả lời một nhóm câu hỏi cụ thể:

• Sao chép cURL (Copy as cURL) — Xem host, path và Served Model Name mà bạn có thể gọi lúc này.
• Cấu hình (Config) — Xem chi tiết cấu hình phục vụ đã yêu cầu. Thông số runtime chuyên sâu có thể chỉ hiển thị với quản trị viên catalog.
• Chỉ số (Metrics) — Theo dõi tình trạng pool theo thời gian thực, số replica sẵn sàng/mong muốn và bảng metrics hiện có.
• Nhật ký (Logs) — Xem chẩn đoán triển khai và output phục vụ. Đây là nơi đầu tiên cần kiểm tra khi trạng thái báo Failed, rollout bị kẹt hoặc hệ thống liên tục trả về mã lỗi 503.

Một panel trống không có nghĩa là model đang ổn hay đang lỗi. Hãy đối chiếu chéo giữa trạng thái, số ready replica, tính khả dụng của endpoint, kết quả xử lý request thực tế, tab Chỉ số (Metrics) và Nhật ký (Logs).

Bốn tab nằm ngay dưới card topology. Nhật ký (Logs) là nơi giải thích rõ nguyên nhân khi rollout bị kẹt hay lỗi 503 xuất hiện lặp lại.

Tạm dừng, khởi động lại hay xóa bỏ

Thao tác	Dùng khi	Kết quả
Dừng (Stop)	Bạn muốn tạm tắt model nhưng có thể sẽ dùng lại sau	Ngừng tiếp nhận request; bản ghi model và toàn bộ cấu hình vẫn được bảo lưu
Khởi động lại (Restart)	Model đang ở trạng thái Stopped, hoặc khi Console cho phép phục hồi từ Failed	Tiến trình cấp phát runtime sẽ bắt đầu lại; cần chờ cho đến khi đạt đủ điều kiện sẵn sàng
Xóa (Delete)	Bạn không cần model này nữa	Model này sẽ bị xóa bỏ. Tenant endpoint và route cùng tên có thể vẫn được giữ lại cho các model khác; hành động này không thể hoàn tác

Bạn có thể Xóa (Delete) model ngay cả khi nó vẫn đang được cấp phát tài nguyên. Ở trạng thái Pending chưa có runtime nào để dừng, nên nếu muốn hủy ngay sau khi tạo, hãy dùng Xóa (Delete) chứ không phải Dừng (Stop).

Các bước dọn dẹp

Khi không cần model nữa:

1. Lưu lại các thông tin chẩn đoán cần thiết mà bạn được phép lưu trữ.
2. Chọn Xóa (Delete) và xác nhận hành động không thể hoàn tác.
3. Chờ cho đến khi model biến mất khỏi danh sách hoặc trang chi tiết thông báo tài nguyên không còn tồn tại.
4. Kiểm tra mục Suy luận (Inference) → Khóa API (API Keys). Do Inference key được liên kết theo Served Model Name của model, nên một bản replacement tiếp tục dùng tên đó vẫn có thể dùng lại key cũ. Thao tác xóa model không revoke key; hãy chủ động thu hồi key khi bạn không muốn key đó gọi được Served Model Name này nữa.
5. Xóa bỏ endpoint và key khỏi các biến môi trường cục bộ, cấu hình ứng dụng và secret store không còn cần đến chúng.

Khi dọn dẹp, hãy xem kỹ cột Có thể gọi (Can call): cột này cho biết key còn được phép gọi tới phạm vi nào.

Nếu gặp lỗi trong các thao tác này, hãy xem Khắc phục sự cố self-hosted model.