Triển khai model đầu tiên

Guide này deploy một model và dừng khi tenant endpoint đã route được request tới Served Model Name tương ứng. Hãy hoàn tất prerequisites của self-hosted models trước.

Deploy một open model

Flow ngắn nhất dùng public Hugging Face repository. Nếu đã có finalized model version trong Mô hình (Models), hãy làm theo cùng các bước nhưng chọn Mô hình của bạn (Your models).

1. Xác nhận region và Inference GPU quota.

   Kiểm tra region trong Console header, sau đó mở Hạn mức (Quotas). Xác nhận Inference allocation có GPU capacity phù hợp với Flavor bạn định dùng.

   Nếu Triển khai mô hình (Deploy model) ở trạng thái read-only, hãy hoàn tất quota-request hand-off mà Console hiển thị trước khi tiếp tục; khi chưa có allocation, GPU-backed action sẽ disabled nhưng Xóa (Delete) vẫn khả dụng để giải phóng capacity đang có.

   

   Đọc dòng Inference của GPU family mà Flavor bạn cần. Dòng bằng 0 chính là lý do Deploy bị read-only.

2. Mở deploy form.

   Vào Self-hosted models → Triển khai mô hình (Deploy model), rồi chọn Mô hình mở (Open model).

   

   Mỗi model một dòng. Cột Serving mới là Served Model Name mà client gửi lên — không phải cột Name.

3. Chọn model source.

   Để deploy dễ nhất, chọn một model trong Bắt đầu nhanh (Quick start). Preset sẽ điền Hugging Face repository, Served Model Name và các model-specific default mà preset đó cung cấp.

   Bạn cũng có thể nhập public repository vào Mô hình HuggingFace theo đúng dạng owner/name, ví dụ Qwen/Qwen3-32B.

   Để serve model trong registry, chuyển sang Mô hình của bạn và chọn model cùng với một finalized, servable version. Nếu version chưa xuất hiện, quay lại Mô hình và đợi finalization; checkpoint còn upload hoặc raw distributed checkpoint chưa thể serve.

4. Review các serving field.

   Field	Cách chọn
   Tên (Name)	Tên resource hiển thị trong danh sách Self-hosted models.
   Tên Served Model (Served Model Name)	String chính xác client sẽ gửi trong field model của request body. Hãy lưu cùng endpoint.
   Flavor	Bắt buộc. Chọn một Flavor khả dụng. Một số preset trong Bắt đầu nhanh (Quick start) sẽ điền recommended value; nếu có, hãy giữ nguyên trừ khi capacity plan yêu cầu Flavor khác.
   Replicas	Không bắt buộc. Nếu nhập, giá trị phải là số nguyên ít nhất 1. Dùng 1 cho lần deploy đầu tiên trừ khi capacity plan yêu cầu nhiều replica hơn.

   Model quyết định serving recipe trong Recipe này chạy với những gì (What this recipe runs with, chỉ mang tính tham khảo). Giữ nguyên các optional field Server image, Biến môi trường (Environment) và Cờ engine (Engine flags) nếu bạn chưa có configuration đã được validate cho model này.

   

   Served Model Name là field duy nhất client nhìn thấy. Name chỉ là cách resource được liệt kê.

5. Submit một lần.

   Review source và mọi giá trị, sau đó chọn Triển khai mô hình (Deploy model). Submission bắt đầu một deploy bất đồng bộ; success notification chỉ có nghĩa request đã được nhận, chưa có nghĩa model gọi được.

6. Đợi readiness gate.

   Mở model vừa tạo và theo dõi status:

   Pending → Scheduling → Warming → Deploying → Running

   Không phải model nào cũng hiển thị mọi intermediate status. Chỉ đi tiếp khi đủ ba điều kiện:

   • status là Running;
   • trang chi tiết có Endpoint; và
   • Sao chép cURL hiển thị command đầy đủ thay vì unavailable placeholder.

   Nếu model chuyển sang Failed, mở Nhật ký (Logs) và đọc Chẩn đoán triển khai (Deploy diagnostics) trước khi quyết định restart, edit hoặc delete.

   

   Cả ba điều kiện trong một màn hình — status Running, có endpoint, và lệnh cURL không còn placeholder nào.

Giá trị cần lưu

Lưu hai giá trị này cùng nhau trong application configuration:

• endpoint từ trang chi tiết; và
• Served Model Name chính xác.

Không tự suy ra hai giá trị này từ resource name của model hoặc từ Hugging Face repository. Generated cURL là nguồn tin chuẩn cho host, path và string model.

Giá trị có thể đổi sau

Chỉnh sửa (Edit) có thể đổi replica count và supported runtime configuration. Resource name, bound model, Served Model Name và Flavor hiển thị dưới dạng read-only identity trong edit flow hiện tại. Nếu cần đổi một trong các giá trị này, hãy deploy một model khác.

Bước tiếp theo: tạo Inference key và gọi endpoint.