Triển khai model đầu tiên

Hướng dẫn này giúp bạn triển khai một model và theo dõi cho tới khi tenant endpoint sẵn sàng định tuyến request tới Served Model Name của model đó. Trước khi bắt đầu, hãy hoàn tất các điều kiện tiên quyết của self-hosted models.

Triển khai mô hình mở (Open model)

Cách nhanh nhất là sử dụng một public repository từ Hugging Face. Nếu bạn đã có một phiên bản model hoàn thiện (finalized) trong mục Mô hình (Models), hãy làm theo các bước dưới đây nhưng chọn Mô hình của bạn (Your models).

1. Kiểm tra region và Inference GPU quota.

   Kiểm tra region trên thanh tiêu đề (header) của Console, rồi mở Hạn mức (Quotas). Đảm bảo phần phân bổ cho Suy luận (Inference) có đủ GPU capacity cho Flavor bạn định dùng.

   Nếu nút Triển khai mô hình (Deploy model) ở trạng thái read-only, hãy hoàn tất quy trình yêu cầu quota theo hướng dẫn trên Console trước khi tiếp tục. Khi chưa được phân bổ GPU, các thao tác cần GPU sẽ bị vô hiệu hóa, nhưng Xóa (Delete) vẫn dùng được để giải phóng GPU capacity hiện có.

   

   Xem dòng Suy luận (Inference) ứng với GPU family mà Flavor của bạn cần. Nếu dòng đó bằng 0, nút Triển khai mô hình (Deploy model) sẽ ở trạng thái read-only.

2. Mở form triển khai model.

   Truy cập Suy luận (Inference) → Mô hình tự lưu trữ (Self-hosted Models) → Triển khai mô hình (Deploy model), sau đó chọn Mô hình mở (Open model).

   

   Mỗi model một dòng. Cột Serving mới là Served Model Name mà client gửi lên — không phải cột Tên (Name).

3. Chọn nguồn model.

   Cách dễ nhất là chọn một model trong mục Bắt đầu nhanh (Quick start). Preset sẽ tự điền repository Hugging Face, Served Model Name và các giá trị mặc định riêng cho model mà preset đó cung cấp (nếu có).

   Bạn cũng có thể tự nhập một public repository vào trường Mô hình HuggingFace (HuggingFace model) theo đúng định dạng owner/name, ví dụ Qwen/Qwen3-32B.

   Nếu muốn phục vụ model từ model registry của riêng bạn, hãy chuyển sang tab Mô hình của bạn (Your models) rồi chọn model và một phiên bản đã hoàn thiện, sẵn sàng phục vụ. Nếu chưa thấy phiên bản cần dùng, hãy quay lại mục Mô hình (Models) và chờ phiên bản đó hoàn thiện xong; checkpoint đang tải lên hoặc checkpoint phân tán thô (raw distributed checkpoint) thì chưa phục vụ được.

4. Kiểm tra các trường cấu hình phục vụ.

   Trường	Cách chọn
   Tên (Name)	Tên dễ đọc của tài nguyên, dùng để hiển thị trong danh sách Mô hình tự lưu trữ.
   Tên Served Model (Served Model Name)	Chuỗi định danh chính xác mà client sẽ gửi trong trường model của request body. Hãy lưu lại giá trị này cùng với endpoint.
   Flavor	Bắt buộc. Chọn một Flavor khả dụng. Một số preset trong Bắt đầu nhanh (Quick start) sẽ điền sẵn giá trị khuyến nghị; nếu có, hãy giữ nguyên trừ khi capacity plan của bạn cần Flavor khác.
   Replicas	Không bắt buộc. Nếu nhập, giá trị phải là số nguyên từ 1 trở lên. Dùng 1 cho lần triển khai đầu tiên trừ khi capacity plan yêu cầu nhiều replica hơn.

   Model bạn chọn sẽ quyết định recipe phục vụ, hiển thị trong phần Recipe này chạy với những gì (What this recipe runs with, chỉ để tham khảo). Hãy giữ nguyên các trường tùy chọn Server image, Biến môi trường (Environment) và Cờ engine (Engine flags) trừ khi bạn đã có cấu hình được kiểm chứng (validated) cho model này.

   

   Served Model Name là trường duy nhất mà client nhìn thấy. Tên (Name) chỉ là tên hiển thị của resource trong danh sách.

5. Gửi yêu cầu triển khai một lần.

   Kiểm tra lại nguồn model và mọi giá trị cấu hình, sau đó chọn Triển khai mô hình (Deploy model). Quá trình triển khai sẽ chạy bất đồng bộ; thông báo thành công lúc đầu chỉ cho biết hệ thống đã nhận yêu cầu, chứ chưa có nghĩa là model đã sẵn sàng nhận request.

6. Theo dõi cho tới khi model sẵn sàng phục vụ.

   Mở trang chi tiết của model vừa tạo và theo dõi tiến trình trạng thái:

   Pending → Scheduling → Warming → Deploying → Running

   Lưu ý: Không phải model nào cũng hiển thị đủ mọi trạng thái trung gian ở trên. Chỉ tiếp tục khi cả ba điều kiện sau đều đúng:

   • Trạng thái hiển thị là Running;
   • Trang chi tiết hiển thị đầy đủ địa chỉ Endpoint; và
   • Tab Sao chép cURL (Copy as cURL) hiển thị lệnh cURL hoàn chỉnh, không còn dòng placeholder báo endpoint chưa khả dụng.

   Nếu trạng thái chuyển sang Failed, hãy mở mục Nhật ký (Logs) và xem kỹ phần Chẩn đoán triển khai (Deploy diagnostics) trước khi quyết định khởi động lại, chỉnh sửa hay xóa model.

   

   Đủ cả ba điều kiện trên cùng một màn hình — trạng thái Running, đã có endpoint và lệnh cURL không còn placeholder nào.

Các thông số cần lưu lại

Hãy lưu hai giá trị dưới đây cùng nhau trong cấu hình ứng dụng của bạn:

• Endpoint từ trang chi tiết; và
• Served Model Name chính xác.

Đừng tự suy ra hai giá trị này từ tên tài nguyên của model hoặc từ repository Hugging Face. Lệnh cURL mẫu do Console tạo là nguồn chuẩn xác nhất cho host, path và chuỗi model.

Các thông số có thể thay đổi sau này

Nút Chỉnh sửa (Edit) cho phép thay đổi số lượng replica và các cấu hình runtime được hỗ trợ. Trong luồng chỉnh sửa hiện tại, tên tài nguyên, model nguồn đã gắn, Served Model Name và Flavor là phần định danh của model nên chỉ hiển thị ở dạng chỉ đọc (read-only). Muốn đổi một trong các giá trị này, hãy triển khai một model khác.

Bước tiếp theo: tạo Inference key và gọi endpoint.