Token không phải toàn bộ chi phí
Với mô hình ngôn ngữ, lượng token đầu vào và đầu ra thay đổi theo độ dài tài liệu, lịch sử hội thoại, chỉ dẫn hệ thống và nội dung được sinh. Dự toán vì thế nên tách theo loại tác vụ, chẳng hạn hỏi đáp ngắn, tóm tắt hồ sơ dài hoặc tạo nội dung hàng loạt, thay vì lấy một yêu cầu trung bình nhân với tổng số người dùng.
Gợi ý: ghi nhận token theo tính năng, phòng ban, môi trường và phiên bản mô hình; đồng thời đặt giới hạn đầu vào, đầu ra theo nhu cầu nghiệp vụ. Ví dụ: hệ thống tra cứu nội bộ chỉ gửi các đoạn tài liệu liên quan thay vì đưa toàn bộ tài liệu và lịch sử trò chuyện vào mỗi yêu cầu.
Tính cả hạ tầng bao quanh mô hình
Chi phí còn phát sinh từ lưu trữ, tìm kiếm, cơ sở dữ liệu, truyền dữ liệu, hàng đợi, xử lý nền, quan sát hệ thống và nhân sự vận hành. Microsoft lưu ý rằng lựa chọn tự xây hay mua, công nghệ, mô hình tính phí, cấp phép, đào tạo và vận hành đều có tác động tài chính trực tiếp hoặc gián tiếp. [1]
Gợi ý: lập bản đồ chi phí cho một giao dịch nghiệp vụ hoàn chỉnh, từ lúc nhận dữ liệu đến khi trả kết quả và lưu nhật ký. Bản đồ này nên phân biệt khoản tăng theo lượt dùng, khoản tương đối cố định và khoản phát sinh từ yêu cầu về độ trễ, bảo mật, khả năng mở rộng hoặc phục hồi.
Gắn ngân sách với giá trị nghiệp vụ
Hệ thống tối ưu chi phí không nhất thiết là hệ thống rẻ nhất. Theo nguyên tắc của Microsoft, quyết định kiến trúc cần xét mục tiêu kinh doanh, ROI và giới hạn tài chính, cùng sự đánh đổi giữa chi phí với bảo mật, khả năng mở rộng, khả năng vận hành và khả năng phục hồi. [1]
Gợi ý: theo dõi chi phí cho một kết quả có ý nghĩa, như một hồ sơ được xử lý, một yêu cầu được giải quyết hoặc một bản nháp được chấp nhận. Chỉ số token vẫn cần thiết để tìm nguyên nhân tiêu thụ, nhưng riêng nó không phản ánh chất lượng đầu ra hay lượng công việc thực sự được giảm.
Kiểm soát ngân sách theo nhiều lớp
Gợi ý: thiết lập ngân sách theo tính năng hoặc đơn vị sử dụng, cảnh báo khi tốc độ chi tiêu bất thường và quy trình xem xét khi vượt ngưỡng. Có thể dùng giới hạn mềm để cảnh báo trước; giới hạn cứng chỉ nên áp dụng cho tác vụ có thể dừng mà không làm gián đoạn quy trình quan trọng. Mọi thay đổi về mô hình, prompt, kích thước ngữ cảnh hoặc lưu lượng cần được đánh giá lại.
NIST mô tả AI RMF là khung sử dụng tự nguyện, hỗ trợ đưa các yếu tố về độ tin cậy vào thiết kế, phát triển, sử dụng và đánh giá hệ thống AI. Gợi ý: khi giảm chi phí, doanh nghiệp cần xem việc cắt kiểm thử, giám sát hoặc kiểm soát dữ liệu có đẩy rủi ro vượt mức chấp nhận hay không; biện pháp kiểm soát chỉ giúp giảm rủi ro, không bảo đảm an toàn tuyệt đối. [2]
Theo dõi và điều chỉnh theo chu kỳ
Kiến trúc, yêu cầu kinh doanh, tải công việc thực tế và mô hình thanh toán có thể thay đổi theo thời gian. Microsoft khuyến nghị theo dõi định kỳ chi phí cùng xu hướng ROI, rồi xem xét lại các yêu cầu chức năng và phi chức năng khi cần. [1]
Gợi ý: bảng theo dõi nên kết hợp chi phí, lưu lượng, độ trễ, tỷ lệ lỗi và chỉ số chất lượng đầu ra. Mỗi lần phát hành cần có mốc so sánh trước và sau để xác định mức tăng đến từ lưu lượng, độ dài ngữ cảnh, lựa chọn mô hình, truy xuất dữ liệu hay hạ tầng, qua đó tránh tối ưu một chỉ số nhưng làm suy giảm toàn bộ dịch vụ.