Chọn tác vụ có ranh giới rõ
Hãy chọn một công việc lặp lại, có đầu vào xác định và kết quả có thể kiểm tra, chẳng hạn phân loại yêu cầu hỗ trợ, trích xuất trường dữ liệu hoặc chuẩn bị bản nháp. Tránh mục tiêu chung như “tự động hóa chăm sóc khách hàng”, vì khó xác định phần nào thuộc trách nhiệm của AI và phần nào vẫn cần con người.
Gợi ý: mô tả tác vụ bằng ba thành phần gồm dữ liệu được cung cấp, hành động hệ thống được phép thực hiện và trạng thái đầu ra mong muốn. Đồng thời ghi rõ các trường hợp nằm ngoài phạm vi để nhóm triển khai không vô tình biến thử nghiệm nhỏ thành một quy trình nghiệp vụ hoàn chỉnh.
Xác lập mốc so sánh
Trước khi đưa AI vào, doanh nghiệp nên ghi nhận cách công việc đang được xử lý: thời gian hoàn thành, lỗi thường gặp, tỷ lệ phải làm lại và điểm kiểm soát của con người. Mốc này giúp phân biệt cải thiện thực tế với cảm giác hệ thống trả lời nhanh hoặc trình bày thuyết phục.
Ví dụ: với tác vụ phân loại email, có thể chuẩn bị một tập email đã được người phụ trách gắn nhãn, sau đó so sánh kết quả AI theo độ chính xác, thời gian xử lý và số trường hợp cần chuyển sang kiểm tra thủ công. Không nên chỉ chấm vài câu trả lời thuận lợi.
Thiết kế phép đánh giá phù hợp
Một phép đánh giá AI gồm đầu vào, kết quả hệ thống và logic chấm mức độ thành công. Với tác vụ nhiều bước, cần xem cả kết quả cuối lẫn việc sử dụng công cụ hoặc thay đổi trạng thái, vì sai sót ở bước trước có thể lan sang các bước sau. [2]
Gợi ý: dùng kiểm tra bằng mã cho điều kiện khách quan, tiêu chí chấm rõ ràng cho chất lượng ngôn ngữ và người đánh giá cho trường hợp cần hiểu ngữ cảnh. Tập kiểm tra nên giữ một phần tình huống cố định để phát hiện hồi quy, đồng thời bổ sung lỗi mới phát sinh trong vận hành.
Quản trị dữ liệu và rủi ro
NIST AI RMF là khung sử dụng tự nguyện nhằm đưa các yếu tố về độ tin cậy vào quá trình thiết kế, phát triển, sử dụng và đánh giá hệ thống AI. Cách tiếp cận này phù hợp với việc xem quản trị rủi ro là hoạt động xuyên suốt, thay vì một lần kiểm tra trước khi phát hành. [1]
Gợi ý: lập danh sách nguồn dữ liệu, quyền truy cập, thời hạn lưu giữ và nội dung không được gửi tới dịch vụ bên ngoài. Khi phù hợp, dùng dữ liệu thử đã loại bỏ thông tin nhạy cảm. Các biện pháp này giúp giảm rủi ro nhưng không tạo ra bảo đảm an toàn tuyệt đối.
Giữ quyền kiểm soát khi mở rộng
Trong giai đoạn đầu, nên quy định đầu ra nào chỉ mang tính gợi ý, đầu ra nào cần phê duyệt và khi nào quy trình phải dừng. Những tác vụ ảnh hưởng tới khách hàng, tài chính hoặc quyền truy cập cần có đường chuyển tiếp rõ ràng cho người chịu trách nhiệm xử lý.
Chỉ mở rộng khi kết quả lặp lại đủ ổn định trên tập kiểm tra phù hợp và nhóm vận hành hiểu cách phát hiện, sửa cũng như ghi nhận lỗi. Nếu chi phí kiểm tra vượt lợi ích của tự động hóa, lựa chọn hợp lý có thể là thu hẹp phạm vi hoặc dùng quy tắc phần mềm đơn giản hơn.