RAG xử lý câu hỏi như thế nào?
RAG, viết tắt của retrieval-augmented generation, bổ sung nội dung riêng của tổ chức vào ngữ cảnh trả lời của mô hình. Tài liệu thường được chia thành các đoạn có thể tìm độc lập. Hệ thống truy xuất những đoạn liên quan bằng từ khóa, vector hoặc tìm kiếm kết hợp, sau đó chuyển phần phù hợp cho mô hình tạo câu trả lời. [1]
Về thiết kế, doanh nghiệp nên xem RAG là một luồng gồm tiếp nhận câu hỏi, xác định phạm vi dữ liệu, truy xuất, xếp hạng, tạo câu trả lời và trình bày căn cứ. RAG không tự sửa tài liệu sai, cũ hoặc mâu thuẫn; nếu đầu vào thiếu tin cậy, câu trả lời vẫn có thể diễn đạt thuyết phục nhưng không đúng.
RAG không phải huấn luyện lại mô hình
RAG đưa nội dung được tìm thấy vào từng lượt hỏi đáp, vì vậy tri thức phục vụ truy vấn có thể thay đổi khi nguồn dữ liệu hoặc chỉ mục được cập nhật. Huấn luyện hoặc tinh chỉnh mô hình lại giải quyết nhóm nhu cầu khác, chẳng hạn điều chỉnh hành vi, phong cách hoặc khả năng thực hiện một dạng nhiệm vụ. Hai cách có thể bổ sung cho nhau nhưng không nên bị xem là tương đương.
Ví dụ: khi nhân viên hỏi quy định nghỉ phép hiện hành, hệ thống có thể tìm đoạn tương ứng trong tài liệu nhân sự rồi tạo câu trả lời kèm căn cứ. Nếu phiên bản cũ vẫn được truy xuất hoặc bản mới chưa được đồng bộ, phần trả lời có thể sai. Gợi ý là hiển thị tên tài liệu, phiên bản và thời điểm cập nhật để người dùng kiểm tra.
Chuẩn bị dữ liệu cho truy xuất
Chất lượng RAG phụ thuộc vào nội dung phù hợp, cách chia đoạn và logic truy vấn. Tìm kiếm kết hợp có thể dùng đồng thời từ khóa và độ tương đồng vector; xếp hạng ngữ nghĩa giúp ưu tiên kết quả sát ý định. Với câu hỏi phức tạp, kiến trúc truy xuất có thể tách câu hỏi thành các truy vấn nhỏ và xử lý trên nhiều nguồn. [1]
Gợi ý: mỗi tài liệu nên có chủ sở hữu, trạng thái hiệu lực, phiên bản, ngày cập nhật, phòng ban và mức truy cập. Khi chia đoạn, cần giữ tiêu đề cùng ngữ cảnh cần thiết để nội dung không bị hiểu sai khi đứng riêng. Tài liệu trùng lặp, mâu thuẫn hoặc không rõ phiên bản nên được xử lý trước khi điều chỉnh mô hình hay tham số tìm kiếm.
Phân quyền ngay tại lớp truy xuất
Quyền của người hỏi cần được áp dụng trước khi nội dung được chuyển tới mô hình. Các cách triển khai có thể gồm lọc theo tài liệu, sử dụng siêu dữ liệu quyền và cô lập mạng. Đây là những lớp giảm thiểu rủi ro, không phải bảo đảm an toàn tuyệt đối nếu cấu hình sai, nguồn dữ liệu mở quá rộng hoặc nhật ký vận hành chứa thông tin nhạy cảm. [1]
Gợi ý: kiểm tra quyền ở từng truy vấn, giới hạn trường dữ liệu được trả về và xác định rõ thời hạn lưu nhật ký. Bộ kiểm thử nên có câu hỏi vượt quyền, yêu cầu suy diễn dữ liệu nhạy cảm và chỉ dẫn cố tình buộc hệ thống bỏ qua quy tắc. Kết quả kiểm thử cần được xem xét lại khi nguồn, quyền hoặc cấu hình truy xuất thay đổi.
Đánh giá trước khi mở rộng
NIST xem quản trị rủi ro AI là hoạt động liên quan đến thiết kế, phát triển, sử dụng và đánh giá sản phẩm, dịch vụ hoặc hệ thống AI. AI Risk Management Framework được công bố để sử dụng tự nguyện, hỗ trợ tổ chức đưa các yếu tố về độ đáng tin cậy vào quá trình quản trị thay vì chỉ kiểm tra hệ thống tại thời điểm ra mắt. [2]
Gợi ý: xây bộ câu hỏi đại diện cho từng phòng ban và chấm riêng độ đúng của đoạn được truy xuất, mức phù hợp của câu trả lời, căn cứ hiển thị, quyền truy cập và cách xử lý khi thiếu thông tin. Hệ thống nên có khả năng nói rằng chưa tìm thấy căn cứ và hướng người dùng đến đầu mối phụ trách, thay vì luôn tạo một câu trả lời hoàn chỉnh.