Bỏ qua để đến nội dung

Chẩn đoán Knowledge Base

Chẩn đoán KB giúp biết Knowledge Base của bạn “khoẻ” đến đâu — AI có truy xuất đúng Fact khi khách hỏi không.

Các chỉ số đo

Chỉ số	Ý nghĩa	Mục tiêu
Coverage (độ phủ)	KB có thông tin cho % câu hỏi thử nghiệm	>80%
Recall	AI tìm đúng Fact liên quan bao nhiêu	>90%
Precision	Fact AI dùng có đúng bao nhiêu (không nhiễu)	>85%
Grounding	AI bám KB, không bịa (KPI dashboard)	>8/10
Tone match	AI đúng giọng shop	>8/10

Chạy chẩn đoán

Agent Builder → Kiến thức → Chẩn đoán (hoặc command kb:rerank-diagnose).
Hệ thống dùng bộ câu hỏi thử nghiệm (hoặc tự nhập).
AI trả lời → chấm recall/precision.

Đọc kết quả

Coverage thấp (<60%)

KB thiếu thông tin. Fix:

Thêm nội dung cho nhóm sản phẩm/chính sách thiếu.
Xem khách hay hỏi gì mà AI “không biết” → bổ sung.

Recall thấp

AI không tìm thấy Fact dù KB có. Fix:

Fact có thể bị rejected hoặc conflict → kiểm tra status.
Thuộc tính Fact không khớp cách khách hỏi → đổi từ khóa thuộc tính.

Precision thấp

AI lấy Fact nhiễu (không liên quan). Fix:

Tách node rõ ràng (đừng gộp nhiều sản phẩm trong 1 node).
Xóa Fact cũ không còn đúng.

Grounding thấp

AI bịa ngoài KB. Fix:

Tăng strictness trong system prompt (“chỉ trả lời dựa trên knowledge, không bịa”).
Bổ sung Fact cho vùng AI hay bịa.

Dashboard KPI

Tổng quan → Bảng điều khiển có 2 sub-metric AI Quality:

Grounding X.X/10 — bám KB.
Tone match X.X/10 — đúng giọng.

Khi chưa đủ data → hiện —. Sau vài chục tin sẽ có số.

Cải thiện liên tục

Workflow đề xuất:

Chạy chẩn đoán tuần.
Xem chỉ số thấp nhất → focus cải thiện.
Thêm/sửa Fact → re-chẩn đoán.
Lặp đến khi đạt mục tiêu.

Bước tiếp theo

Duyệt Fact — giữ KB sạch.
Xử lý xung đột — giảm nhiễu.
Trợ lý AI tổng quan — KPI ở dashboard.