Lewati ke isi

Knowledge Gaps — Identifikasi Kekurangan KB Secara Proaktif

Purpose

Halaman ini menjelaskan cara menggunakan Knowledge Gaps untuk menemukan area dimana chatbot tidak bisa menjawab pertanyaan user dengan baik. Sistem otomatis menganalisis percakapan dan mengelompokkan pertanyaan yang belum terjawab ke dalam 3 tipe gap, masing-masing dengan usulan perbaikan.

Ini adalah tool proaktif — bukan menunggu complaint, tapi mendeteksi pola dari percakapan nyata.

Prerequisites

  • Role super_admin, system_admin, atau faculty_admin
  • Minimal 1 minggu data percakapan (supaya pattern bermakna)
  • Pemahaman dasar tentang FAQ, KB documents, dan intent rules

Konsep: 3 tipe gap

Tipe Arti Contoh
Content Pertanyaan yang perlu info baru di KB "Biaya per SKS Kedokteran?" — KB belum ada detail
Data Info ada tapi retrieval missing "Kontak UPH Medan" — chunks ada tapi query tidak match
Action User mau melakukan sesuatu, bot tidak punya handler "Mau upload dokumen" — butuh intent rule baru

Setiap gap punya suggested_fix text dari analisis otomatis.

Steps

1. Buka dashboard gaps

Sidebar: KNOWLEDGE → Gaps (atau via /knowledge/gaps).

Halaman menampilkan tab status: - New: gaps baru terdeteksi (perlu review) - Accepted: gaps yang sudah diakui, sedang diperbaiki - Resolved: gaps yang sudah diperbaiki - Dismissed: gaps yang diputuskan tidak perlu ditindaklanjuti - All: semua

2. Review gap baru

Klik tab New. Kartu gap menampilkan:

Text Only
 ┌─ Gap #142 ─────────────────────────────────────────┐
 │ [CONTENT]  ⓘ 5 conversations asked about this     │
 │                                                    │
 │ Title: Biaya kuliah Kedokteran per SKS             │
 │                                                    │
 │ Sample questions:                                  │
 │  • Berapa biaya Kedokteran per SKS?                │
 │  • Per SKS harganya berapa untuk Kedokteran UPH?   │
 │  • Kedokteran UPH per SKS-nya berapa?              │
 │                                                    │
 │ Suggested fix:                                     │
 │   Add KB document explaining Medicine fee          │
 │   structure — SPT + BPP per semester vs per-SKS    │
 │   breakdown (if available).                        │
 │                                                    │
 │ [Accept] [Dismiss] [View Conversations →]          │
 └────────────────────────────────────────────────────┘

3. Putuskan tindakan

Accept — kamu setuju ini gap nyata dan akan diperbaiki. Gap masuk ke tab "Accepted" untuk ditindaklanjuti nanti.

Dismiss — gap tidak perlu diperbaiki (misal: pertanyaan di luar scope UPH, atau konteksnya sudah dijawab di tempat lain). Gap masuk tab "Dismissed" sebagai catatan.

View Conversations — lihat percakapan aktual dimana user bertanya pertanyaan ini. Berguna untuk memahami konteks penuh sebelum decide.

4. Terapkan perbaikan

Tergantung tipe gap:

Content gap → Create FAQ atau upload document 1. Buka FAQ page → tambah FAQ baru dengan jawaban yang benar 2. Atau buka Knowledge base → upload dokumen baru tentang topik tersebut 3. Tunggu auto-sync ke Dify (~30 detik) 4. Kembali ke gap → klik Resolved

Data gap → Fix retrieval 1. Periksa apakah dokumen yang relevan ada di KB 2. Jika ya, mungkin chunking atau embedding perlu di-refresh 3. Contact developer untuk re-index kalau perlu 4. Tandai Resolved setelah verified bot menjawab dengan benar

Action gap → Add intent rule 1. Buka Bot configuration → Intents 2. Tambah intent rule baru yang match pattern pertanyaan 3. Pilih handler (route_dify, template, cta, escalate) 4. Test via sandbox 5. Tandai Resolved setelah live

5. Bulk actions

Jika ada banyak gaps sejenis, pilih beberapa via checkbox → bulk action: Accept All / Dismiss All. Berguna saat triage pertama kali.

6. Verifikasi perbaikan

Setelah menerapkan fix, jalankan Answer Eval pada kategori terkait untuk memverifikasi. Lihat Answer evaluation.

Gap yang resolved tapi tidak tervalidasi via eval bisa jadi tidak benar-benar terperbaiki.

Example scenarios

Triage mingguan. Setiap Senin pagi, admin marketing membuka tab New dan review 5-10 gaps yang baru terdeteksi. Yang valid → Accept dan assign ke content writer. Yang off-topic → Dismiss dengan catatan.

Setelah campaign launch. Setelah promo Open Day, volume percakapan naik. Deteksi gap juga akan bertambah. Review tab New spesifik dengan kategori "Open Day" — kemungkinan user bertanya detail yang belum ada di KB.

Debugging complaint. User complaint "bot ga tau info X". Admin buka gaps dashboard, cari pattern yang match X. Jika gap sudah ada, sudah diakui tapi belum diresolve — prioritaskan. Jika belum terdeteksi, tambahkan manually (future feature: gap manual creation).

Troubleshooting

Tidak ada gap baru selama seminggu. Gejala: tab New kosong. Penyebab 1: traffic turun drastis (cek [Analytics]). Penyebab 2: detection job mungkin tidak jalan — cek System Health.

Gap accuracy rendah (banyak false positive). Gejala: gaps yang sebenarnya sudah dijawab baik oleh bot, tapi terdeteksi sebagai gap. Penyebab: detection threshold terlalu longgar. Workaround: dismiss false positives dengan rajin — sistem tidak auto-learn sekarang, butuh developer untuk tune threshold.

Sample questions kosong. Gejala: gap card tidak menampilkan contoh pertanyaan. Penyebab: gap dibuat dari pattern agregat, bukan dari pertanyaan spesifik. Perbaikan: klik View Conversations untuk melihat konteks penuh, atau cari manual di /conversations dengan keyword dari title.

See also