Sedang mengikuti modul ini?
Modul 14 · Halaman 15 daripada 20 · 10 bahagian
Penilaian dan Pengujian
Cara mengukur sistem AI: jenis penilaian, metrik LLM dan RAG, aliran kerja penilaian, jenis pengujian dan contoh kes ujian.
1. Pengenalan
- Penilaian dan pengujian penting untuk memastikan sistem AI memberikan respons yang tepat, boleh dipercayai, adil dan selamat.
- Untuk sistem LLM dan RAG, kita perlu menilai keupayaan model dan prestasi aplikasi secara keseluruhan.
- Penilaian yang betul membantu menambah baik sistem, mengurangkan ralat dan membina kepercayaan pengguna.
2. Mengapa Penilaian Penting?
- 1Ukur sejauh mana baiknya model / sistem.
- 2Kenal pasti kekuatan dan kelemahan.
- 3Bandingkan model dan pendekatan yang berbeza.
- 4Pastikan kebolehpercayaan dan konsistensi.
- 5Tambah baik prompt, dapatan semula dan penjanaan.
- 6Kesan bias, halusinasi dan kandungan berbahaya.
- 7Sahkan prestasi dalam senario dunia sebenar.
- 8Penting untuk kesediaan pengeluaran.
3. Jenis Penilaian
Penilaian
Penilaian Automatik
- ROUGE
- BLEU
- BERTScore
- Kesamaan kosinus
- Kesamaan semantik
Penilaian Manusia
- Relevansi
- Ketepatan
- Kebergunaan
- Kekoherenan
- Keselamatan
- Kepuasan pengguna
Penilaian Khusus Tugasan
- Penilaian RAG
- Penilaian chatbot
- Peringkasan
- Soal jawab
- Terjemahan
- Pengelasan
Penilaian Sistem
- Kependaman
- Daya pemprosesan
- Kadar ralat
- Kebolehskalaan
- Kos
- Ketersediaan
4. Metrik Penilaian untuk LLM
- Perplexity
- Mengukur sejauh mana model meramal teks dengan baik.
- BLEU
- Lazim digunakan untuk terjemahan mesin.
- ROUGE
- Digunakan untuk peringkasan teks.
- BERTScore
- Mengukur kesamaan semantik.
- Ketepatan
- Ketepatan jawapan.
- Relevansi
- Sejauh mana respons relevan dengan pertanyaan.
- Kesetiaan
- Sama ada jawapan berasaskan sumber.
- Kekoherenan
- Aliran logik dan kebolehbacaan respons.
1
2
3
4
5
6
7
8
5. Metrik untuk Sistem RAG
- Kepersisan Konteks
- Berapa banyak konteks yang diperoleh adalah relevan.
- Dapatan Semula Konteks
- Berapa banyak konteks relevan yang berjaya diperoleh.
- Relevansi Jawapan
- Adakah jawapan relevan dengan soalan?
- Kesetiaan
- Adakah jawapan disokong oleh konteks yang diperoleh?
- Kadar Halusinasi
- Peratusan pernyataan tanpa sokongan.
- Atribusi Sumber
- Petikan dokumen sumber yang betul.
- Kualiti Respons
- Kebergunaan, kelengkapan, kejelasan.
- Kependaman Hujung ke Hujung
- Jumlah masa (dapatan semula + penjanaan).
1
2
3
4
5
6
7
8
Berkaitan07Reka Bentuk Sistem RAG
6. Aliran Kerja Penilaian (Contoh RAG)
Pertanyaan UjianSet soalan
Sistem RAGDapatan semula + penjanaan
PenilaianRelevansi, kesetiaan, ketepatan, kepersisan konteks, semakan manusia
KeputusanMetrik, analisis, bidang penambahbaikan
7. Contoh Teknik Penilaian
- LLM-as-a-Judge
- Guna LLM lain untuk menilai respons.
- Penilaian Berasaskan Rujukan
- Bandingkan dengan jawapan kebenaran asas.
- Kesamaan Semantik
- Guna benam untuk membandingkan makna.
- Perbandingan Berpasangan
- Bandingkan respons daripada dua model.
- Penilaian Manusia
- Semakan manual oleh pakar domain.
- RAGAS
- Rangka kerja popular untuk penilaian RAG.
- LangSmith
- Jejak dan nilai aplikasi LLM.
- Pemarkahan Tersuai
- Kriteria penilaian khusus tugasan.
1
2
3
4
5
6
7
8
8. Jenis Pengujian untuk Sistem AI
- Ujian Unit
- Uji komponen individu (cth. prompt, fungsi).
- Ujian Integrasi
- Uji dapatan semula + penjanaan bersama.
- Ujian Fungsian
- Sahkan tingkah laku yang dijangka.
- Ujian Regresi
- Pastikan perubahan baharu tidak merosakkan aliran sedia ada.
- Ujian A/B
- Bandingkan dua model atau prompt.
- Ujian Beban
- Uji sistem di bawah trafik tinggi.
- Ujian Adversari
- Uji dengan input yang mengelirukan atau berniat jahat.
- Ujian Keselamatan
- Semak kandungan berbahaya, berat sebelah atau tidak sesuai.
1
2
3
4
5
6
7
8
9. Contoh Kes Ujian (RAG)
| Kes ujian | Contoh input | Output dijangka |
|---|---|---|
| Pertanyaan relevan | What is Spring Boot? | Jawapan betul dan relevan dengan petikan sumber |
| Pertanyaan tidak relevan | Who won the 2022 World Cup? | Respons: tiada dalam konteks, atau mesej yang sesuai |
| Pertanyaan samar | Explain this | Minta penjelasan atau beri jawapan terbaik yang mungkin |
| Konteks tidak betul | (dokumen salah) | Kesan dan elakkan halusinasi |
| Pertanyaan berbilang giliran | Tell me about Kafka. What are its use cases? | Kekalkan konteks dan beri jawapan yang tepat |
10. Amalan Terbaik
- 1Guna set data ujian yang pelbagai dan mewakili.
- 2Nilai dengan kedua-dua metrik automatik dan maklum balas manusia.
- 3Pantau prestasi model dalam pengeluaran secara berterusan.
- 4Jejak dan analisis kes kegagalan.
- 5Tetapkan kriteria penilaian yang jelas untuk kes penggunaan anda.
- 6Guna alat seperti RAGAS, LangSmith dan OpenAI Evals.
- 7Uji bias, keselamatan dan input adversari.
- 8Terus menambah baik prompt, dapatan semula dan reka bentuk sistem berdasarkan keputusan penilaian.