Penilaian dan Metrik dalam AI Agentik

Apa yang perlu dinilai, metrik yang perlu dijejaki, dan cara menjalankan penilaian dengan manusia dan hakim LLM.

15Penilaian dan Penanda Aras dalam AI Agentik 11Penggunaan dan MLOps untuk AI Agentik

10.1

Mengapa Penilaian Penting?

Membantu mengukur sejauh mana prestasi ejen.
Memastikan ejen memberikan respons yang betul, relevan dan selamat.
Berguna untuk membandingkan model, alat dan pendekatan yang berbeza.
Membantu mengenal pasti jurang dan ruang penambahbaikan.
Penting untuk penggunaan dunia sebenar dan kepercayaan pengguna.

10.2

Apa yang Perlu Dinilai dalam AI Agentik?

Penyiapan Tugasan: Adakah ejen menyiapkan tugasan dengan jayanya?
Kualiti Jawapan: Adakah respons betul, relevan dan membantu?
Penggunaan Alat: Adakah ejen menggunakan alat yang betul pada masa yang betul?
Penaakulan: Adakah penaakulan logik dan jelas?
Kecekapan: Masa diambil, bilangan langkah, penggunaan token.
Keselamatan: Elakkan respons yang berbahaya, berat sebelah atau tidak selamat.
Kepuasan Pengguna: Adakah ia memenuhi keperluan pengguna?

10.3

Metrik Penilaian Biasa

Metrik	Penerangan	Kes penggunaan
Ketepatan	Kebetulan jawapan akhir	Soal jawab, RAG, penyelidikan
Relevansi	Sejauh mana respons relevan dengan pertanyaan	Carian, RAG
Kadar kejayaan tugasan	Peratusan tugasan yang berjaya disiapkan	Tugasan berbilang langkah
Kependaman	Masa diambil untuk memberi respons	Aplikasi masa nyata
Penggunaan token	Jumlah token yang digunakan	Pengoptimuman kos
Kadar halusinasi	Peratusan jawapan yang salah / direka-reka	Tugasan fakta
Ketepatan panggilan alat	Menggunakan alat yang betul dengan parameter yang betul	Panggilan fungsi
Maklum balas pengguna	Penilaian manusia (cth. 1–5)	Kepuasan keseluruhan

Berkaitan15Penilaian dan Penanda Aras dalam AI Agentik

10.4

Jenis Penilaian

Penilaian Automatik: Menggunakan metrik dan pemarkahan berasaskan model (cth. BLEU, ROUGE, BERTScore, GPT sebagai hakim).
Penilaian Manusia: Semakan dan penilaian oleh manusia.
Penilaian Berasaskan Tugasan: Menyemak sama ada ejen menyiapkan tugasan dunia sebenar.
Penilaian Perbandingan: Membandingkan model, prompt atau ejen yang berbeza.
Penilaian Berterusan: Memantau prestasi dari semasa ke semasa dalam pengeluaran.

10.5

Aliran Kerja Penilaian

Set Data UjianSoalan / tugasan

EjenLLM + alat

Respons EjenOutput akhir

PenilaianAutomatik + manusia

MetrikKetepatan, relevansi, kejayaan tugasan, dll.

AnalisisCari jurang dan tambah baik

Berkaitan15Penilaian dan Penanda Aras dalam AI Agentik

10.6

Contoh: Penilaian untuk Ejen RAG

SoalanApakah faedah utama tenaga suria?

Kebenaran asas (ground truth)

Sumber tenaga boleh baharu
Mengurangkan bil elektrik
Mesra alam
Kos penyelenggaraan rendah

Respons ejen

Tenaga suria ialah sumber tenaga boleh baharu.
Ia membantu mengurangkan bil elektrik.
Ia baik untuk alam sekitar.
Kos penyelenggaraannya rendah.

PenilaianRelevansi 5/5 · Ketepatan 5/5 · Halusinasi 0% · Skor keseluruhan 5/5

10.7

Penilaian Menggunakan LLM sebagai Hakim

Gunakan LLM yang kuat (cth. GPT-4) untuk menilai respons.
Sediakan rubrik pemarkahan dan minta model memberi penilaian.
Berguna untuk penilaian kualitatif (relevansi, koherens, kebergunaan, dll.).

prompt

You are an expert evaluator. Evaluate the following response
based on relevance, correctness, completeness and helpfulness.
Give a score from 1 to 5 and provide a short reasoning.

Question: {user_question}
Ground Truth: {ground_truth}
Model Response: {agent_response}

Evaluation Format:
- Relevance:
- Correctness:
- Completeness:
- Helpfulness:
- Overall Score:
- Reasoning:

Berkaitan15Penilaian dan Penanda Aras dalam AI Agentik

10.8

Rumusan Utama

Penilaian penting untuk ejen yang boleh dipercayai dan berkesan.
Gunakan gabungan penilaian automatik dan manusia.
Fokus pada kejayaan tugasan, relevansi, keselamatan dan kepuasan pengguna.
Pantau metrik secara berterusan dalam pengeluaran.
Penilaian yang baik membantu membina sistem AI agentik yang lebih baik dan dipercayai.