Sedang mengikuti modul ini?
Modul 13 · Halaman 14 daripada 20 · 9 bahagian
Pemantauan, Pengelogan dan Kebolehcerapan
Melihat ke dalam sistem AI yang sedang berjalan: metrik, log dan jejak, apa yang perlu diperhatikan dalam tindanan AI dan cara memberi amaran tanpa hingar.
1. Pengenalan
- Pemantauan, pengelogan dan kebolehcerapan membantu kita memahami kesihatan, prestasi dan tingkah laku sistem AI secara masa nyata.
- Ia penting untuk penyahpepijatan, pengoptimuman prestasi, kebolehpercayaan dan pengurusan kos.
- Untuk aplikasi AI, kita perlu memantau bukan sahaja infrastruktur tetapi juga prestasi model, kualiti data, tingkah laku pengguna dan metrik perniagaan.
2. Istilah Utama
- Pemantauan
- Mengumpul dan menjejak metrik sistem.
- Pengelogan
- Merekod peristiwa dan ralat secara terperinci.
- Kebolehcerapan
- Keupayaan untuk memahami keadaan dalaman sistem menggunakan metrik, log dan jejak.
- Metrik
- Data berangka (cth. CPU, kependaman, penggunaan token).
- Log
- Rekod berasaskan peristiwa (cth. ralat, permintaan).
- Jejak
- Aliran permintaan hujung ke hujung merentasi perkhidmatan.
- Amaran
- Memaklumkan apabila metrik melepasi ambang.
- Papan Pemuka
- Gambaran visual kesihatan sistem.
1
2
3
4
5
6
7
8
3. Mengapa Ia Penting untuk Sistem AI?
- 1Kesan dan baiki isu dengan pantas.
- 2Pastikan ketersediaan tinggi dan kebolehpercayaan.
- 3Pantau prestasi model dan hanyutan.
- 4Jejak kos (token, panggilan API, infrastruktur).
- 5Tambah baik pengalaman pengguna.
- 6Membantu pematuhan dan pengauditan.
- 7Fahami tingkah laku pengguna dan corak penggunaan.
- 8Rancang kapasiti dan penskalaan.
4. Komponen Kebolehcerapan
- Metrik
- Metrik sistem, aplikasi dan perniagaan.
- Log
- Ralat, amaran, peristiwa dan aktiviti pengguna.
- Jejak
- Jejak permintaan merentasi beberapa perkhidmatan.
- Papan Pemuka
- Visualkan metrik utama dan trend.
- Amaran
- Pemberitahuan masa nyata untuk anomali.
- APM
- Pemantauan Prestasi Aplikasi: kependaman, daya pemprosesan dan ralat.
- Pemantauan Model
- Jejak kualiti, ketepatan dan hanyutan model.
- Analitik Pengguna
- Pantau tingkah laku pengguna dan penggunaan ciri.
1
2
3
4
5
6
7
8
5. Seni Bina Kebolehcerapan (Contoh)
Aplikasi AIMikroperkhidmatan: log, metrik, jejak
Pengumpulan DataEjen log (Fluent Bit / Logstash), pengumpul metrik (Prometheus), pengumpul jejak (OpenTelemetry)
StoranElasticsearch, Prometheus TSDB, Tempo / Jaeger
VisualisasiGrafana, Kibana, Jaeger UI
AmaranAlert Manager, E-mel / Slack, PagerDuty
6. Metrik untuk Dipantau (Sistem AI)
- Metrik Sistem
- CPU, memori, cakera, rangkaian.
- Metrik Aplikasi
- Kadar permintaan, kependaman, kadar ralat.
- Metrik Model
- Ketepatan, relevansi, kadar halusinasi.
- Metrik Token
- Token input / output bagi setiap permintaan.
- Metrik DB Vektor
- Kependaman pertanyaan, saiz indeks, kadar dapatan semula.
- Metrik Perniagaan
- Pengguna aktif, pertanyaan teratas, kadar penukaran.
- Metrik Kos
- Kos API, kos infrastruktur.
- Metrik Tersuai
- Skor maklum balas pengguna, kualiti respons.
1
2
3
4
5
6
7
8
7. Amalan Terbaik Pengelogan
- 1Guna pengelogan berstruktur (format JSON).
- 2Sertakan ID permintaan, ID pengguna dan ID sesi.
- 3Log peristiwa penting (panggilan API, inferens model, ralat).
- 4Elakkan merekod data sensitif (PII, kunci API).
- 5Guna tahap log berbeza (INFO, WARN, ERROR).
- 6Pusatkan log menggunakan ELK (Elasticsearch, Logstash, Kibana).
- 7Tetapkan polisi pengekalan log yang sesuai.
- 8Kaitkan log dengan jejak untuk penyahpepijatan.
8. Penjejakan (Penjejakan Teragih)
- 1Menjejak aliran permintaan hujung ke hujung merentasi mikroperkhidmatan.
- 2Membantu mengenal pasti kependaman dan kesesakan.
- 3Berguna untuk menyahpepijat saluran AI yang kompleks.
- 4Alat: OpenTelemetry, Jaeger, Zipkin.
- 5Menambah ID jejak pada log untuk perkaitan yang mudah.
- 6Memvisualkan kebergantungan perkhidmatan dan masa.
9. Strategi Amaran
- 1Tetapkan ambang untuk metrik utama (CPU, kependaman, kadar ralat).
- 2Guna pengesanan anomali untuk corak luar biasa.
- 3Beri amaran apabila prestasi model merosot.
- 4Pantau lonjakan kos (penggunaan token, panggilan API).
- 5Guna berbilang saluran (E-mel, Slack, PagerDuty).
- 6Elakkan keletihan amaran (guna ambang yang bermakna).
- 7Cipta buku panduan operasi untuk isu biasa.
- 8Guna polisi peningkatan untuk amaran kritikal.