AI CV Screening dan Evaluasi

MII E-Recruitment: tingkat kegagalan ~45% pada run awal 22 pasang, tanpa rerun tercatat. AI memberikan bukti; recruiter tetap mengambil keputusan.

~45%
Tingkat kegagalan screening awal, 22 pasang; belum ada rerun yang tercatat
0.13%
Tingkat parse failure pada baseline berikutnya (1 dari 800 panggilan)
270+
File test yang ditambahkan dari kondisi tanpa test, dengan evaluation gate yang memblokir deploy

Peran: Pembuat dan lead engineer, bertanggung jawab atas keputusan evaluasi
Periode: Jun 2026 hingga Okt 2026
Jenis proyek: Pilihan
Ruang di HQ 3D: L3:ai-cv-screening-platform

Hasil

~45%
Tingkat kegagalan screening awal, 22 pasang; belum ada rerun yang tercatat
Teramati pada run evaluasi 22 pasang, dengan perbaikan diuji melalui 7 regression test dari pesan error asli. Rerun evaluasi yang persis sama tidak tercatat.
0.13%
Tingkat parse failure pada baseline berikutnya (1 dari 800 panggilan)
Diukur pada baseline evaluasi berikutnya menggunakan model dan prompt yang lebih baru, bukan perbandingan sebelum dan sesudah perbaikan awal.
270+
File test yang ditambahkan dari kondisi tanpa test, dengan evaluation gate yang memblokir deploy
Berdasarkan riwayat repositori.
21.1 s to 12.1 s
Latensi p95 screening pada evaluasi terkontrol, reasoning effort medium vs high
Diukur dalam putaran evaluasi terkontrol; pengaturan yang dipilih tetap lolos gate fairness dan injection.

Masalah

Screening berbasis LLM sering gagal dan memberikan keputusan terima atau tolak tanpa bukti. Belum ada test atau release gate untuk mendeteksi regresi akibat perubahan prompt maupun model.

Kontribusi

Saya menemukan dua penyebab error produksi: token habis di tengah JSON dan newline mentah dalam string. Keduanya saya atasi dengan JSON mode, batas output, extractor yang mengenali tanda kutip, dan retry.
Saya menambahkan test suite pertama dan evaluation harness dengan CI gate, menggunakan golden set 40 pasang (37,5% berbahasa Indonesia), pengecekan fairness counterfactual, dan 20+ kelas prompt injection.
Saya menghapus keputusan terima atau tolak dari AI, serta menambahkan AI disclosure, system card, dan penyamaran identitas sebelum pemanggilan model. Pada Oktober 2026, saya mendesain ulang setiap halaman dalam bahasa Inggris dan Indonesia: hasil kandidat kini diawali fit band, cakupan persyaratan, dan must-have di samping satu ringkasan AI gabungan. Semua ini menjadi pendukung keputusan, sementara rekruter tetap yang memutuskan. Target sentuh berukuran 44 px, dan setiap route di-capture dengan pemeriksaan aksesibilitas (axe), overflow, dan target sentuh.
Saya menerapkan managed identity tanpa password dan panggilan bertanda tangan HMAC antara web tier dan backend.
Untuk kesiapan Azure Marketplace, saya mengemasnya sebagai Managed Application untuk satu organisasi dengan rilis yang ditandatangani dan opsi jaringan privat di belakang Front Door WAF, lalu memperbaiki 12 temuan instalasi hingga test install plan publik dan privat berhasil.