AI Benchmark Engineer, Native Language Specialist (Indonesia, freelance)
LILT AI (United States, remote)
- Okt 2026 hingga Sekarang
- L2:lilt-ai-2026
Saya merancang dan membangun task berbahasa Indonesia untuk Terminal-Bench, benchmark agentic coding yang dipakai untuk mengevaluasi model AI frontier (OpenAI GPT, Google Gemini, Anthropic Claude) pada pekerjaan terminal dan pemrograman di dunia nyata. Task ini menguji apakah AI agent mampu menangani bahasa dan konvensi budaya Indonesia pada data kerja yang realistis: arsip pemerintahan, Kartu Keluarga, serta keuangan dan pengadaan.
Poin utama
- Membangun setiap task secara end-to-end: dataset berbahasa Indonesia yang realistis, environment Docker, solusi referensi dan kontrol dalam Python, serta verifier pytest dengan data held-out, rerun dalam sandbox, dan pemeriksaan tamper
- Menjalankan eksperimen probe agentic pada beberapa LLM untuk mengukur tingkat kesulitan sebelum submit, dan memakai analisis kegagalan untuk memisahkan celah pemahaman bahasa dari error coding umum
- Menjalani peer review yang ketat: mereproduksi temuan reviewer, menutup celah spesifikasi tanpa menurunkan tingkat kesulitan, dan menjaga konsistensi dokumentasi dengan bukti evaluasi
- Menyiapkan workflow R&D multi-agent (agent riset, red-teaming, dan verifikasi) untuk menemukan dan memvalidasi ide evaluasi baru
Tech stack
Python
Docker
pytest- Harbor
- Terminal-Bench 2.0
- LLM-as-judge
- LLM evaluation