Portofolio dan Asisten MII Microsoft AI

Situasi

Tim Microsoft AI di MII membutuhkan portofolio publik untuk karya yang tidak rahasia, dengan asisten yang dapat menjawab pertanyaan pengunjung. Asisten tersebut harus menjawab hanya dari konten terkurasi dengan sitasi, tahan terhadap prompt injection, dan mengikuti batas anggaran harian yang diberlakukan oleh sistem. Tim juga perlu menerbitkan proyek dan membaca analitik tanpa bantuan engineer. Saya adalah satu-satunya engineer.

Peran dan keputusan utama

1. 1

   Menempatkan router deterministik di depan tiga YAML agent

   Alasan: Asisten berjalan di backend FastAPI dengan router deterministik dan tiga YAML agent menggunakan Microsoft Agent Framework; saat jalur model gagal, tier fallback tetap mengikuti guardrail.

2. 2

   Mewajibkan sitasi pada jawaban dan memeriksa output per kalimat

   Alasan: Asisten hanya boleh menjawab dari konten terkurasi. Karena itu, hasil vector search Cosmos DB dan hybrid retrieval Azure AI Search harus melewati citation gating, dengan Prompt Shields pada input dan pemeriksaan per kalimat pada output.

3. 3

   Memperbaiki kegagalan produksi yang tidak terdeteksi

   Alasan: Framing stream yang rusak, telemetry yang melaporkan nol request, dan spend cap harian yang menghitung token terlalu rendah tidak terdeteksi. Saya memperbaikinya satu per satu.

Hasil

• -23%

  Penurunan prompt token; panggilan model per giliran turun dari 3 menjadi 2

  Diukur dalam benchmark pull request pada situs dengan trafik rendah, sekitar 33 giliran per hari.

• ~4.2x

  Penghitungan token yang terlalu rendah, ditemukan dan diperbaiki pada spend cap harian

  Teridentifikasi dalam review produksi.

Pelajaran

Asisten RAG layak dipercaya jika hanya menjawab dari konten yang sudah dikurasi dan menunjukkan sumber setiap jawaban. Sisi operasionalnya, seperti stream framing, telemetry, dan batas biaya harian, juga perlu dipantau karena kegagalannya bisa tidak terdeteksi.

Arsitektur

Galeri

Tech stack

• Next.js
• FastAPI
• Microsoft Agent Framework
• Cosmos DB
• Azure AI Search
• Azure OpenAI
• Azure AI Content Safety
• Microsoft Entra ID
• App Service