Case study · ·

AI Proxy — Gateway LLM Terpusat

Akses ke model AI tersebar di banyak API key dan penyedia berbeda. Tidak ada satu tempat untuk melihat pemakaian, membatasi kuota per tim, atau mencatat siapa memakai model apa.

The brief

Akses ke model AI tersebar di banyak API key dan penyedia berbeda. Tidak ada satu tempat untuk melihat pemakaian, membatasi kuota per tim, atau mencatat siapa memakai model apa.

Role
Duration
—
Team
HENNNDEV
Result

Approach

Menyatukan 6 model dari 5 penyedia di balik satu endpoint yang tetap kompatibel dengan SDK OpenAI, tanpa mengubah kode di sisi pemakai. Perlu fallback otomatis ketika satu penyedia gagal, plus pencatatan biaya yang akurat per request.

Satu endpoint untuk semua model, kuota dan harga tercatat di satu dashboard, rate limit per tim, dan fallback otomatis antar penyedia.

Result

Satu endpoint untuk semua model, kuota dan harga tercatat di satu dashboard, rate limit per tim, dan fallback otomatis antar penyedia.

Stack

REST API Multi-provider routing Rate limit Quota Audit log