Dil modelleri canlı ortamda, aşılması gereken bir skorla.
Claude ve OpenAI modelleri üzerine tipli arayüzler, değerlendirme setleri, maliyet bütçeleri, yedeğe geçiş ve izleme ile geliştiren mühendisler; böylece demo, işletebileceğiniz bir sisteme dönüşür.
- Claude
- OpenAI
- Azure OpenAI
- AWS Bedrock
- Python
- FastAPI
Büyük dil modelleri, yazılımda hangi problemleri çözmeye değer olduğunu değiştirdi.
Düzensiz belgelerden veri çıkarma, serbest metnin sınıflandırılması, uzun kayıtların özetlenmesi, eskiden eğitimli bir operatör gerektiren sistemlere konuşarak erişim — bunların hepsi beş yıl önce maliyetli projelerdi, bugün ise iyi tasarlanmış bir API çağrısı. Anthropic’in Claude modelleri ve OpenAI’ın GPT modelleri üzerine geliştiriyoruz; çünkü ağırlıklı olarak çalıştırdığımız sağlayıcılar bunlar ve her ikisi de olgun araç kullanımı, yapılandırılmış çıktılar ve kurumsal veri işleme koşulları sunuyor.
Değişmeyen şey, yazılımı güvenilir kılan unsurlar. Model; gecikmesi, maliyeti ve arıza biçimi olan olasılıksal bir bileşendir ve biz de onu böyle ele alırız: önünde tipli bir arayüz, arkasında bir değerlendirme seti, bir zaman aşımı, bir yedeğe geçiş ve bir pano. Aynı değerlendirme disiplini kendi ürünlerimizin içindeki modeller için de geçerlidir — Loyalty & Retention içindeki sonraki en iyi teklif ve kademe tahmini modelleri, aşılması gereken bir skor olmadan yayına alınmaz.
Bir kural, bir sorgu ya da klasik bir model doğru yanıtı daha ucuza ve daha öngörülebilir biçimde veriyorsa oraya dil modeli koymayız. Kullanım senaryosu elemesi ilk prompt’tan önce gelir ve “burada model yok” da yazılı olarak teslim ettiğimiz bir sonuçtur.
Claude ve OpenAI üzerinde yayına aldığımız altı şey.
Belgeden veri çıkarma
Faturalar, sözleşmeler, hasar dosyaları, sevkiyat belgeleri — yapılandırılmış çıktılarla doğrulanmış, tipli kayıtlara dönüşür; her alan için bir güven sinyali ve modelin emin olmadığı kayıtlar için bir insan inceleme kuyruğu ile.
Erişim destekli yanıtlama
Yönetmelikler, kılavuzlar ve vaka geçmişleri üzerinde kaynağa dayalı soru yanıtlama; pgvector veya Pinecone üzerinde erişim, gerçek bir pasaja giden atıflar ve yayına almadan önce ölçülmüş bir yanıt kalitesi skoru ile.
Mevcut ürünlerin içinde asistanlar
Kullanıcının bulunduğu ekranı okuyan, arayüzün çağırdığı API’lerin aynısını çağıran ve kullanıcının onayladığı eylemleri öneren asistanlar — yetkilendirilmiş araç kullanımı, kenara iliştirilmiş bir sohbet penceresi değil.
Sınıflandırma ve yönlendirme
Destek talepleri, e-postalar, şikâyetler ve işlemler geniş ölçekte etiketlenir ve yönlendirilir; model canlı bir kuyruğa dokunmadan önce kesinliği size söyleyen etiketli bir değerlendirme seti ile.
Agent tabanlı iş akışları
Çok adımlı süreçler — mutabakat, sorgulama, taslak hazırlama, üst kademeye taşıma — modelin bir bütçe dahilinde planlayıp araçları çağırdığı, her adımın kaydedildiği ve her yan etkinin idempotent bir API arkasında durduğu akışlar.
Özetleme ve taslak hazırlama
Müşteri temsilcileri ve vaka uzmanları için uzun kayıt özetleri, yazışmaların ilk taslakları, commit’lerden üretilen sürüm notları — okuyanın modelin işini denetleyebilmesi için kaynak materyal ekli olarak.
Ne zaman tercih edilmeli.
Girdi yapılandırılmamışsa — metin, belge, konuşma — ve görev, aynı materyal önünde duran yetkin bir kişinin yapabileceği bir işse dil modelini tercih edin. Sağlayıcıdan olgun araç kullanımı, yapılandırılmış çıktılar, uzun bağlam ve kurumsal bir veri işleme duruşu bekliyorsanız özellikle Claude veya OpenAI’ı tercih edin. Özellik müşterinin karşısına çıkacaksa ya da kararları yönlendirecekse değerlendirilmiş bir kurgu tercih edin; çünkü kendi verinizde alınan skor, yayına almak için tek dürüst dayanaktır.
Aritmetik işlemler, deterministik kurallar ya da bir veritabanının tam olarak yanıtladığı sorgular için; birkaç yüz milisaniyenin bile yavaş kaldığı, gecikmeye duyarlı akışlar için; ya da çıktının denetlenemediği ve yanlış yanıtın pahalıya mal olduğu yerlerde dil modeli tercih etmeyin. Sağlayıcıyı da bir sıralama tablosuna bakarak seçmeyin — kendi değerlendirme setinize göre, kendi maliyet bütçenizde seçin ve uygulamayı sağlayıcı değiştirebileceğiniz bir yapılandırma olacak şekilde yazın.
Şema, zaman aşımı ve yedeğe geçiş içeren yapılandırılmış bir veri çıkarma çağrısı.
class Invoice(BaseModel):
supplier: str
total: Decimal
currency: Literal['TRY', 'EUR', 'USD']
confidence: float = Field(ge=0, le=1)
async def extract(doc: str) -> Invoice:
# provider and model come from config — the eval suite is what lets us change them
async with asyncio.timeout(settings.llm_timeout_s):
raw = await llm.complete(prompt=EXTRACT_V7, input=doc, schema=Invoice)
inv = Invoice.model_validate(raw)
if inv.confidence < settings.review_threshold:
await review_queue.enqueue(doc, inv)
return invModelin bir Odeontech kurulumundaki yeri.
Teslim ettiğimiz LLM özellikleri şöyle görünür.
- Prompt’tan önce bir değerlendirme seti. Verinizden alınmış gerçek, etiketli örnekler — dondurulmuş, sürümlenmiş ve CI’da çalışan. Skoru düşüren bir prompt ya da model değişikliği merge edilmez.
- Sınırda tip güvenliği. Yapılandırılmış çıktılar bir şemaya karşı doğrulanır; bozuk bir yanıt, yeniden denemeyle ele alınan bir hatadır, düzenli ifadeyle ayrıştırılan bir metin değil.
- Yapılandırma olarak sağlayıcı. Tek bir ince istemci arayüzü, depoda sürümlenen prompt’lar ve ortam bazında ayarlanan sağlayıcı, model ve parametreler — böylece sağlayıcı değiştirmek, ekinde eval sonucu olan bir pull request’tir.
- Yayına almadan önce bir maliyet modeli. Değerlendirme setinde ölçülen istek başına token, bağlamın tekrarlandığı yerde önbellekleme, uyarı tanımlanmış bir bütçe. Bin isteğin maliyetini ilk kullanıcıdan önce bilirsiniz.
- Zaman aşımları, yedeğe geçiş, kademeli geri çekilme. Her çağrının bir sınırı vardır; sağlayıcı yavaşladığında ya da hata verdiğinde devreye daha ucuz bir model, önbellekteki bir yanıt veya bir insan girer — özellik, sayfayı da beraberinde çökertmeyecek şekilde kurgulanır.
- Test edilen korumalar. Girdi taraması, çıktı doğrulama, reddetme yolları ve üst kademeye taşıma, zorlayıcı senaryolar da dahil olmak üzere değerlendirme setinde yer alan davranışlardır.
- Uçtan uca izlenir. Her istekte prompt sürümü, model, token, gecikme ve erişim sonuçları OpenTelemetry’de tutulur; böylece “bunu neden söyledi” sorusunun bir yanıtı olur.
- Veri bilinçli biçimde ele alınır. Sıfır saklamalı kurumsal uç noktalar, politikanın gerektirdiği yerde çağrı öncesinde PII maskeleme, KVKK ve GDPR için bölgesel yönlendirme ve ortamdan neyin çıktığına dair yazılı bir kayıt.
Genelde bununla birlikte teslim edilenler.
- Saklanan bir referans değerle sürümlenmiş, CI’da merge kapısı olarak bağlanmış bir değerlendirme paketi
- Sağlayıcı yönlendirme, yeniden deneme, zaman aşımı ve yapılandırılmış çıktı doğrulaması olan ince, tipli bir LLM istemcisi
- Belgelerinize göre ayarlanmış parçalama ve yanıt kalitesinden ayrı ölçülen erişim kalitesi ile bir erişim hattı
- Özellik bazında maliyet ve kalite panosu: token, gecikme, skor, reddetme oranı, insan inceleme oranı
- Kendi verinizdeki kıyaslarla bir model ve sağlayıcı karar kaydı; kesinti, sapma ve kalite olayları için runbook’lar
Sık sorulan sorular
Komşu teknolojiler ve bunları kullanan hizmet.
Canlı ortama LLM özellikleri çıkaran mühendislere mi ihtiyacınız var?
Kullanım senaryosunu, veri kısıtlarını ve ihtiyaç duyduğunuz kıdem seviyesini bize anlatın. İsimleriyle bir ekip önerir ya da kendi ekibinize uzman yerleştiririz — ve model doğru araç değilse bunu açıkça söyleriz.