Kurumsal asistan görüşmelerinde en sık duyduğumuz cümle "veri dışarı çıkmasın" oluyor. Bu cümle tek bir teknik gereksinim gibi görünse de altında birbirinden oldukça farklı üç ihtiyaç yatıyor:
- Veri Türkiye sınırları dışına çıkmasın
- Veri kurum ağının dışına hiç çıkmasın
- Sistem, internet bağlantısı olmayan bir lokasyonda da çalışsın
Bunlar farklı mimariler gerektirir ve maliyetleri de farklıdır. İlk ihtiyaç yurt içinde barındırılan yönetilen bir kurulumla karşılanabilir. İkincisi kurum veri merkezinde çalışan bir kurulum ister. Üçüncüsü ise tamamen ayrı bir problem: bağlantısız çalışan bir istemci mimarisi.
Projelerin başında bu üçünü ayırmak, altı ay sonra ortaya çıkan "bu böyle olmayacakmış" tartışmasını engelliyor.
Kapalı ağ kurulumunun gerçek bileşenleri
Onpremise bir kurumsal asistan, çoğu kişinin sandığı gibi "sunucuya kurulan bir model" değildir. Çalışan bir kurulumda en az şu bileşenler bulunur:
- Model sunum katmanı (GPU üzerinde çalışan çıkarım servisi)
- Doküman alma ve indeksleme hattı (dosya sistemleri, portal, DMS, ticket geçmişi)
- Arama katmanı (metin ve vektör indeksleri)
- Kimlik doğrulama (LDAP veya Active Directory üzerinden merkezi kimlik)
- Yetkilendirme (rol ve doküman bazlı erişim kontrolü)
- Denetim ve loglama katmanı
- Gözlemlenebilirlik (gecikme, hata oranı, kullanım)
Bu listede en çok hafife alınan bileşen dördüncü ve beşinci maddeler. Modeli çalıştırmak bir haftalık iş, yetkilendirmeyi doğru kurmak ise projenin en uzun kalemi.
Yetki filtresi sorgudan önce çalışmalı
Bu, kurumsal asistan mimarisinin en kritik tasarım kararı ve en sık yapılan hata burada.
İki yaklaşım var. Birincisinde sistem soruya karşılık tüm indeksten sonuç toplar, cevabı üretir, sonra kullanıcının yetkisi olmayan kaynakları cevaptan ayıklar. İkincisinde arama sorgusu daha çalışmadan kullanıcının erişebildiği doküman kümesine daraltılır.
Birinci yaklaşım, ne kadar dikkatli uygulanırsa uygulansın sızdırır. Model, kullanıcının görmemesi gereken bir dokümanı okumuş ve cevabı onun üzerine kurmuştur. Kaynağı gizleseniz bile cevabın içeriği o dokümandan gelir. Bazen kaynak listesindeki dosya adının kendisi bile bilgi taşır: "2026 Yeniden Yapılanma Planı" başlığını görmek, dosyayı okumadan da bir şey söyler.
Bu yüzden yetki filtresinin arama katmanında, sorgu çalıştırılmadan önce uygulanması gerekir. Bunun bedeli, doküman erişim listelerinin indeksleme sırasında taşınması ve yetki değişikliklerinin indekse yansıtılmasıdır.
Yetki senkronizasyonunda cevaplanması gereken soru şudur: bir çalışanın erişimi kaldırıldığında bu değişiklik indekse kaç dakikada yansıyor? Gerçek zamanlı olması her zaman gerekmez ama gecikme penceresinin bilinmesi ve kabul edilmiş olması gerekir. Görev değişikliği ve işten ayrılma senaryolarında bu pencere denetimde sorulur.
GPU boyutlandırması eşzamanlılıkla ilgilidir, kullanıcı sayısıyla değil
"5.000 çalışanımız var, kaç GPU gerekir" sorusunun doğrudan cevabı yok. Belirleyici olan aynı anda kaç isteğin işlendiği, ortalama istem uzunluğu ve üretilen cevabın uzunluğu.
Kurumsal asistan kullanımı gün içinde oldukça tepe noktalı ilerliyor. Sabah mesai başlangıcı ve öğle sonrası iki belirgin zirve oluşturuyor. Kapasiteyi ortalamaya göre planlayan kurulumlar bu iki saatte kuyruğa giriyor.
Pratik yöntem, pilot dönemde gerçek eşzamanlılık dağılımını ölçmek ve kapasiteyi p95 üzerinden planlamak. Kısa bağlamlı sorularla uzun doküman özetleme isteklerini aynı kuyrukta işlemek de tipik bir hata; uzun işler ayrı bir kuyruğa alındığında kısa soruların yanıt süresi belirgin şekilde düzeliyor.
Model güncellemesi kapalı ağda ayrı bir süreçtir
İnternete çıkmayan bir ortamda model ve bileşen güncellemesi, dosya kopyalamaktan ibaret değildir. İşleyen kurulumlarda şu adımlar tanımlıdır:
- Güncelleme paketinin dışarıda hazırlanması ve imzalanması
- Kontrollü transfer (onaylı taşıma kanalı üzerinden)
- İç ortamda imza doğrulaması
- Önce test ortamına kurulum ve regresyon testi
- Kademeli yayın ve geri alma planı
Beşinci madde çoğu kurumda eksik. Yeni model sürümü kurulduktan sonra bazı cevapların bozulduğu fark edildiğinde geri dönülecek bir sürüm yoksa, operasyon durur. Kapalı ağda kurulan her asistanın bir önceki çalışan sürümü yerel olarak saklanmalıdır.
Regresyon testi için de kuruma özgü, sabit bir soru seti gerekir. Yüz civarında gerçek soru ve beklenen cevap kaynağı, her güncellemede çalıştırıldığında kalite kaybını erken yakalar. Bu setin oluşturulması bir günlük iştir ve karşılığını ilk güncellemede verir.
Sahada, bağlantı olmadan çalışmak
Üretim tesisi, enerji sahası, gemi, maden, uzak şantiye ve güvenli alanlarda bağlantı kesintili ya da hiç yok. Bu ortamlarda asistanın işe yaraması için mimarinin farklı kurulması gerekiyor.
Temel fark, cevabın cihazda veya yerel sunucuda üretilmesidir. Bu da beraberinde birkaç kısıt getirir.
İçerik seçimi kritik hale gelir. Merkezi kurulumda tüm kurumsal dokümanı indekslemek mümkündür. Saha cihazında sınırlı depolama ve sınırlı işlem gücü vardır. Bu yüzden hangi prosedürlerin, hangi bakım kılavuzlarının ve hangi güvenlik talimatlarının cihaza indirileceği bir kapsam kararıdır. Rol bazlı paketler oluşturmak (bakım ekibi paketi, kalite paketi, güvenlik paketi) hem boyutu hem de arama isabetini iyileştirir.
Doküman sürümü çatışması yönetilmelidir. Cihaz üç haftadır çevrimdışıysa ve o sürede prosedür güncellendiyse, saha çalışanı eski talimatı okuyor demektir. İşleyen kurulumlarda asistan cevabın hangi doküman sürümüne dayandığını ve o sürümün ne zaman alındığını gösterir. "Bu bilgi 12 Mart tarihli sürüme aittir" ifadesi, yanlış bir cevaptan çok daha güvenlidir.
Senkronizasyon iki yönlüdür. Bağlantı geldiğinde yalnızca yeni dokümanlar inmez; cihazdaki kullanım kayıtları da merkeze çıkar. Bu kayıtlar hem denetim hem de içerik iyileştirme için değerlidir. Sahada en çok sorulan ama cevabı bulunamayan sorular, doküman ekibinin en net iş listesidir.
Cihaz kaybı bir senaryo olarak planlanmalıdır. Yerel indeks kurumsal doküman içerir. Disk şifreleme, uzaktan silme ve cihaz kimlik doğrulaması olmadan offline kurulum, güvenlik açısından merkezi kurulumdan daha riskli hale gelir.
Onpremise her zaman daha güvenli değildir
Bu cümlenin altını çizmek gerekiyor, çünkü karar toplantılarında sık atlanıyor.
Kurulum kurum veri merkezine taşındığında yama yönetimi, izleme, yedekleme, erişim denetimi ve olay müdahalesi de kuruma geçer. Bunları yürütecek ekip ve süreç yoksa, kapalı ağda çalışan bir sistem yönetilen bir kurulumdan daha savunmasız olabilir. Güncellenmemiş bir bileşen, dışarı kapalı olduğu için güvenli hale gelmez.
Bu yüzden karar verirken sorulacak soru "hangisi daha güvenli" değil, "hangi güvenlik yükünü hangi ekip taşıyacak" olmalı.
Yönetişim tarafını da kurmak gerekiyor
Teknik kurulum tamamlandığında geriye yönetişim kalıyor: modelin hangi amaçla kullanıldığı, hangi risklerin değerlendirildiği, tedarikçi gözetiminin nasıl yapıldığı ve yaşam döngüsünün nasıl yönetildiği.
Bu başlıklar için artık referans alınabilecek yayımlanmış bir standart var. ISO/IEC 42001:2023, yapay zeka yönetim sistemleri için ilk uluslararası standart olarak Aralık 2023'te yayımlandı ve risk yönetimi, yapay zeka sistemi etki değerlendirmesi, yaşam döngüsü yönetimi ile üçüncü taraf tedarikçi gözetimi gibi gereklilikler tanımlıyor (iso.org). Bilgi güvenliği tarafında ISO/IEC 27001 ile birlikte kullanıldığında kapsam büyük ölçüde tamamlanıyor.
Risk yönetimi çerçevesi arayan ekipler için NIST'in AI Risk Management Framework belgesi de pratik bir başlangıç noktası (nist.gov).
KVKK açısından ise şunu netleştirmek gerekir: onpremise kurulum yurt dışına aktarım sorusunu ortadan kaldırır, veri işleme yükümlülüklerini ortadan kaldırmaz. Aydınlatma, saklama süresi, erişim yetkisi ve imha politikaları aynı şekilde geçerlidir.
Kurulum öncesi kontrol listesi
- Gereksinim yurt içi barındırma mı, kurum ağı içi mi, bağlantısız çalışma mı
- Doküman erişim listeleri indekse taşınıyor mu, filtre sorgudan önce mi çalışıyor
- Yetki değişikliğinin indekse yansıma süresi tanımlı ve kabul edilmiş mi
- Kapasite ortalamaya göre mi p95 eşzamanlılığa göre mi planlandı
- Güncelleme paketi imzalanıyor, doğrulanıyor ve geri alınabiliyor mu
- Regresyon test seti hazır mı ve her sürümde çalıştırılıyor mu
- Offline cihazlarda disk şifreleme, uzaktan silme ve sürüm gösterimi var mı
- Yama, izleme ve olay müdahalesini hangi ekip yürütecek
Mimariyi kendi ortamınıza göre konuşmak için Onpremise Chatbot Çözümleri ve Offline Çözümler sayfalarındaki akışlara bakabilirsiniz.
Kaynaklar
- ISO/IEC 42001:2023, Information technology, Artificial intelligence, Management system. iso.org
- ISO/IEC 27001, Information security management systems. iso.org
- NIST AI Risk Management Framework (AI RMF 1.0). nist.gov
- Kişisel Verileri Koruma Kurumu, Yurt Dışına Aktarım. kvkk.gov.tr