Yapay zeka dünyasında dikkat çeken Jev, ilk bakışta ChatGPT, Gemini ve Claude gibi bugün yaygın kullanılan büyük dil modellerini (LLM) andırıyor ve hiç konuşmuyor.
TypeSafe AI girişiminin geliştirdiği bu yapay sinir ağı, kullanıcıya cümleler yazmak, metin veya görsel üretmek yerine yazılımların doğrudan kullanabileceği "kararlar" sunuyor. Bir müşteri talebinin hangi departmana yönlendirilmesi gerektiği, bir işlemin güvenli olup olmadığı, bir yapay zeka ajanının hangi aracı kullanması gerektiği veya ekrandaki hangi düğmeye basılacağı gibi sorunları çözmek üzere tasarlandı.
Jev'in arkasındaki isim ise yapay zeka sektöründe yakından tanınan biri. TypeSafe'in kurucu ortağı ve CEO'su Diogo Almeida, OpenAI'da ChatGPT'nin geliştirilmesine giden çalışmalarda yer almış ve son yıllardaki yapay zeka patlamasının temelindeki yöntemlerden biri olan insan geri bildirimiyle pekiştirmeli öğrenmenin (RLHF) geliştirilmesine katkıda bulunmuştu.
Fakat ortaya çıkan sonuç Almeida'yı tatmin etmemişti.
TechCrunch'a konuşan Almeida, “Elimizde şişeye hapsolmuş bir yıldırım vardı ama yine de kullanışlı değildi,” diyor.
Yapay zeka endüstrisi LLM'leri insan dilinde daha iyi olmaları için optimize etmişti. Bu yaklaşım insanlarla konuşan sistemlerde olağanüstü sonuçlar verdi. Ancak Almeida'ya göre otomasyon açısından temel bir sorun vardı. "Bilgisayarlar insanlardan farklı bir dil konuşuyordu".
Bir bilgisayar programının çoğu zaman güzel yazılmış bir paragrafa ihtiyacı olmuyordu. “Evet”, “Hayır”, “Üçüncü seçeneği seç”, “Risk seviyesi 8” veya “Bu işlemin güvenli olma ihtimali yüzde 97” gibi doğrudan kullanılabilecek bir kararlar gerekiyordu.
Almeida bu fikirle yaklaşık iki yıl önce OpenAI'dan ayrılarak Erik Gafni ve Sasha Sheng ile TypeSafe AI'ı kurdu. Şirket iki yıl boyunca gizlilik içinde çalıştıktan sonra bu ay ortaya çıkarak Jev'i tanıttı ve aynı zamanda 40 milyon dolarlık tohum yatırım aldığını açıkladı.
Jev neden konuşmuyor?
Jev'in temel fikrini anlamanın en kolay yollarından biri, müşteri hizmetleri örneği üzerinden gitmek.
Bir müşterinin şirkete şöyle yazdığını düşünelim: “Ödemem iki kez çekildi ve bunun bugün çözülmesini istiyorum.”
Geleneksel bir büyük dil modeline bu mesajı analiz etmesi söylendiğinde model, “Bu konu faturalandırma ekibine yönlendirilmeli ve yüksek öncelikli olarak değerlendirilmelidir,” gibi bir metin üretebilir.
Ancak otomasyon sistemi açısından bu metin yalnızca başlangıç olur. Yazılımın daha sonra yanıtı ayrıştırması, hangi bölümün kategori olduğunu anlaması, aciliyet seviyesini çıkarması ve bunları kendi sisteminin kullanabileceği veri biçimine dönüştürmesi gerekir.
Jev ise cümle kurmakla vakit kaybetmiyor.
Programcı önceden hangi kararların alınabileceğini tanımlıyor ve Jev doğrudan bunların sonucunu hesaplıyor. TypeSafe bunun için üç temel soru türü geliştirdi:
Choice: Önceden belirlenmiş seçeneklerden birini seçiyor. Örneğin müşteri talebinin “satış”, “teknik destek” veya “faturalandırma” ekiplerinden hangisine gönderileceğine karar verebiliyor. Sistem 255'e kadar seçeneği değerlendirebiliyor.
Score: Girdiyi önceden belirlenmiş bir ölçeğe göre puanlıyor. Bir talebin aciliyeti, bir işlemin riski veya bir içeriğin kalitesi bu yöntemle değerlendirilebiliyor.
Noul: Bir önermenin doğru olma ihtimalini ölçen "evet-hayır" türünde bir karar veriyor. Örneğin “Müşteri açıkça bir işlem yapılmasını istiyor mu?” sorusuna 0 ile 1 arasında bir olasılık atanabiliypr.
Üstelik model yalnızca seçtiği cevabı değil, seçeneklerin olasılık dağılımını ve güven seviyesini de hesaba katarak puanlama yapıyor.
Tüm bu süreç, bir insan için ChatGPT'nin açıklayıcı yanıtları kadar kullanışlı görünmeyebilir. Bir bilgisayar açısından ise tam tersi geçerli.
Bir kullanıcı, örneğin bir ürünle ya da cihazla ilgili sorun yaşadığında, ChatGPT'ye “Bana ne yapmam gerektiğini anlat,” demiş oluyor. Bu sorunun Jev'deki karşılığı ise şu: "Bu seçeneklerden hangisini yapmalıyım ve bundan ne kadar eminsin?"
İnsanlarla değil, makinelerle iletişim kuran yapay zeka
Almeida'nın temel tezi şu: Yapay zeka gerçekten çalışma biçimimizi değiştirecekse, zekanın tek tüketicisi insanlar olmayacak. Bilgisayarlar da başka yapay zeka sistemlerinden sürekli olarak küçük kararlar isteyecek.
Bu nedenle Jev, ChatGPT veya Claude'un yerine geçmeye çalışan yeni bir sohbet botu değil. Daha çok bu modellerle de çalışan yazılım altyapısının karar katmanı olmayı hedefliyor.
Bir yapay zeka ajanının çalışırken karşılaştığı sorular kabaca şu şekilde sıralanabilir:
“Hangi aracı çağırmalıyım?”
“Bu komutu çalıştırmak güvenli mi?”
“İşlem başarısız oldu, tekrar denemeli miyim?”
“Bu işi daha güçlü bir modele göndermem gerekiyor mu?”
“Kullanıcıdan ek bilgi istemeli miyim?”
Bunların hiçbirinin cevabı bir paragraf veya sayfa dolusu cümleyi gerektirmiyor. Çoğu aslında bir seçim, puanlama veya "evet-hayır" kararı.
Jev tam olarak bu alanı hedefliyor.
Büyük dil modellerinden çok daha hızlı
The Register'ın anlatımına göre, ChatGPT veya Claude gibi büyük dil modelleri metni "otoregresif" biçimde üretiyor. Yani model önce bir token üretiyor, ardından önceki token'lara bakarak bir sonrakini tahmin ediyor ve metin adım adım oluşuyor.
Jev uzun metin üretmediği için bu sürece ihtiyaç duymuyor.
TypeSafe'in “System One Model” adını verdiği yaklaşım, bir sorgudaki yapılandırılmış sonuçları aynı anda hesaplamaya odaklanıyor. Yani çok sayıda kararın veya seçeneğin sırayla metne dönüştürülmesi yerine sonuçlar eş zamanlı değerlendirilebiliyor.
İsim, ünlü İsrail-Amerikalı psikolog Daniel Kahneman'ın hızlı ve sezgisel düşünme biçimini ifade eden “Sistem 1” kavramına gönderme yapıyor.
Amaç uzun bir muhakeme zinciri kurmak yerine belirli ve dar bir konuda hızlı karar vermek.
TypeSafe'in açıkladığı verilere göre, Jev'in uçtan uca yanıt süresi 70 ila 500 milisaniye arasında değişiyor. Şirket farklı iş akışlarında geleneksel LLM'lere kıyasla 40 ila 200 kata varabilen hız farkları ölçtüğünü savunuyor.
Şirketin yayımladığı bir demoda Jev bir işlemi 0,114 saniyede tamamlarken OpenAI modeli aynı görev için 8,566 saniye harcadı. TypeSafe'in başka değerlendirmelerinde de belirli çok aşamalı iş akışlarında 193 kata varan hız farkları raporlandı.
Ancak bunlar büyük ölçüde şirketin kendi testleri veya Jev'i deneyen geliştiricilerin ölçümleri. Yani bağımsız araştırmacılar tarafından henüz teyit edilmedi.
Maliyeti çok daha az
Jev'in dikkat çeken diğer özelliği de düşük maliyeti.
TypeSafe, modeli 1 milyon girdi token'ı başına 0,042 dolar, yani yaklaşık 4,2 cent karşılığında sunuyor. Çıktılar ise ücretsiz.
Bunun nedeni Jev'in uzun metinler üretmemesi. Bir LLM onlarca, yüzlerce hatta binlerce çıktı token'ı oluşturabilirken Jev yalnızca belli bir yapıdaki sonuçları hesaplıyor.
Bu fark tek bir işlemde önemsiz görünebilir. Ancak bir yazılımın günde milyonlarca küçük karar verdiği düşünüldüğünde tablo değişiyor.
Bir yapay zeka ajanının her adımda pahalı ve güçlü bir LLM'e “Şimdi ne yapmalıyım?” diye sorması yerine, küçük kararların Jev gibi daha ucuz bir modele aktarılması mümkün olabilir.
Uçak bileti alırken LLM ile birlikte çalışabilir
Jev'in büyük dil modelleriyle ve yapay zeka ajanlarıyla birlikte çalışabileceği pek çok senaryo var. Örneğin bir kullanıcı, yapay zeka programından kendisine yurtdışı için uçak bileti almasını istediğinde sistem, Jev'e aynı anda şu türden pek çok soru sorabilir: "Buraya tıklamalı mıyım? Bu kutuya yazmalı mıyım? Menüden seçim yapmalı mıyım? Hangi öğeye tıklamalıyım?"
Yazılı bilgi gerektiren durumlar (adres bilgisi vb.) içinse devreye LLM'ler girebilir.
Yani Jev ne yapılacağına karar verirken dil modeli gerektiğinde ne yazılacağını üretebilir.
Dolayısıyla Jev başlı başına yazılım olarak değil, yazılımın içine yerleştirilebilen küçük bir "karar motoru" olarak düşünülebilir.
Elbiseleri bizim yerimize filtreleyebilir
Moda sektörüne yönelik hizmet veren, yapay zeka tabanlı moda trend tahmin platformu T-Fashion’ın kurucusu Mehmet Ali Peker, Euronews Türkçe'ye yaptığı açıklamada Jev'i arama filtrelerine entegre ettiklerini belirtti.
"Kullanıcıların moda defilelerinden fotoğraflar arasında anlam ve tema üzerinden arama yapmasını sağlayan bir sistemimiz var. Örneğin kullanıcı 'asimetrik elbiseler' diye arama yaptığında, sistem bu ifadeyle en ilgili görselleri sıralıyor ve kullanıcı sayfayı aşağı kaydırdıkça daha fazla sonuç gösteriyor. Ancak burada bir sorun ortaya çıkabiliyor. İlk sonuçlar gerçekten asimetrik elbiselerden oluşurken, kullanıcı aşağı indikçe aramayla ilgisi daha düşük, hatta aslında asimetrik olmayan elbiseler de görünmeye başlayabiliyor. Bu durum kullanıcının sisteme duyduğu güveni zedeleyebiliyor," diyen Peker, şöyle devam etti:
"Aslında görsellere daha önceden verilmiş etiketleri kullanan, e-ticaret sitelerindekine benzer filtrelerimiz var. Kullanıcı bunları manuel olarak seçtiğinde çok daha kesin sonuçlara ulaşabiliyor. Fakat kullanıcı davranışı genellikle böyle değil, insanlar filtreleri tek tek seçmek yerine ne aradıklarını doğrudan arama kutusuna yazmayı tercih ediyor."
Bu nedenle yakın zamanda Jev’i kullanarak arama sorgusuyla filtreler arasında otomatik bir köprü kurduklarını ifade eden Peker'e göre, artık kullanıcı “asimetrik elbiseler” yazdığında Jev sorgunun neyi tarif ettiğini belirleyip ilgili filtreleri otomatik olarak çıkarıyor ve uyguluyor. Böylece kullanıcı filtreleri kendisi seçmek zorunda kalmadan daha kesin sonuçlara ulaşabiliyor.
"Sistem farklı dillerde yazılan sorguları ve yazım hatalarını da tolere edebiliyor. İlk sonuçlar oldukça iyi ancak henüz yeni kullanmaya başladığımız için öngörmediğimiz uç durumların ortaya çıkıp çıkmayacağını görmek üzere sistemi izlemeye devam ediyoruz."
Yapay zeka ajanlarının 'gözetmeni' de olabilir
TechCrunch'ın aktardığına göre Almeida, Jev'i yalnızca bazı görevlerde LLM'lerin yerine kullanılabilecek bir sistem olarak görmüyor. Model aynı zamanda büyük dil modellerini denetleyen bir katman haline gelebilir.
Örneğin otonom bir yapay zeka ajanının yaptığı işlemleri başka güçlü bir LLM ile sürekli kontrol etmek mümkün. Fakat bir ajanı başka bir ajanla denetlemek maliyeti hızla artırıyor.
Jev'in düşük maliyeti burada avantaj sağlayabilir.
Almeida, kullanıcıların Jev'i LLM ajanlarının işlem kayıtlarını takip etmek, şüpheli davranışları belirlemek veya jailbreak (güvenlik bariyerlerini aşma) girişimlerini tespit etmek için kullanabileceğini düşünüyor.
Milyonlarca token'lık gereksiz bilgiyi eleyebilir
Bir başka potansiyel kullanım alanı “context compression”, yani bağlam sıkıştırma.
Günümüz yapay zeka sistemlerine verilen belgeler, mesaj geçmişleri ve diğer veriler giderek büyüyor. Ancak bunların tamamı mevcut görev açısından aynı derecede önemli değil.
Jev gibi hızlı ve düşük maliyetli bir sınıflandırma aracı, büyük miktardaki içeriği tarayarak hangi parçaların görev açısından önemli olduğunu puanlayabilir. Ardından yalnızca yüksek önem taşıyan bilgiler daha pahalı ve güçlü modele gönderilebilir.
Böylece milyonlarca token'lık veri havuzunun tamamını güçlü bir LLM'e göndermek yerine önce az maliyetli bir eleme yapılabilir.
Kullanıcıların dağınık bilgi kaynaklarını derleyerek yapay zekalı sohbet asistanına dönüştüren Gurubase platformunun kurucusu Fatih Baltacı, Jev'i tam da bu noktada kullandıklarını belirtti.
Euronews Türkçe'ye konuşan Baltacı, "Yapay zeka ajanları geliştirirken doğru cevap üretmenin ilk adımlarından biri, kullanıcının sorusuyla ilgili doğru doküman parçalarını bulmak. Şimdi Jev'i, bulunan her doküman parçasının kullanıcının sorusuyla gerçekten alakalı olup olmadığını puanlamak için kullandık," dedi:
"Daha önce bu işi bir LLM ile yapıyorduk. Jev, LLM'e oldukça benzer sonuçlar verirken, işlem süresini 2-3 saniyeden yaklaşık 200 milisaniyeye indirdi."
Başka bir yapay zeka karar verebilir
Benzer bir fikir de "model routing", yani model yönlendirme.
Her görevin en güçlü yapay zeka modeline gönderilmesi gerekmiyor. Bir e-postanın sahte olup olmadığını belirlemekle karmaşık bir yazılım hatasını çözmek aynı düzeyde hesaplama gerektirmiyor.
Jev, basit görevleri küçük ve ucuz modellere, zor görevleri ise daha güçlü modellere yönlendirebilir.
Normalde bu kararı başka bir LLM'e verdirmek mümkün. Ancak milyonlarca istek söz konusu olduğunda bunun için LLM çağırmak bile pahalıya mal olabiliyor.
Şirketler Jev'i denemeyi sürdürüyor
Jev'in piyasaya çıkmasının ardından geliştiricilerin ilgisi beklenenden yüksek oldu. TechCrunch'a göre talep bir noktada TypeSafe'in API üzerinden kullanıcılara hizmet verme kapasitesini kısa süreliğine aşacak seviyeye ulaştı.
Sosyal medyada da çok sayıda geliştirici, Jev ile yaptıkları denemeleri ve aldıkları sonuçları paylaşınca sistem kısa sürede viral oldu. Üstelik Jev her ne kadar düşük maliyetli olsa da ücretli kullanıma açık. Ancak TypeSafe şu anda programın açık ağırlıklı versiyonu Kev üzerinde de çalışıyor. Bu da ilerleyen günlerde internette sistemle ilgili deneme paylaşımlarının daha da artabileceğini düşündürüyor.
Sektör temsilcileri halen temkinli
Halihazırda girişimler, Jev'i sistemlerine entegre etmeye başladı. Euronews Türkçe'ye konuşan girişimci Eser Özvataf, iş arayan adayların özgeçmişlerine ve pozisyona göre kişiselleştirilmiş mülakat soruları oluşturan yapay zeka hizmeti TalentScore'u Jev'in yeni teknolojisi doğrultusunda dönüştürmeye başladıklarını ifade etti.
Yine de sektör duruma halen temkinli yaklaşıyor. Reklam endüstrisi için yapay zeka çözümleri sunan ADIN AI'ın kurucusu Serhat Gürcü, ekibinin Jev'i reklam analizlerinde kullanmaya başlayacağını, ancak konuya şimdilik epey şüpheci yaklaştıklarını belirtti.
Yapay zeka destekli bordro (maaş hesaplama) ve insan kaynakları hizmetleri sunan Datassist'in CEO'su Umut Özbağcı ise "Bizim işimizde deterministik çıktı hayati ama Jev için birkaç deneysel iş akışı dışında çok keskin bir uygulama alanı bulamadık," dedi.
Özbağcı, Jev'in "System One Model" anlayışının yukarıda da bahsi geçen Psikolog Kahneman'ı hatırlattığını sözlerine ekledi:
"Bence Kahneman’ı ve doğal zekanın gerçekten nasıl çalıştığını merak ettirirse inanılmaz bir kapı açar."
Halüsinasyon göremezse hata da yapamaz mı?
TypeSafe, Jev'in serbest metin üretmediği ve olası çıktılar önceden tanımlandığı için halüsinasyon sorununu ortadan kaldırdığını savunuyor.
Zira ChatGPT benzeri bir sistemden dört yazılım aracından birini seçmesini istediğinizde model teorik olarak var olmayan beşinci bir aracın adını üretebilir veya beklenmeyen formatta cevap verebilir. Jev'de ise çıktı şeması önceden sınırlandırıldığı için böyle bir sonuç üretilmesi mümkün değil.
İşletmelere yapay zeka destekli çağrı merkezi ve müşteri deneyimi yazılımları sunan AloTech firmasının CTO'su İdris Avcı da Euronews Türkçe'ye yaptığı açıklamada, LLM'lerdeki "gürültü" seviyesinin çok daha fazla olduğunu söyledi.
Avcı ve ekibi, Jev'in tutarlılığını görmek için çağrı kayıtlarının yazılı dökümleri üzerinden duygu analizi (sentiment analysis) testleri yaptı. Aynı çağrı kaydı modele 10 kez ayrı ayrı gönderilerek sonucun ne kadar değiştiğine bakıldı. Her denemede Jev aynı duygu etiketini verdi, yani örneğin bir konuşmayı ilk denemede “olumsuz” olarak sınıflandırdıysa sonraki denemelerde de bu sınıflandırma değişmedi. Modelin bu karara verdiği olasılık puanlarında da küçük farklılıklar görüldü. Olasılık değerleri denemeler arasında yalnızca 3–5 yüzde puanlık dar bir aralıkta değişti. Bu test, aynı girdinin tekrar tekrar işlendiğinde kararın sabit kaldığını, yalnızca modelin bu karara atadığı olasılıkta küçük dalgalanmalar olduğunu gösteriyor.
Ancak bu durum, Jev'in yanlış karar veremeyeceği anlamına da gelmiyor.
Model dört seçenek arasından yanlış olanı seçebilir veya bir durumun gerçekleşme ihtimalini yanlış tahmin edebilir.
Dolayısıyla klasik LLM'lerdeki serbest metin halüsinasyonu büyük ölçüde ortadan kaldırılırken problem başka bir biçime dönüşüyor: Yanlış sınıflandırma veya hatalı olasılık tahmini.
Adı neden Jev?
Modelin adı da şirketin yapay zekanın geleceğine ilişkin ekonomik tezini yansıtıyor. Zira “Jev”, 19. yüzyıl İngiliz ekonomisti William Stanley Jevons'tan geliyor.
Jevons'un ortaya koyduğu ve bugün “Jevons Paradoksu” olarak bilinen fikir, teknolojik verimliliğin artmasının her zaman toplam kaynak tüketimini azaltmadığını söylüyor. Klasik örneğe göre, kömür kullanımının daha verimli hale gelmesi, kömüre olan talebi azaltmak yerine kullanım alanlarını genişleterek toplam tüketimin artmasına yol açabiliyor.
TypeSafe aynı şeyin yapay zeka için gerçekleşebileceğini düşünüyor.
Eğer bir birim “zeka” çağırmanın maliyeti çarpıcı biçimde düşerse, bugün yapay zeka kullanmanın ekonomik olmadığı milyonlarca küçük işlemde model kullanmak mümkün hale gelebilir.
Almeida'nın öngördüğü gelecek bu nedenle birkaç dev sohbet botunun her şeyi yaptığı bir dünya değil.
TechCrunch'a verdiği röportajda Almeida gelecek öngörüsünü şöyle açıklıyor:
"Akıllı yazılımların her yerde, kendiliğinden ortaya çıkan ve dağıtık bir biçimde bulunacağını düşünüyoruz."
euronews