Yapay zekâ ekonomisinde ROI krizi

Ekonomik tarihin en tuhaf dönemlerinden birini yaşıyoruz. Bir yanda Nvidia, tek bir çeyrekte 57 milyar dolar gibi bir gelir açıklıyor. Diğer yanda ise yatırımcılar, Amerika Birleşik Devletleri’nin Gayri Safi Yurt İçi Hasıla'nın %1'i gibi devasa bir servetin bu teknolojiye akıtılmasına rağmen huzursuz; hisselerini satıyor, "yatırımın geri dönüşü” (ROI) konusunda şüpheler duyuyor.

Haber bültenlerinde "milyar dolarlık yatırım" başlıkları havada uçuşurken, bu paranın karşılığı olan somut ekonomik etkiyi hayatımızda henüz hissedemiyoruz.

Son beş̧ yıldır yapay zekâ dünyasının tek bir hedefi vardı: "Daha fazla veri + daha fazla işlem gücü̈ = Daha akıllı model." Bu, şirketler için riski düşük, getirisi garanti bir yoldu. Buna "Ölçekleme Yasaları" (Scaling Laws) deniyordu. Ancak bu yasalar, fiziğin yerçekimi kanunu gibi evrensel değil; sadece bir süreliğine geçerli olan deneysel gözlemlermiş̧. Bunu şu sıralar idrak ediyoruz. Fakat yapay zekâ dünyasının en ünlü̈ şüphecisi Gary Marcus, daha 2022'de "Derin Öğrenme Duvara Çarpıyor" makalesini yazdığında umursanmamıştı. Bugün ise haklı çıktığını herkes görebiliyor. Marcus'a göre, GPT-4'ten sonraki modellerde beklenen o fark oluşmadı; sadece ufak iyileşmeler ölçümlendi.

Milyarlarca dolar harcanıp karşılığında sadece "biraz daha iyi" bir model elde etmek, yatırımcıların duymak istediği hikâye değil. Buna ekonomide "Azalan Getiriler Yasası" (Diminishing Returns) denir ve şu an yapay zekâ tam olarak bu duvara toslamış̧ durumda.

Meta'nın eski çalışanı Yann LeCun, bu konuda daha da radikal söylemlerde bulunuyor. Ona göre şu an kullandığımız Büyük Dil Modelleri (LLM), insan seviyesinde zekâya giden otoyolda bir "çıkmaz sokak" (off-ramp). Çünkü̈ bu modeller dünyayı anlamıyor; sadece metin istatistiklerini ezberliyor. LeCun, bir ev kedisinin bile fiziksel dünyayı en gelişmiş̧ yapay zekâdan daha iyi anladığını savunuyor. Çünkü̈ kediler (ve insanlar), dünyayı saniyede 20 megabayt veri taşıyan optik sinirlerle, yani görerek ve deneyimleyerek öğreniyor. Oysa LLM'ler, internetteki tüm metinleri okusalar bile (ki bu yaklaşık 2 × 10¹³ bayt eder), 4 yaşındaki bir çocuğun gördüğü görsel verinin yanında bu bilgi "devede kulak" kalıyor.

LeCun'a göre, bir sonraki kelimeyi tahmin etmeye dayalı (autoregressive) sistemler, doğaları gereği halüsinasyon görmeye ve hataya sürüklenmeye mahkûm. Çünkü her kelime üretiminde hata payı, bileşik faiz gibi katlanarak artıyor.

"Ölçekleme Çağı"ndan "Araştırma Çağı"na geçiş

OpenAI'ın eski ortaklarından ve SSI'ın kurucusu Ilya Sutskever ise durumu farklı bir perspektiften, "Ölçekleme Çağı"ndan "Araştırma Çağı"na geçiş olarak tanımlıyor. Sutskever, mevcut modellerdeki en kafa karıştırıcı durumun "test başarısı vs. ekonomik etki" arasındaki uçurum olduğunu belirtiyor. Modeller, zorlu akademik testlerde (evals) harikalar yaratıyor. Ancak gerçek hayatta, ekonomik verimlilik beklenen seviyenin çok altında. Sutskever bu durumu çarpıcı bir örnekle anlatıyor: “Bir modelden kodunuzdaki hatayı düzeltmesini istiyorsunuz. Hatayı düzeltirken ikinci bir hata yaratıyor. Onu uyardığınızda, "Çok haklısın!" deyip ikinciyi düzeltirken ilk hatayı geri getiriyor. Bu kısır döngü, modellerin aslında ne yaptığını "anlamadığını", genelleme yeteneklerinin (generalization) insanlara kıyasla dramatik ölçüde zayıf olduğunu gösteriyor.” Sutskever'in işaret ettiği bir diğer kritik nokta ise ön eğitim (pre-training) için kullanılan verinin sonlu oluşu ve bu verinin sonuna gelinmiş oluşu.

Şirketler şimdi "Pekiştirmeli Öğrenme"ye (RL) odaklanmış durumdalar. Ancak RL, ön eğitimden bile daha fazla işlem gücü ve maliyet gerektiren bir süreç. Eskiden veri ve işlem gücünü karıştırıp sonucu bekliyorduk; şimdi ise bilinmeyene doğru, çok pahalı deneyler yapılan bir "Araştırma Çağı"nda olduğumuzu vurguluyor.

Sutskever'e göre cevap biyolojimizde gizli olabilir. İnsanlar, yapay zekânın aksine çok az veriyle öğrenebiliyor. Bir genç, 10-20 saatlik sürüş deneyimiyle araba kullanmayı çözebiliyor. Bunun sırrı, bizde evrimsel olarak kodlanmış bir "Değer Fonksiyonu" (Value Function) olabilir. Beynimiz, bir işin sonucunu görmeden, o işin gidişatının iyi mi, yoksa kötü mü olduğunu bize söyleyebiliyor. Sutskever, bu mekanizmanın duygularımız tarafından yönetildiğini düşünüyor. Beyninin duygu merkezi hasar gören bir hastanın, mantıklı düşünebilmesine rağmen çorap seçmek gibi basit bir kararı bile verememesi, duyguların aslında biyolojik bir navigasyon sistemi olduğunu kanıtlıyor. Yapay zekâ, ancak bu "sezgisel" değer fonksiyonunu çözüp, insani öğrenme verimliliğine ulaştığında gerçek bir sıçrama yapabilecek gibi ve Sutskever de böyle düşünüyor.

Piyasalar, Nvidia ve yapay zekâ hisselerinde yaşanan dalgalanmalarla bir "Dot-com balonu" korkusu yaşıyor olabilir. Ancak 2000'lerin başındaki internet balonu patladığında internet yok olmadı, aksine spekülasyon bitti ve gerçek iş modelleri (Amazon, Google) günlük hayatımızın vazgeçilmez birer parçası oldu.

Yapay zekâ için de daha çok veri ve daha güçlü makineye sahip olanların daha iyi bir model elde edebildiği bir devir kapanıyor. Şimdi daha akıllı, daha verimli ve daha insani yapma devri başlıyor. Bu zorlu bilimin başladığı bir yere benziyor ve görünen o ki yapay zekânın dönmesi gereken zorlu bir viraj var.