OpenAI ve diğer önde gelen yapay zeka şirketleri, mevcut yöntemlerin sınırlamalarını aşmak için yeni eğitim teknikleri geliştiriyor. Daha büyük, daha güçlü dil modellerinin geliştirilmesindeki beklenmedik gecikmeleri ve komplikasyonları ele alan bu yeni teknikler, algoritmalara 'düşünmeyi' öğretmek için insan benzeri davranışlara odaklanıyor.

Bir düzine YZ araştırmacısı, bilim insanı ve yatırımcı tarafından yönetildiği bildirilen ve OpenAI'nin son 'o1' modelinin (eski adıyla Q* ve Strawberry) temelini oluşturan yeni eğitim teknikleri, YZ geliştirme ortamını dönüştürme potansiyeline sahip. Bildirilen ilerlemeler, YZ modellerinin geliştirilmesine yardımcı olmak için özel donanım ve enerji de dahil olmak üzere YZ şirketlerinin sürekli ihtiyaç duyduğu kaynak türlerini veya miktarlarını etkileyebilir.

o1 modeli, sorunlara insan muhakemesini ve düşüncesini taklit edecek şekilde yaklaşmak ve çok sayıda görevi adımlara ayırmak üzere tasarlanmıştır. Model ayrıca performansını artırmak için YZ endüstrisindeki uzmanlar tarafından sağlanan özel verileri ve geri bildirimleri kullanıyor.

ChatGPT'nin 2022'de OpenAI tarafından tanıtılmasından bu yana, YZ inovasyonunda bir artış yaşandı ve birçok teknoloji şirketi, mevcut YZ modellerinin daha fazla miktarda veri veya gelişmiş bilgi işlem kaynakları yoluyla genişletilmesi gerektiğini iddia ediyor. Ancak o zaman YZ modelleri sürekli olarak gelişebilir.

Şimdi, YZ uzmanları YZ modellerinin ölçeklendirilmesinde sınırlamalar olduğunu bildirdiler. 2010'lar ölçeklendirme için devrim niteliğinde bir dönemdi, ancak Safe Superintelligence (SSI) ve OpenAI yapay zeka laboratuvarlarının kurucu ortağı Ilya Sutskever, özellikle dil yapılarını ve kalıplarını anlama konusunda yapay zeka modellerinin eğitiminin düzlüğe çıktığını söylüyor.

“2010'lar ölçeklendirme çağıydı, şimdi yeniden merak ve keşif çağındayız. Doğru şeyi ölçeklendirmek artık daha önemli” dediler.

Son zamanlarda, yapay zeka laboratuvarı araştırmacıları OpenAI'nin GPT-4 modelinden daha güçlü olan büyük dil modellerinin (LLM) geliştirilmesinde ve piyasaya sürülmesinde gecikmeler ve zorluklar yaşadılar.

İlk olarak, genellikle on milyonlarca dolara ulaşan büyük modellerin eğitim maliyeti söz konusudur. Ayrıca, sistem karmaşıklığı nedeniyle donanımın arızalanması gibi ortaya çıkan komplikasyonlar nedeniyle, bu modellerin nasıl çalıştığına dair nihai bir analiz aylar sürebilir.

Bu zorluklara ek olarak, eğitim çalışmaları önemli miktarda enerji gerektirir ve bu da genellikle süreçleri kesintiye uğratabilecek ve daha geniş elektrik şebekesini etkileyebilecek güç kesintilerine neden olur. Bir başka sorun da büyük dil modellerinin kullandığı devasa miktardaki veridir; öyle ki yapay zeka modellerinin dünya çapında erişilebilir tüm verileri tükettiği bildirilmektedir.

Araştırmacılar, mevcut yapay zeka modellerini eğitilirken veya çıkarım aşamalarında iyileştirmek için 'test zamanı hesaplama' olarak bilinen bir tekniği araştırıyor. Bu yöntem, bir dizi en iyi çözüme karar vermek için gerçek zamanlı olarak birden fazla yanıtın üretilmesini içerebilir. Bu nedenle model, insan benzeri karar verme ve muhakeme gerektiren zor görevlere daha fazla işlem kaynağı ayırabilir. Amaç, modeli daha doğru ve yetenekli hale getirmek.

OpenAI'de o1 modelinin geliştirilmesine yardımcı olan araştırmacı Noam Brown, yeni bir yaklaşımın nasıl şaşırtıcı sonuçlar elde edebileceğine dair bir örnek paylaştı. Geçen ay San Francisco'da düzenlenen TED AI konferansında Brown, “bir botun bir el pokerde sadece 20 saniye düşünmesini sağlamanın, modeli 100.000 kat büyütmek ve 100.000 kat daha uzun süre eğitmekle aynı performansı artırdığını” açıkladı.

Sadece model boyutunu ve eğitim süresini artırmak yerine, bu durum YZ modellerinin bilgiyi işleme şeklini değiştirebilir ve daha güçlü, verimli sistemlere yol açabilir.

Diğer yapay zeka laboratuvarlarının da o1 tekniğinin versiyonlarını geliştirmekte olduğu bildiriliyor. Bunlar arasında xAI, Google DeepMind ve Anthropic yer alıyor. YZ dünyasındaki rekabet yeni bir şey değil, ancak yeni tekniklerin bir sonucu olarak YZ donanım pazarı üzerinde önemli bir etki görebiliriz. Ürünlerine olan yüksek talep nedeniyle şu anda YZ çiplerinin arzına hakim olan Nvidia gibi şirketler, güncellenmiş YZ eğitim tekniklerinden özellikle etkilenebilir.

Nvidia Ekim ayında dünyanın en değerli şirketi haline geldi ve servetindeki yükseliş büyük ölçüde çiplerinin YZ dizilerinde kullanılmasına bağlanabilir. Yeni teknikler Nvidia'nın pazardaki konumunu etkileyebilir ve şirketi ürünlerini gelişen YZ donanım talebini karşılayacak şekilde uyarlamaya zorlayabilir. Potansiyel olarak bu, çıkarım pazarında yeni rakipler için daha fazla yol açabilir.

Ufukta, gelişen donanım talepleri ve o1 modelinde kullanılanlar gibi daha verimli eğitim yöntemleri ile yönlendirilen yeni bir YZ geliştirme çağı olabilir. Hem YZ modellerinin hem de bunların arkasındaki şirketlerin geleceği yeniden şekillenebilir, benzeri görülmemiş olasılıkların ve daha fazla rekabetin kilidini açabilir.