Nvidia, ChatGPT gibi sohbet robotları ve görüntü oluşturucular gibi yapay zeka modellerini evde denemek isteyen araştırmacılara, veri bilimcilere ve öğrencilere yönelik küçük bir masaüstü bilgisayar olan Project DIGITS'i duyurdu. Nvidia'nın yeni GB10 Grace Blackwell Superchip'ini içeren 3.000 dolarlık cihaz, Las Vegas'taki CES 2025'te görücüye çıktı. Mayıs ayında piyasaya sürülecek ve bağımsız bir bilgisayar olarak çalışabilecek ya da bir Windows veya Mac makineye bağlanabilecek.

CES'te Nvidia CEO'su Jensen Huang yeni sistemi “masanıza oturan bir bulut bilişim platformu” olarak tanımladı. Şirket ayrıca Project DIGITS'i masaüstü geliştirme ile bulut dağıtımı arasında bir köprü olarak tasarladı. Geliştiriciler yapay zeka uygulamalarını Project DIGITS üzerinde yerel olarak oluşturup test edebilecek, ardından bunları benzer Nvidia donanımı kullanan bulut hizmetlerine veya veri merkezlerine taşıyabilecek.

Project DIGITS bilgisayarının içindeki GB10 çipi, Nvidia Blackwell GPU ile Arm mimarisine dayalı 20 çekirdekli Grace CPU'yu bir araya getiriyor. Nvidia bu çipi MediaTek ile ortaklaşa geliştirdi ve Project DIGITS muhafazası içinde 128GB belleğe ve 4TB'a kadar depolama alanına bağlanıyor.

Yapay zeka modellerini yerel olarak çalıştırma

Şu anda birçok kişi, hesaplama gereksinimleri nedeniyle uzak veri merkezlerinde çalışması gereken YZ modellerini kullanıyor. Zaman içinde, bazı YZ modellerinin yerel, kişisel olarak sahip olunan donanımlarda etkili bir şekilde çalışabilmeleri için inceltilmesi yönünde bir hareket olmuştur. Project DIGITS bu kapasitenin bir kısmını evde sağlayabilir.

Tek bir Project DIGITS ünitesinin 200 milyara kadar parametreye sahip yapay zeka modellerini çalıştırabileceği, iki bağlantılı ünitenin ise 405 milyar parametreye sahip modelleri idare edebileceği bildiriliyor. YZ modellerinde, parametre sayısı kabaca bir YZ modelinin sinir ağı boyutuna ve karmaşıklığına karşılık gelir; daha fazla parametre çalıştırmak için daha fazla bellek ve hesaplama gücü gerektirir. Ayrıca, parametre boyutu YZ modelinin kapasitesini yaklaşık olarak gösterir, ancak farklı büyüklükteki YZ modelleri nasıl eğitildiklerine ve tasarlandıklarına bağlı olarak farklı performans gösterirler.

Bazı küçük açık ağırlıklı YZ dil modelleri (70 milyar parametreye sahip Llama 3.1 70B gibi) ve Flux.1 dev (12 milyar parametre) gibi çeşitli YZ görüntü sentez modelleri muhtemelen Project DIGITS üzerinde rahatça çalışabilir, ancak 405 milyar parametreye sahip Llama 3.1 405B gibi daha büyük açık modeller çalışmayabilir. Daha küçük yapay zeka modellerinde son zamanlarda yaşanan patlama göz önüne alındığında, yaratıcı bir geliştirici muhtemelen ünite üzerinde epeyce ilginç model çalıştırabilir.

DIGITS'in 128GB birleşik RAM'i dikkate değer çünkü RTX 4090 gibi yüksek güçlü bir tüketici GPU'su yalnızca 24GB VRAM'e sahip. Bellek, yapay zeka modeli parametre boyutunda sabit bir sınır görevi görür ve daha fazla bellek, daha büyük yerel yapay zeka modellerini çalıştırmak için yer açar.

Sistem, Nvidia'nın Linux tabanlı DGX OS işletim sistemi üzerinde çalışır ve NeMo framework (yapay zeka modeli geliştirmeye yardımcı olur) ve RAPIDS kütüphaneleri (geliştiriciler tarafından yapay zeka uygulamaları oluşturmak için kullanılır) gibi Nvidia'nın yapay zeka yazılım araçlarına erişim içerir. Kullanıcılar ayrıca PyTorch, Python ve Jupyter notebooks gibi yaygın yapay zeka geliştirme araçlarını da çalıştırabilir.

Project DIGITS diğer yerel yapay zeka seçeneklerine kıyasla ne durumda? NVIDIA yeni bilgisayarının 3.000 dolardan başladığını söylüyor, bu da tam donanımlı bir ünitenin çok daha pahalıya mal olabileceği anlamına geliyor. Ekim ayında yayınlanan bir haber bülteninde Apple, M4 Max çipe sahip bir Mac'in 128 GB'a kadar birleşik belleğe sahip olabileceğini ve Project DIGITS bilgisayarına benzer şekilde 200 milyar parametreye kadar yapay zeka modellerini çalıştırabileceğini yazmıştı.

Şu anda M4 Max ve 128 GB birleşik belleğe sahip bir MacBook Pro ABD'de yaklaşık 4.699 dolara satılıyor, bu da DIGITS'i fiyat ve yapay zeka kapasitesi açısından potansiyel olarak karşılaştırılabilir kılıyor, ancak yapay zeka performansındaki gerçek farklılıkların laboratuvar testlerinde ortaya çıkması gerekecek.