Evdeki Boşta Duran Bilgisayarları Yapay Zeka Canavarına Dönüştüren Teknoloji: NVIDIA PAIR Nedir?

Wait 5 sec.

Belki teknoloji merakınızdan, belki işiniz gerektirdiği için elinizde birden fazla bilgisayar olabilir. Oyun oynadığınız güçlü bir masaüstü, işlerinizi hallettiğiniz bir laptop veya artık eskisi kadar kullanmadığınız başka bir bilgisayarınız vardır. Hepsini aynı anda kullanmıyor, dolayısıyla sahip oldukları işlem gücünün tamamından da her zaman yararlanamıyorsunuz. Özellikle yapay zekâ uygulamalarında bu durum daha da belirginleşiyor: Bir bilgisayar ağır bir işle uğraşırken diğerlerinin gücü büyük ölçüde atıl kalabiliyor.NVIDIA'nın PAIR (Personal AI Router) projesi, bu bilgisayarları aynı ağ üzerinde buluşturuyor. PAIR, yapay zekâ görevlerini ağdaki farklı makineler arasında paylaştırarak tek bir bilgisayara yüklenmek yerine elinizdeki donanımın tamamından yararlanmanıza imkân veriyor.Windows, Linux ve macOS aynı kümeye girebiliyorPAIR, farklı işletim sistemlerini aynı ağ üzerinde bir araya getirebiliyor.RTX ekran kartlı bir Windows bilgisayar, Ubuntu çalıştıran başka bir tanesi ve Apple Silicon işlemcili bir MacBook aynı PAIR kümesinde yer alabiliyor.Sistemin çalışması için ayrı bir ana sunucu kurmak da gerekmiyor. Ağdaki cihazlar hem görevleri çalıştırıyor hem de yönlendirme sürecine katılıyor.Kümeye yeni bir bilgisayar eklediğinizde kullanılabilecek toplam donanım da artıyor.PAIR mevcut yapay zekâ araçlarının önüne yerleşiyorPAIR yeni bir yapay zekâ çıkarım motoru değil. Ollama ve LM Studio gibi araçların önünde çalışan bir proxy katmanı. Bu ayrım önemli. Çünkü PAIR kullanmak için mevcut yapay zekâ uygulamanızı baştan kurmanız gerekmiyor.İstemci veya ajan kodunuz aynı kalabiliyor. Yalnızca bağlantıyı PAIR yönlendiricisine verdiğinizde görevlerin ağdaki uygun bilgisayarlara dağıtılmasını sistem üstleniyor.Kullanıcı tarafında tek bir bağlantı var. Arka planda ise birden fazla bilgisayar çalışıyor.Çoklu ajanlarda boşta kalan GPU'lar işe yarıyorYapay zekâ ajanları tek başına bir görev yürütmek yerine işi küçük parçalara ayırabiliyor. Örneğin bir ajan takvimi kontrol ederken başka biri e-postaları inceleyebilir. Bir diğer ajan da bu bilgilerden özet hazırlayabilir. Tek bilgisayarda çalışırken bu görevlerin tamamı aynı GPU'nun kaynaklarını kullanıyor.PAIR ise bağımsız görevleri farklı cihazlara gönderebiliyor. Bir bilgisayarın GPU'su meşgulse diğer makinenin boş kapasitesi kullanılabiliyor.Buradaki fikir, birkaç ekran kartını fiziksel olarak tek bir GPU'ya dönüştürmek değil. Aynı anda yapılabilecek işleri farklı bilgisayarlara paylaştırmak.NVIDIA'nın testinde süre 18 dakikadan 8 dakikaya iniyorNVIDIA'nın gösteriminde beş alt ajandan oluşan bir iş yükü kullanıldı. Tek bir RTX Spark Laptop ile görevlerin tamamlanması 18 dakika sürdü.Laptop, DGX Spark ve RTX 5090'dan oluşan PAIR kümesinde ise aynı iş yükü 8 dakika 48 saniyede tamamlandı. Süre yaklaşık yarıya indi.Burada yine önemli bir ayrıntı var: PAIR tek bir isteği üç GPU arasında bölmüyor. Birbirinden bağımsız çalışabilen görevleri farklı cihazlara dağıtıyor.Bilgisayarda oyun açarsanız ne oluyor?Ev bilgisayarlarının kullanım şekli gün içinde sürekli değişebilir. Sabah yapay zekâ görevi çalıştırdığınız bilgisayarda akşam oyun oynayabilirsiniz. PAIR bu değişime göre hareket edebiliyor.Kümeye dahil bir bilgisayarda GPU'yu yoğun kullanan bir oyun açıldığında cihaz artık yapay zekâ görevleri için uygun olmayabilir. PAIR bu bilgisayarı görev dağıtımından çıkarabiliyor.Laptopun kapağını kapatmanız da sistemi durdurmuyor. Diğer bilgisayarlar çalışmaya devam ediyor. Cihaz yeniden boşta kaldığında kümeye geri dönebiliyor.PAIR, VRAM'leri birleştirmiyorPAIR'ın önemli bir sınırı bulunuyor: Farklı ekran kartlarının VRAM'lerini tek bir havuzda toplamıyor. İki adet 8 GB VRAM'li ekran kartınız varsa bunları 16 GB VRAM gibi kullanamazsınız. Dolayısıyla 16 GB belleğe ihtiyaç duyan bir modeli yalnızca iki adet 8 GB ekran kartınız olduğu için çalıştırmanız mümkün değil.Bir başka konu da modellerin cihazlarda hazır bulunması. Çalıştırmak istediğiniz yapay zekâ modelinin görev gönderilecek bilgisayarda önceden indirilmiş olması gerekiyor.Veriler güvende: Yapay zekâ görevleri yerel ağda kalıyorPAIR'ın yerel yapay zekâ açısından öne çıkan taraflarından biri de verilerin bulut sunucularına gönderilmesini gerektirmemesi.Ağdaki cihazlar birbirlerini mDNS üzerinden buluyor. Cihazlar arasındaki iletişim ise otomatik oluşturulan sertifikalar ve mTLS (Mutual TLS) ile korunuyor. Kod, belge veya kişisel dosyalarla çalışırken bu yapı özellikle anlamlı. Verileri üçüncü taraf bir yapay zekâ sunucusuna göndermek yerine kendi bilgisayarlarınız üzerinde işlem yapabiliyorsunuz.Üstelik işlem gücü için kendi donanımınızı kullandığınızdan bulut servislerine sürekli token veya işlem ücreti ödeme zorunluluğu da ortadan kalkıyor.Kendi yapay zekâ kümenizi nasıl kurarsınız?PAIR kullanmaya başlamak için desteklenen bilgisayarlara aracı kurmanız gerekiyor.1. PAIR'ı kurunPAIR, Apache 2.0 lisansıyla sunulan açık kaynaklı bir proje. Windows, macOS veya Linux cihazlarınıza beta sürümünü kurabiliyorsunuz.2. Bilgisayarları aynı ağa bağlayınPAIR çalışan cihazlar yerel ağ üzerinde birbirlerini buluyor. Güvenli bağlantı için mTLS eşleştirmesini onaylamanız gerekiyor.3. Yapay zekâ aracınızı PAIR'a bağlayınOllama gibi kullandığınız aracın API bağlantısını PAIR'ın yerel yönlendirme portuna yönlendiriyorsunuz. Varsayılan port 11435.Sonrasında görev dağılımını PAIR yapıyor.Boşta kalan bilgisayar kullanılabiliyor, yoğunlaşan cihazın yükü başka makinelere aktarılabiliyor. Laptopu kapattığınızda diğer bilgisayarlar çalışmayı sürdürüyor.Günün sonunda PAIR, yapay zekâ kullanımına farklı bir açıdan bakmamızı sağlıyor. Daha güçlü bir bilgisayar almak ya da yeni bir altyapı kurmak yerine, zaten sahip olduğumuz donanımları nasıl daha verimli kullanabileceğimizi gösteriyor.