GPU sunucu seçiminde en sık yapılan hata, yalnızca "hangi kart daha güçlü" sorusuna bakmaktır. Gerçekte belirleyici olan: modelin VRAM'e sığıp sığmadığı, iş yükünün eğitim mi çıkarım mı olduğu ve eşzamanlı kullanıcı sayısıdır.
1. İş yükünüzü tanımlayın
| İş yükü | Öncelik | Not |
|---|---|---|
| Çıkarım (inference), tek kullanıcı/geliştirme | VRAM kapasitesi | Model sığarsa çoğu zaman tek kart yeter |
| Çıkarım, çok kullanıcılı üretim | VRAM + verim (throughput) | Eşzamanlı istek ve bağlam uzunluğu belleği büyütür |
| İnce ayar (fine-tuning, LoRA) | VRAM + sistem RAM | Parametre verimli yöntemler VRAM ihtiyacını azaltır |
| Sıfırdan eğitim | Çoklu GPU + hızlı ara bağlantı | Genelde kurumsal ölçek ve özel proje |
| Görüntü/video üretimi, render | VRAM + GPU hesaplama gücü | Uygulamaya özgü ihtiyaçlar |
2. VRAM: en kritik kaynak
Model ağırlıkları GPU belleğine (VRAM) sığmalıdır. 4-bit nicemlenmiş bir modelin ağırlıkları kabaca parametre sayısının (milyar) yarısı kadar GB tutar; üstüne bağlam (KV cache) ve çalışma zamanı belleği eklenir. Uzun bağlam ve çok eşzamanlı kullanıcı bu payı hızla büyütür. Sınırda kalan bir kurulum yerine bir üst bellek sınıfı genellikle daha güvenlidir.
3. Diğer bileşenler
- Sistem RAM: Model yükleme ve veri hazırlama için GPU belleğinin en az birkaç katı olması rahatlık sağlar.
- NVMe depolama: Model dosyaları büyüktür (onlarca GB); hızlı disk yükleme süresini kısaltır.
- CPU: Veri ön işleme ve hizmet katmanı için yeterli çekirdek olmalı; darboğaz olmamalı.
- Ağ: Çoklu sunucu eğitimi yapılacaksa yüksek bant genişlikli ve düşük gecikmeli bağlantı gerekir.
- Soğutma ve güç: Sürekli yük altında güç ve termal tasarım önemlidir.
4. Satın almadan önce test edin
- Gerçek modelinizi ve gerçek istek profilinizle (bağlam uzunluğu, eşzamanlılık) kısa bir performans testi yapın.
- Saniyedeki token sayısı, ilk token gecikmesi ve VRAM kullanımını ölçün.
- Maliyeti kullanım başına hesaplayın: sabit sunucu kirası ile bulut API token maliyetini karşılaştırın.
Ne zaman bulut API'si yeterli?
Düşük veya dalgalı hacimde, en yeni ve en büyük modellere ihtiyaç varsa bulut API'si daha ekonomik ve kolay olabilir. Veri gizliliği, sabit ve yüksek hacim, özel model gibi durumlarda kendi GPU sunucunuz mantıklıdır. Ollama ile kendi LLM sunucunuz
Sık sorulan sorular
Model eğitimi için tek GPU yeter mi?
Küçük modellerde ve parametre verimli ince ayarda (LoRA gibi) tek GPU yeterli olabilir. Büyük modelleri sıfırdan eğitmek çoklu GPU ve hızlı ara bağlantı gerektirir.
Çıkarım için GPU yerine CPU kullanılabilir mi?
Küçük modellerde mümkündür ama yanıt hızı düşüktür. Gerçek zamanlı ve çok kullanıcılı kullanımda GPU belirgin avantaj sağlar.
Kaynaklar
Bu yazı genel bilgilendirme amaçlıdır; hizmet kapsamı ve güncel özellikler için ilgili ürün sayfasına bakın.