Ollama, açık ağırlıklı büyük dil modellerini (LLM) kendi makinenizde veya sunucunuzda tek komutla indirip çalıştırmanızı sağlayan açık kaynak bir araçtır. Verilerinizin üçüncü taraf bir API'ye gitmediği, maliyetin kullanım başına değil sabit olduğu bir yapı sunar.
Neden kendi sunucunuzda çalıştırmalısınız?
- Gizlilik: Müşteri verisi, sözleşmeler ve kaynak kod dışarı çıkmaz.
- Öngörülebilir maliyet: Token başına ücret yok; kullanım arttıkça maliyet artmaz.
- Kontrol: Model seçimi, sürüm, sistem komutları ve ince ayar sizde.
- Gecikme: Uygulamanıza yakın bir sunucuda ağ gecikmesi azalır.
Donanım gereksinimi
Gereken bellek modelin boyutuna ve nicemlemeye (quantization) bağlıdır. Kaba bir kural olarak 4-bit nicemlenmiş bir modelin bellek ihtiyacı, parametre sayısının (milyar) yaklaşık yarısı GB kadardır, üzerine bağlam (context) belleği eklenir:
| Model boyutu | Yaklaşık bellek (4-bit) | Tipik donanım |
|---|---|---|
| 7-8 milyar parametre | 5-6 GB | 8 GB+ VRAM'li GPU veya 16 GB RAM (CPU, yavaş) |
| 13-14 milyar parametre | 9-10 GB | 12-16 GB VRAM'li GPU |
| 30-34 milyar parametre | 20-24 GB | 24 GB VRAM'li GPU |
| 70 milyar parametre | 40+ GB | Çoklu GPU veya 48-80 GB VRAM |
Kurulum adımları
- GPU sürücülerini ve CUDA yığınını kurun (NVIDIA GPU'larda).
- Ollama'yı resmi betikle kurun; servis olarak çalışsın.
- Bir model indirin ve test edin (ör. ollama run <model>).
- API'yi yalnızca iç ağa veya VPN'e açın; internete doğrudan açmayın, önüne kimlik doğrulaması olan bir ters vekil (reverse proxy) koyun.
- Kullanım ve GPU belleğini izleyin; gerektiğinde nicemleme düzeyini veya modeli değiştirin.
Ne zaman bulut API'si, ne zaman kendi sunucu?
| Durum | Öneri |
|---|---|
| Düşük hacim, en yüksek model kalitesi | Bulut API |
| Hassas veri, yüksek ve sabit hacim | Kendi sunucu |
| Deneme ve prototip | Bulut API veya yerel makine |
| Çevrimdışı/izole ortam | Kendi sunucu |
Hosting Telekom yapay zeka altyapı çözümleri için teklif formunu kullanabilirsiniz; iş yükünüze göre GPU ve bellek ihtiyacı birlikte planlanır.
Sık sorulan sorular
Ollama için GPU şart mı?
Şart değil. Küçük modeller yalnızca CPU ve yeterli RAM ile de çalışır ama yanıt süresi uzar. Üretim kullanımı için GPU önerilir.
Ollama API'sini internete açabilir miyim?
Doğrudan açmayın. Kimlik doğrulaması ve hız sınırı olan bir ters vekil kullanın, mümkünse erişimi VPN veya IP beyaz listesiyle kısıtlayın.
Kaynaklar
Bu yazı genel bilgilendirme amaçlıdır; hizmet kapsamı ve güncel özellikler için ilgili ürün sayfasına bakın.