Kendi bilgisayarınızda veya Linux sunucunuzda tamamen size ait, internete bağımlı olmayan bir yapay zekâ sistemi kurmak ister misiniz? Bu rehberde Ollama ve Open WebUI kullanarak sıfırdan Local AI kurulumu yapacak, en iyi modelleri öğrenecek ve donanımınıza uygun modeli nasıl seçeceğinizi göreceksiniz.
İçindekiler
- Local AI Nedir?
- Local AI Nasıl Çalışır?
- Avantajları ve Dezavantajları
- Sistem Gereksinimleri
- Ollama Nedir?
- Ollama Kurulumu
- İlk Modelinizi Kurun
- Ollama Komutları
- Docker Kurulumu
- Open WebUI Kurulumu
- Open WebUI’yi Ollama’ya Bağlama
- İlk Sohbet
- En İyi Yerel Yapay Zekâ Modelleri
- GPU (CUDA / ROCm) Kullanımı
- Performans İpuçları
- Sunucuya (VDS) Kurulum
- Cloudflare Tunnel ile HTTPS
- OpenRouter API Entegrasyonu
- Tavily Web Search Entegrasyonu
- VRAM’e Göre Model Önerileri
- Sık Sorulan Sorular
1. Local AI Nedir?
Local AI, büyük dil modellerini (LLM) doğrudan kendi bilgisayarınızda veya Linux sunucunuzda çalıştırmanızı sağlayan yöntemdir.
Bu sayede;
Verileriniz cihazınızdan çıkmaz.
İnternet bağlantısı olmadan çalışabilir.
API kullanım ücreti ödemezsiniz.
Tam kontrol sizde olur.
Belgeleriniz yerel olarak analiz edilebilir.
2. Local AI Nasıl Çalışır?
Siz
│
▼
Open WebUI
(Web Arayüzü)
│
▼
Ollama
(Model Sunucusu)
│
┌───────┼────────┐
▼ ▼ ▼
Llama Qwen Gemma
│
▼
CPU / GPU
Bu yapıda:
- Open WebUI, ChatGPT benzeri bir web arayüzü sağlar.
- Ollama, yapay zekâ modelini çalıştırır.
- Model, tüm hesaplamaları bilgisayarınızda yapar.
3. Avantajları
- Verileriniz dışarı çıkmaz.
- API ücreti yoktur.
- İnternetsiz kullanılabilir.
- Açık kaynaklıdır.
- İstediğiniz modeli çalıştırabilirsiniz.
- Belgeleriniz üzerinde yerel analiz yapabilirsiniz.
Dezavantajları
- Güçlü donanım gerekebilir.
- Büyük modeller çok fazla RAM/VRAM kullanır.
- İlk model indirirken internet gerekir.
4. Sistem Gereksinimleri
Minimum
- 8 GB RAM
- SSD
- Çift çekirdek işlemci
Tavsiye Edilen
- 16 GB RAM
- SSD
- 6 çekirdek CPU
İdeal
- 32 GB RAM
- NVIDIA RTX veya AMD Radeon GPU
- NVMe SSD
Desteklenen dağıtımlar:
- Ubuntu
- Debian
- Arch Linux
- CachyOS
- Fedora
- openSUSE
- Nucora Linux
5. Ollama Nedir?
Ollama, Linux üzerinde yerel yapay zekâ modellerini kolayca indirip çalıştırmanızı sağlayan açık kaynaklı bir model sunucusudur.
Desteklediği popüler modeller:
- Llama
- Qwen
- Gemma
- Mistral
- Phi
- DeepSeek
- CodeLlama
- Devstral
6. Ollama Kurulumu
Ubuntu / Debian
curl -fsSL https://ollama.com/install.sh | sh
Arch Linux / CachyOS
sudo pacman -S ollama
Ardından servisi etkinleştirin:
sudo systemctl enable --now ollama
Durumunu kontrol edin:
systemctl status ollama
7. İlk Modelinizi Kurun
Örneğin Llama:
ollama run llama3.2
Qwen:
ollama run qwen3
Gemma:
ollama run gemma3
İlk çalıştırmada model indirilecek ve ardından sohbet etmeye başlayabileceksiniz.
8. Temel Ollama Komutları
Model listesi:
ollama list
Model silme:
ollama rm MODEL_ADI
Model bilgisi:
ollama show MODEL_ADI
Çalışan modeller:
ollama ps
9. Docker Kurulumu
Docker, Open WebUI’yi kolayca çalıştırmanızı sağlar.
Ubuntu/Debian:
curl -fsSL https://get.docker.com | sh
Servisi etkinleştirin:
sudo systemctl enable --now docker
Kontrol edin:
docker --version
10. Open WebUI Kurulumu
Docker ile:
docker run -d \
--name open-webui \
-p 3000:8080 \
-v open-webui:/app/backend/data \
--add-host=host.docker.internal:host-gateway \
ghcr.io/open-webui/open-webui:main
Kurulum tamamlandıktan sonra tarayıcıdan açın:
http://localhost:3000
Sunucu kullanıyorsanız:
http://SUNUCU_IP:3000
İlk açılışta oluşturduğunuz kullanıcı hesabı yönetici (Admin) olacaktır.
11. Open WebUI’yi Ollama’ya Bağlama
Open WebUI genellikle Ollama’yı otomatik algılar.
Algılamazsa:
http://localhost:11434
adresini Ollama API adresi olarak girin.
12. İlk Sohbet
Artık modelinizi seçebilir ve kullanmaya başlayabilirsiniz.
Örnek istemler:
- Bana Python kodu yaz.
- Linux hakkında bilgi ver.
- Bu metni özetle.
- Markdown formatında tablo oluştur.
13. En İyi Yerel Yapay Zekâ Modelleri
| Model | Kullanım |
|---|---|
| Qwen 3 | Türkçe + Kodlama |
| Llama 3.2 | Genel kullanım |
| Gemma 3 | Hafif ve hızlı |
| Mistral | Performans |
| DeepSeek-R1 Distill | Akıl yürütme |
| Phi | Düşük donanım |
14. GPU Kullanımı
Desteklenen teknolojiler:
- NVIDIA CUDA
- AMD ROCm
- Intel GPU (sınırlı destek)
GPU kullanımı cevap hızını ciddi ölçüde artırır.
15. Performans İpuçları
- SSD kullanın.
- 16 GB veya üzeri RAM tercih edin.
- GPU kullanabiliyorsanız etkinleştirin.
- Donanımınıza uygun model seçin.
- Gereksiz büyük modelleri çalıştırmayın.
16. Sunucuya (VDS) Kurulum
Ev bilgisayarınız yerine bir Linux sunucusuna da kurabilirsiniz.
Adımlar:
- Ubuntu 24.04 veya Debian 12 kurun.
- SSH ile bağlanın.
- Sistemi güncelleyin.
- Docker kurun.
- Open WebUI’yi Docker ile başlatın.
- Tarayıcıdan erişin.
Bu yöntem sayesinde yapay zekâ sisteminiz 7/24 çalışabilir.
17. Cloudflare Tunnel ile HTTPS
Sunucunuzu doğrudan internete açmak yerine Cloudflare Tunnel kullanabilirsiniz.
Avantajları:
- HTTPS desteği
- IP adresinizi gizler
- Alan adı üzerinden erişim sağlar
- Port yönlendirme ihtiyacını azaltır
18. OpenRouter API Entegrasyonu
Yerel modellerin yanı sıra bulut tabanlı modelleri de kullanabilirsiniz.
Desteklenen örnek servisler:
- OpenAI
- Google Gemini
- Anthropic Claude
- DeepSeek
- xAI Grok
API anahtarınızı Open WebUI’nin Settings > Connections bölümünden ekleyebilirsiniz.
19. Tavily Web Search Entegrasyonu
Yerel modeller internete erişemez.
Tavily gibi bir arama servisi ekleyerek:
- Güncel haberler
- Web aramaları
- Kaynaklı cevaplar
alabilirsiniz.
20. VRAM’e Göre Model Önerileri
Aşağıdaki öneriler, yaygın GGUF Q4 sürümleri için yaklaşık değerlerdir.
| VRAM | Önerilen Modeller |
|---|---|
| 2 GB | TinyLlama, SmolLM, Qwen 2.5 1.5B |
| 4 GB | Gemma 3 4B, Phi-4 Mini, Qwen 3 4B |
| 6 GB | Llama 3.2 3B, Gemma 3 4B |
8 GB  |
Llama 3.2 8B, Qwen 3 8B |
| 12 GB | Gemma 3 12B, Qwen 3 14B |
| 16 GB | Qwen 3 14B, Devstral |
| 24 GB |
Qwen 3 32B (Q4), Gemma 3 27B |
| 32 GB | Qwen 3 32B, Llama 70B (düşük quant) |
| 48 GB | Llama 70B, DeepSeek-R1 Distill 70B |
| 64 GB | Llama 70B (rahat kullanım), Qwen 3 72B |
| 72 GB | Qwen 3 72B, büyük bağlam pencereleri |
| 96 GB | Qwen 3 72B (yüksek kalite), büyük MoE modeller |
Not: Model seçimi yalnızca VRAM’e değil, sistem RAM’ine, bağlam penceresine ve kullanılan quantization seviyesine de bağlıdır.
21. Sık Sorulan Sorular
İnternet olmadan çalışır mı?
Evet. Model indirildikten sonra yerel olarak çalışabilir.
GPU şart mı?
Hayır. CPU ile de çalışır, ancak daha yavaş olabilir.
Verilerim internete gönderiliyor mu?
Yerel modeller kullanıyorsanız ve harici API entegrasyonu eklemediyseniz, verileriniz cihazınızdan çıkmaz.
Telefonumdan erişebilir miyim?
Evet. Open WebUI’yi yerel ağda veya güvenli bir şekilde internete açarsanız telefon, tablet veya başka bir bilgisayardan erişebilirsiniz.
Docker kullanmak zorunda mıyım?
Hayır. Open WebUI farklı yöntemlerle de kurulabilir, ancak Docker kurulum ve güncellemeleri büyük ölçüde kolaylaştırır.
Sonuç
Ollama ve Open WebUI sayesinde Linux üzerinde tamamen size ait bir yapay zekâ ortamı oluşturabilirsiniz. İster masaüstü bilgisayarınızda, ister bir VDS üzerinde çalıştırın; verileriniz üzerinde tam kontrol sağlayabilir, farklı modeller arasında kolayca geçiş yapabilir ve internet bağlantısına ihtiyaç duymadan güçlü yapay zekâ araçlarından yararlanabilirsiniz.
Sponsorumuz
Not: GPU gerektiren büyük modeller için GPU destekli sunucular tercih edilmelidir. Küçük ve orta ölçekli modeller ise güçlü CPU ve yeterli RAM’e sahip VDS’lerde de başarılı şekilde çalışabilir.