Ollama ve LLaMA 3 ile Yerel LLM Çalıştırma Rehberi

Giriş: Neden Yerel LLM (Large Language Model) Kullanmalıyız?

Yapay zeka çağında, bulut tabanlı API'ler (OpenAI, Anthropic vb.) ilk etapta hayat kurtarıcı olsa da; veri gizliliği, maliyet ve internet bağımlılığı gibi dezavantajları beraberinde getirir. Özellikle hassas verilerle çalışıyorsanız veya sıfır maliyetle sınırsız denemeler yapmak istiyorsanız, modelleri kendi donanımınızda çalıştırmak mükemmel bir alternatiftir.

Bu yazıda, açık kaynaklı büyük dil modellerini kendi bilgisayarınızda ayağa kaldırmanızı sağlayan Ollama aracı ve Meta'nın güçlü modeli LLaMA 3 ile nasıl yerel bir yapay zeka ortamı kuracağınızı adım adım inceleyeceğiz.

Ollama Kurulumu ve Model İndirme

Ollama, macOS, Linux ve Windows işletim sistemlerinde büyük dil modellerini (LLaMA 3, Mistral, Gemma vb.) tek komutla çalıştırmanızı sağlayan hafif ve harika bir CLI aracıdır.

• Resmi web sitesinden Ollama'yı indirip kurun.
• Terminal veya komut satırını açarak LLaMA 3 modelini sisteminize indirin ve çalıştırın:

ollama run llama3

İndirme tamamlandığında terminal içinde doğrudan LLaMA 3 ile sohbet etmeye başlayabilirsiniz. Model tamamen yerel donanımınızda (GPU/CPU) çalışmaktadır.

Python ile Yerel LLaMA 3 Entegrasyonu

Modeli sadece terminalden kullanmakla kalmayıp, kendi Python projelerinizde de kolayca entegre edebilirsiniz. Ollama, arka planda bir REST API sunar (varsayılan olarak http://localhost:11434).

Python projelerinizde Ollama'yı kullanmak için resmi kütüphanesini kurabilirsiniz:

pip install ollama

Ardından aşağıdaki örnek kod bloğunu kullanarak yerel asistanınızdan yanıt alabilirsiniz:

import ollama

response = ollama.chat(model='llama3', messages=[
  {
    'role': 'user',
    'role_content': 'Yazılım mimarisinde Clean Code nedir, 2 cümleyle özetle.',
  },
])

print(response['message']['content'])

Mimari İpucu: Yerel LLM çalıştırırken donanımınızın (özellikle VRAM miktarının) model boyutuyla (8B, 70B vb.) uyumlu olmasına dikkat edin. 8B parametreli modeller standart bir geliştirici bilgisayarında (16GB+ RAM / harici GPU) akıcı bir şekilde çalışacaktır.

Sonuç

Ollama ve LLaMA 3 kombinasyonu, geliştiricilere harici API maliyetleri olmadan kendi yapay zeka uygulamalarını (RAG sistemleri, kod asistanları vb.) localde geliştirme imkanı sunar. Gizliliğin ön planda olduğu kurumsal projelerde bu mimari standart bir yaklaşım haline gelmektedir.