Bu video, bulut tabanlı bir yapay zeka kodlama asistanı olan Claude Code ile yerel olarak çalışan açık kaynak bir model olan Qwen'i gerçek bir yazılım hatası üzerinde karşılaştırmaktadır. Video yapımcısı aynı JavaScript 401 hatası problemini, aynı sistem mesajı ve bağlam dosyaları ile her iki araça sunmuş ve kök sebep bulma, kod düzeltme ve test yazma aşamalarında performanslarını ölçmüştür. Yapay zeka kod asistanları, büyük dil modelleri (LLM) ve program sentezi konularında, son yılların önemli gelişme alanıdır: bu araçlar transformer mimarisi üzerinde eğitilmiş olup, milyarlarca parametreye sahip sinir ağlarıdır.

Makine öğrenmesinde iki temel yaklaşım mevcuttur: bulut tabanlı hizmetler (Claude API, ChatGPT gibi) sunucu üzerinde barındırılan devasa modellere erişim sunarken, açık kaynak lokal modeller (Qwen, Llama, Mistral vb.) kullanıcının kendi bilgisayarında çalışır. Lokal modeller daha düşük gecikme süresi, veri gizliliği ve ek API maliyeti olmaksızın çalışma avantajları sunsa da, genellikle daha az parametreye sahiptir ve bulut modellerine kıyasla daha az kapasiteli olabilir. Bu videonun deneysel tasarımı açısından önemli olan nokta, her iki modelin de aynı görevde başarılı olması; fakat hız, maliyet ve kaynak kullanımında farklılık göstermesidir.

Deneyde yapılmış olan metodoloji bilimsel bir karşılaştırma için dikkat çeken özellikler içerir: video yapımcısı, JavaScript'te gerçek bir 401 (Unauthorized) hatasını, üç tur (kök sebep bulma, kod düzeltme, test) içinde her iki modele sırayla sormuş, yanıt sürelerini ve doğruluk oranlarını karşılaştırmıştır. Sonuç 8-8 beraberlik olup, Claude Code yaklaşık 5,65 kat hızlı yanıt vermiş, buna karşılık yerel Qwen modeli herhangi bir API ücreti gerektirmemiştir. Ölçülen Claude API maliyeti 0,107 dolar civarında gerçekleşmiştir.

Ancak bu deneyin önemli sınırlamaları vardır ve bu sınırlamalar videonun yapımcısı tarafından da açıkça belirtilmiştir: deney yalnızca tek bir küçük JavaScript hatası üzerinde yapılmış, M4 Pro işlemci üzerinde çalıştırılmış, elektrik tüketimi ve donanım amortismanı maliyetleri ölçülmemiş, bulut maliyetinin Max aboneliğine gerçekten yansıyıp yansımadığı doğrulanmamıştır. Çünkü bu tür deneyleri genellemek istatistiksel olarak ve metodolojik olarak geçerli olmayabilir. Sonuç başka türde kodlama görevlerine (web geliştirme, makine öğrenmesi, veri işleme vb.) hiç de uygulanabilir değildir.

Video, yerel yapay zeka araçlarını kullanan veya açık kaynak modeller ile çalışmayı merak eden yazılımcılar, maliyet bilincine sahip girişimciler ve teknoloji meraklıları için önemli bir kaynak sağlamaktadır. Qwen kurulumu adım-adım gösterilmiş (Ollama ve HuggingFace entegrasyonu ile), özellikleri ve pratik ölçüleri sunulmuştur. Videonun yapımcısı, bulut hizmetlerinin her zaman "daha iyi" olmadığını, bağlama (görev karmaşıklığı, maliyet bütçesi, veri gizliliği gerekliliği) göre lokal modellerin de önemli alternatifler olduğunu göstermektedir. Başka görevler için deney tekrarlanması gerekirse, sonuçlar tamamen farklı olabilir; bu nedenle, karar verirken video tek veri noktası olarak değil, başlangıç bilgisi olarak değerlendirilmelidir.