Videoda yapılan deney, Anthropic'in Claude yapay zeka modelinin YouTube video performansını tahminleme yeteneğini test etmektedir. Yönetmen iki Short videosunun başlığı, açıklaması ve metnini Claude'a sunmuş, izlenme sayısını söylemeden her videonun 100 üzerinden puanlanmasını, başarı nedenlerini ve izlenme farkını tahmin etmesini istemiştir. Sonrasında tahminler, YouTube'da yayınlanan gerçek verilerle karşılaştırılmıştır. Jarvis konulu videonun 3.142 izlenme aldığı, Anthropic fonu konulu videonun ise 69 izlenme aldığı görülmüş, Claude'un kazananı doğru tahmin etmesine karşın farkı 45 kat yerine yaklaşık 5 kat olarak hesaplaması kayıtlanmıştır.

Büyük dil modelleri (LLM) gibi Claude, muazzam miktarda metinsel veriden öğrenerek yazı kalitesi, başlık yapısı ve içerik sunumu gibi faktörleri değerlendirme konusunda yüksek performans gösterebilir. Bununla birlikte, modern yapay zeka sistemleri YouTube algoritması, izleyici demografisi, yayınlama zamanı, platform trendi ve sosyal medya paylaşımı gibi dinamik, gerçek zamanlı faktörlere doğrudan erişimi yoktur. Claude, görünen metinden statik desenleri çıkarabilir ancak serbest değişkenlerin etkisini (yayınlama saati, trending hashtag'ler, influencer paylaşımı, viral momentler) ölçemez; bu nedenle tahminleri genel yönelimleri yakalamanın ötesine geçemez.

Yapay zeka modelleri, kendi eğitim döneminde sık görülen başlık ve üslup türlerini puanlamada daha başarılı olabilir, çünkü bu desenler ağırlık matrislerde daha güçlü temsil edilir. Ancak YouTube başarısı yalnız içerik kalitesine değil, teknolojik dış etkenler (tavsiye algoritması, haber akışı rekabeti, belirli saatlerdeki izleyici yoğunluğu) ve sosyolojik faktörlere (viral eğilimler, paylaşılabilirlik, hedef kitle tercihi) bağlıdır. LLM'lerin tahmin yeteneğinin, eğitim döneminde yeterince kapsanan durumlar dışında sınırlı kalması, yapay zeka ve makine öğrenmesi araştırmasında iyi bilinen bir sınırlamadır (genelleme ve dış veri sorunu).

Bu test, yapay zeka araçlarının gerçek dünyada kesin nihaî sonuçları bilemeyeceğini, ama potansiyel göstergelerini ve göreli sıralamaları değerlendirebileceğini göstermektedir. YouTube başarısı çok değişkenliyken, Claude'un göreli karşılaştırma (hangi videonun daha iyi olduğu) tahmini, kesin izlenme sayıları tahminininden daha güvenilirdir. Videoda sunulan açıklamada dürüstçe tek denemenin sınırlılığı vurgulanmıştır, bu da yapay zeka tarafından yapılan tahminleme deneylerinin bilimsel titizlik ve kontekstualizasyon ile sunulması gerektiğini göstermektedir. Sonuç olarak, yapay zeka güçlü bir analiz ve tavsiye yardımcı olabilir, ancak karmaşık, bağımsız değişkenlerin çok olduğu durumlarda kesin tahmin yapamaz; kullanıcı bulguları bağlamında ve modelin sınırlamalarını akılda tutarak değerlendirmelidir.