Bu video, metin tabanlı büyük dil modelleri (LLM) gibi ChatGPT, Claude, Gemini'nin fiziksel olarak saçma veya imkansız senaryoları nasıl ele aldığını, özellikle 'bisiklete binen pelikan' gibi hayattan kopuk kombinasyonlarla test ediyor. Pelikanlar büyük, ağır kuşlardır ve insan anatomisine göre tasarlanmış bisikletleri kullanamazlar—bu kombinasyon mantıksal çelişkidir. Video muhtemelen LLM'lerin bu tür 'common sense' (sağduyu) eksikliklerini göstermeyi hedefliyor.

Büyük dil modelleri metin tabanlıdır ve milyarlarca parametre aracılığıyla dil desenleri öğrenmişlerdir, ancak fiziksel dünya hakkında gerçek anlayışa sahip değildirler. Modeller eğitim verilerindeki korelasyonları ve istatistiksel ilişkileri yakaladığından, imkansız veya nadir senaryo istenen çıktıyı üretebilir—örneğin yapay olarak 'bisiklete binen pelikan' tasviri. Modellerin bu zayıflığı, makine öğrenmesi araştırmacıları tarafından iyi bilinir ve 'hallucination' (halüsinasyon/kurgulamaa) sorunu olarak adlandırılır.

Multimodal modeller (görsel + metin), metin tabanlı modellerin sınırlarını aşmaya çalışmıştır; ancak bunlar da fizik yasaları hakkında gerçek sağduyuya sahip değildir. Öğrenilmiş desenler ve örüntüler, mantıksal çıkarımı değiştiremez. Örneğin, bir modele 'bir pelikanın bisiklete nasıl binebileceğini' açıklatmak islerseniz, model kurgu yazabilir ama değerlendirmede mantıksal hata içerebilir.

Bu test türü, yapay zekanın hayvan anatomisi, fiziğin temel yasaları ve fizibiliteden yoksun olduğunu gösterir. LLM'ler metin üretimde, bilgi erişiminde ve dil anlama görevlerinde çok başarılı olsa da, fiziksel sağduyuyu içeren görevlerde sınırlandırılmıştır. Bilim ve teknoloji topluluğu, bu tür testleri kullanarak yapay zeka modellerinin güçlü ve zayıf yönlerini vurgulamaktadır. Video, LLM'lerin hâlâ 'gerçek' ve 'saçma' arasında ayrım yapmakta zorlandığını ve bu nedenle ciddi uygulamalarda insanlar tarafından denetim gerektirdiğini göstermektedir.