Deney süresince katılımcılara nesnelerden doğa manzaralarına, insan hareketlerinden günlük aktivitelere kadar çeşitli içeriklere sahip 2 bin 180 video gösterildi. Katılımcıların beyin aktiviteleri, izledikleri kısa süreli videolar sırasında fonksiyonel manyetik rezonans görüntüleme (fMRI) cihazıyla kaydedildi.
Videoların içeriğine ilişkin yazılı metinler önce büyük dil modelleri tarafından sayısal dizilere dönüştürüldü, ardından basit yapay zeka modelleri, bu sayısal diziler ile videolar izlenirken kaydedilen beyin aktivitelerini eşleştirecek şekilde eğitildi. Deney kapsamında, katılımcıların videoları izlerken veya izlediklerini hatırlarken zihinlerinde canlandırdığı görüntüleri cümlelere dönüştürmeyi başaran Horikawa, geliştirdiği tekniğe “zihin betimleme” adını verdi. Horikawa, bu yeni yöntemin, beynin görsel bilgiyi nasıl işlediğini çözümleyerek nesneleri, mekanları, eylemleri, olayları ve aralarındaki ilişkileri betimleyen ayrıntılı metinler üretebildiğini söyledi. Tekniğin, beyindeki dil merkezlerinden bağımsız çalıştığını vurgulayan Horikawa, bunun nörodejeneratif hastalıklar nedeniyle konuşma yetisini kaybeden kişilerin iletişim kurmasına yardımcı olabileceğini belirtti. Çalışma, “Science Advances” dergisinde yayımlandı.
