MIT Technology Review'ın What's Next Serisi Geleceğe İlk Bakışı Sunuyor

MIT Technology Review'ın What's Next serisi, endüstrilere, trendlere ve teknolojilere bakarak geleceğe ilk bakışı sunuyor. Diğerlerini buradan okuyabilirsiniz. 2017 yazında, Google'daki yapay zeka araştırmacıları 'Attention Is All You Need' adlı bir makale yayınladı ve bu makalede transformatör adı verilen yeni bir sinir ağı türünü tanımladılar.

Bu ağın, özellikle metin olmak üzere uzun veri dizilerini işlemede çok başarılı olduğu kanıtlandı. Dokuz yıl sonra, transformatörler piyasadaki her büyük dil modelinin içindeki motorlar haline geldi. Yapay zeka girişimi Subquadratic'in kurucu ortağı ve CEO'su Justin Dangel, 'Tüm yapay zeka endüstrisi transformatörler üzerine inşa edildi.

Bunlar bilgisayar bilimi tarihindeki en önemli yeniliklerden biri ve dünyayı değiştirdiler' diyor. Ancak transformatörler yaşlanmaya başlıyor. LLM'lerdeki son gelişmelerin çoğu, sözde akıl yürütme modellerinin geliştirilmesi ve aynı anda büyük miktarda girdiyi işleme yetenekleri gibi, bunların düzgün uzantıları değil.