Milyon Belgelik Derlem Float32 Olarak 31 GB RAM Kaplıyor; Turbovec Onu 4 GB'a Sığdırıyor ve Faıss'ten Daha Hızlı Arıyor

10 milyon belgelik bir derlem float32 olarak 31 GB RAM kaplıyor; turbovec onu 4 GB'a sığdırıyor ve FAISS'ten daha hızlı arıyor. turbovec, Python bağlamalarına sahip Rust tabanlı bir vektör indeksidir ve Google Research'ün TurboQuant algoritması üzerine inşa edilmiştir. Bu algoritma, veriye duyarsız, neredeyse optimal bozulmaya sahip ve ayrı bir eğitim aşaması gerektirmeyen bir niceleyicidir.

Gizlilik, bellek veya gecikmenin önemli olduğu bir RAG mı kuruyorsunuz? Doğru yerdesiniz. Vektörler ve sorgu, (n, dim) şeklinde 2 boyutlu float32 dizileridir; diğer veri türleri sessizce dönüştürülmek yerine reddedilir, bu nedenle gerekirse önce np.asarray(x, dtype=np.float32) ile dönüştürün.

Silmelerden sonra hayatta kalan kararlı kimliklere mi ihtiyacınız var? IdMapIndex kullanın. Sonuçları başka bir sistem (SQL, BM25, ACL, zaman penceresi, …) tarafından üretilen bir aday kümesiyle sınırlayın. Filtreleme, SIMD çekirdeği içinde 32 vektörlük blok ayrıntı düzeyinde gerçekleşir: izin verilen yuvası olmayan bloklar, herhangi bir LUT araması veya puanlama işleminden önce kısa devre yapılır ve puanlanan bloklar içindeki izin verilmeyen bireysel yuvalar, yığın ekleme sırasında atılır.