Google DiffusionGemma: 256 tokeni paralel yaradan və özünü düzəldən açıq mənbəli model

Google bu həftə DiffusionGemma adlı eksperimental modeli açıq mənbə olaraq təqdim etdi. Bu model, mətn yaratma prosesinə diffuziya prinsipini tətbiq edir. Adi dil modelləri mətni soldan sağa, bir token ardıcıl olaraq yazarkən, DiffusionGemma eyni anda 256 tokenlik bir bloku paralel şəkildə emal edir və hər bir token digər bütün tokenlərlə əlaqə qurur. Diffuziya prosesi ilk dəfə şəkil yaradan modellərdə (məsələn, Stable Diffusion) istifadə olunub. Bu üsulda model təsadüfi səs-küydən başlayaraq tədricən bütün təsviri paralel şəkildə dəqiqləşdirir. DiffusionGemma da eyni məntiqlə işləyir: 256 təsadüfi yer tutucu token ilə başlayır, sonra bütün bloku bir neçə dəfə təkmilləşdirərək hər keçiddə ən yüksək ehtimallı tokenləri təsbit edir və qeyri-müəyyən olanları yenidən qiymətləndirir. Google-ın açıqlamasına görə, DiffusionGemma standart modellərdən 4 dəfəyə qədər daha sürətli mətn yaradır. Tək bir Nvidia H100 qrafik prosessorunda FP8 versiyası saniyədə 1,008 token, H200-də isə 1,288 token sürətinə çatır ki, bu da adi avtoreqressiv modellərdən təxminən 6 dəfə sürətlidir. Model Gemma 4 infrastrukturu üzərində qurulub və Apache 2.0 lisenziyası ilə yayımlanır. Bununla belə, Google modelin çıxış keyfiyyətinin standart Gemma 4-dən aşağı olduğunu açıq şəkildə etiraf edir. Şirkətin rəsmi açıqlamasında "Maksimum keyfiyyət tələb edən tətbiqlər üçün standart Gemma 4-dən istifadə etməyi tövsiyə edirik" ifadəsi yer alır. DiffusionGemma, xüsusilə aşağı eynivaxtlı sorğu sayı olan yerlərdə və ya yerli çıxarış üçün GPU-dan daha səmərəli istifadə etməyə imkan yaradır.