Çoxmodelli AI Sistemlərində Uğursuzluq Dərəcələri 2.25 Dəfə Az Qiymətləndirilir

Müəssisələr bir neçə süni intellekt modelini birləşdirərək daha etibarlı nəticələr əldə etməyə çalışır, lakin yeni araşdırma göstərir ki, bu yanaşma riyazi cəhətdən səhvdir və uğursuzluq dərəcələri 2.25 dəfə az qiymətləndirilir. 21 provayderdən 67 qabaqcıl modeli qiymətləndirən tədqiqat bu səhvin adını “birgə uğursuzluq tavanı” (co-failure ceiling) olaraq müəyyən edib. Bu konsepsiya göstərir ki, modellərin bir-birinin zəif tərəflərini örtəcəyi fərziyyəsi riyazi baxımdan etibarsızdır. Çoxmodelli sistemlərdə fərqli modellərin eyni sorğularda eyni anda səhv etməyəcəyi güman edilir. Məsələn, bir model Python kodlamada uğurlu, SQL-də zəifdirsə, digər model SQL-də güclü, Python-da zəif ola bilər. Lakin araşdırma göstərir ki, modellərin razılaşmadığı hallar deyil, bütün modellərin eyni anda səhv cavab verdiyi sorğuların faizi əsas məhdudiyyətdir. Bu “birgə uğursuzluq tavanı” nəzərə alınmadıqda, müəssisələr mövcud olmayan performans qazancları üçün mürəkkəb və bahalı marşrutlaşdırma infrastrukturu qurur. Çoxmodelli strategiyanın gizli xərcləri üç əsas arxitektura vasitəsilə ortaya çıxır. Model marşrutlaşdırıcıları mürəkkəb sorğuları bahalı modellərə, sadə sorğuları isə ucuz modellərə yönləndirən trafik nəzarətçiləri kimi fəaliyyət göstərir. Kaskad sistemlər hər sorğunu əvvəlcə ucuz modelə göndərir və yalnız ilkin sistem aşağı inam səviyyəsi göstərdikdə premium modelə keçir. Mixture-of-Agents (MoA) kimi yanaşmalar isə eyni sualı bir neçə modelə verərək onların cavablarını sintez edir. Bu arxitekturalar inferens xərclərinə “kölgə qiymət” əlavə edir. Hər marşrutlaşdırıcı və ya kaskad tətbiqi sistem gecikməsi, mürəkkəb infrastruktur saxlanması və çoxsaylı API provayderləri arasında idarəetmə risklərini artırır. Əməliyyat xərclərini əsaslandırmaq üçün mühəndislər “cütlü səhv korrelyasiyası” (pairwise error correlation) adlanan metoddan istifadə edərək model hovuzunu seçir. Bu metod iki modelin eyni sorğuda səhv etmə ehtimalını ölçür, lakin bütün modellərin eyni anda səhv etməsi ehtimalını nəzərə almır. Nəticə etibarilə, çoxmodelli orkestrasiya yalnız o zaman faydalı ola bilər ki, hər bir modelin uğursuzluq dərəcəsi ayrı-ayrılıqda qiymətləndirilsin və “birgə uğursuzluq tavanı” hesablamalara daxil edilsin. Tədqiqatçılar vurğulayır ki, bu riyazi yanaşma ilə tərtibatçılar heç bir əlavə xərc çəkmədən çoxmodelli sistemlərin nə vaxt gerçək fayda verəcəyini müəyyən edə bilər. Bu səbəbdən, müəssisələr sadəcə modellərin fərqli olduğunu güman etmək əvəzinə, onların birgə uğursuzluq ehtimalını dəqiq ölçməlidir.