Shopify AI model təminatçılarından asılı olmayan sistem qurdu

Shopify, hər bir mühəndisə eyni anda birdən çox AI təminatçısına çıxış imkanı verən xüsusi LLM proksi sistemi yaratdı. Bu sistem, hər hansı bir model dayandıqda, dəyişdikdə və ya yox olduqda avtomatik olaraq digər modellərə keçid edir. Məsələn, Claude Fable 5 modeli söndürüldükdə, Shopify mühəndisləri heç bir problem yaşamadan avtomatik olaraq Claude Opus və ya GPT 5.5 modelinə yönləndirildi. Shopify-ın mühəndislik rəhbəri Farhan Thawar, VentureBeat Beyond the Pilot podkastında verdiyi açıqlamada sistemin iş prinsipini izah etdi. Thawar, "Fable əla görünürdü və biz ondan istifadə etdik. Bir model gəlir və sonra gedir və ya sadəcə yenilənir, proksi bizə müxtəlif təminatçılar arasında yayılmağa imkan verir" dedi. Shopify, tokenləri toplu şəkildə alır və bütün istifadəçilər modellərə bu proksi vasitəsilə qoşulur. Bu proksi sistemi, komandaya hesabat və failover imkanı təqdim edir. Bir təminatçıda əlçatanlıq problemi yarandıqda, istifadəçilər "avtomatik və problemsiz" şəkildə digər təminatçıya köçürülür. Thawar, müəssisələrin bu nümunədən öyrənə biləcəyini və hər hansı bir fasilənin bizneslərinə necə təsir edə biləcəyini düşünmələrini tövsiyə edir. Thawar, müəssisələrin ən azından möhkəm bir ehtiyat planı qurmalı olduğunu vurğulayır. Sistemin modellər arasında hərəkət etməyə imkan verməsi vacibdir ki, müəssisələr müəyyən bir təminatçıya "çox bağlı" qalmasın. Distillasiya da mühüm strategiyalardan biri kimi qeyd olunur. Distillasiya prosesində, tələbə modeli müəllim modelindən öyrənir və adətən daha dar bir tapşırıq üzrə ixtisaslaşır. Kiçik dil modelləri (SLM) bəzi hallarda ümumiləşdirilmiş hazır modellərdən daha faydalı ola bilər. Məsələn, Shopify-ın flaqman AI köməkçisi Sidekick, tacirlər üçün çoxsaylı ixtisaslaşmış alt tapşırıqları yerinə yetirir. Daha kiçik distillə edilmiş modellərdən istifadə, ümumiləşdirilmiş modellərdən daha sürətli və daha ucuz ola bilər. Thawar, bəzi hallarda bu modellərin 2 dəfə daha ucuz və sürətli, daha ekstremal hallarda isə 30 dəfə daha ucuz və sürətli olduğunu bildirir. Lakin Thawar, "bu yalnız xərc və gecikmə ilə bağlı deyil, dəqiqliklə də bağlıdır" deyərək vacib bir məqamı vurğulayır.