AI, která běží draho nebo pomalu, jde srovnat.

Nejdřív změříme, kde systém utrácí čas a peníze a kde ztrácí kvalitu. Úpravy pak nasazujeme po částech a jejich dopad ověřujeme na stejných datech.

Poznáte se v tom?

AI už v provozu máte. Teď jde o to, aby se vyplatila.

„Účet za modely roste rychleji než užitek.“

Platíte za volání, o kterých nikdo neumí říct, co přinesla.

„Uživatel čeká na odpověď moc dlouho.“

Odezva se protahuje a lidé přestávají systém používat.

„Pokaždé to odpoví trochu jinak.“

Kvalita kolísá a nikdo netuší, jestli se poslední úprava vyplatila.

„Ve špičce to přestává stíhat.“

Co fungovalo při deseti požadavcích, při stovce padá.

Jak to probíhá

Nejdřív měření, teprve pak zásahy.

Změříme dnešní stav
Náklady, rychlost, chybovost a kvalita výstupů. Bez toho není s čím porovnávat.
Najdeme, kde jsou největší ztráty
Málokdy jsou rozprostřené rovnoměrně. Obvykle za většinu účtu může pár míst.
Nasadíme úpravy po částech
Menší kroky s malým rizikem, ne jeden velký zásah do běžícího systému.
Ověříme dopad na stejných datech
Stejné metriky jako na začátku, takže je vidět, co která změna udělala.

Kde se to obvykle láme

Práce se zadáním pro model

Nejlevnější úspora bývá tady: kratší a přesnější zadání, méně zbytečných volání.

Zkrácení a zpřesnění promptů
Rozdělení složité úlohy na kroky
Společné šablony pro stejné typy úloh

Architektura a provoz

Druhá polovina úspor leží mimo model - v tom, co se počítá znovu a znovu.

Ukládání opakovaných vstupů a odpovědí
Dávkové a souběžné zpracování
Záložní postupy a opakování při chybě
Sledování nákladů, chyb a rychlosti

Volba modelu podle úlohy

Nejdražší model nemusí běžet u každé úlohy. Třídění zvládne menší, složitou analýzu dostane silnější.

Jednoduché úlohy: třídění a krátké souhrny
Střední: analýza a práce s pravidly
Složité: dlouhý kontext a náročné rozbory

Co z toho máte

Co se změní, když se systém nejdřív změří.

Po úpravách

Změřený dnešní stav, se kterým jde porovnávat
Nižší účet za modely bez ztráty kvality
Kratší odezva u míst, kde na ni uživatel čeká
Přehled o nákladech, chybách a rychlosti v čase
Úpravy nasazované po částech, ne jeden velký zásah

Rostou vám náklady na AI nebo čekáte dlouho na odpovědi?

Ukažte nám, co dnes běží. Řekneme vám, kde vzniká problém a jak změřit dopad každé změny.

Probrat váš problém