AI inference: kako modeli pretvaraju tokene u odgovore (i zašto to košta)

AI inference (inferencija) je faza u kojoj već istreniran model primenjuje naučeno na nove, do tada neviđene podatke i vraća rezultat: odgovor, predikciju ili klasifikaciju. Kod velikih jezičkih modela inference znači pretvaranje ulaznih u izlazne tokene. Za razliku od treninga, koji se odvija jednom, inference se ponavlja prilikom svakog korisničkog upita.

Kada se priča o veštačkoj inteligenciji, pažnja ide na trening. Ulažu se meseci računanja i milioni dolara da model nauči nešto. Samo što se trening desi jednom. Inference se dešava svaki put kada neko pošalje upit, i upravo tako nastaje najveći deo troška. Po analizama iz 2026. godine, na inference ode oko 80-90 odsto ukupnih računarskih resursa tokom života modela. Ako planirate da pokrenete AI u produkciji, inference je broj koji treba da vas zanima.

Šta je AI inference

Inference je „radna” faza modela. Trening proizvodi skup naučenih numeričkih vrednosti (težina-weights); inference koristi te fiksne koeficijente da obradi novi input i generiše output. Model ne uči ništa novo tokom inference; on samo primenjuje ono što već zna.

Zamislite to kao razliku između studiranja i polaganja ispita. Trening je studiranje: dugo, skupo, jednokratno. Inference je svaki ispit koji posle toga polažete na osnovu naučenog. Što više korisnika i upita, to više „ispita”, i to je razlog zašto inference postaje dominantan trošak. Pokretanje modela u stabilnom, predvidivom okruženju zato je infrastrukturno pitanje, a ne samo softversko, i tstoga je Orion telekom obezbedio AI Factory infrastrukturu namenjenu upravo produkcijskim AI opterećenjima.

Trening vs inference: u čemu je razlika

Najjednostavnije rečeno: trening upisuje težine tj koeficijente, inference ih čita. Trening je projektni trošak koji se javi jednom; inference je operativni trošak koji se ponavlja i raste sa brojem korisnika. Prema NVIDIA, trening „uči” mrežu kroz ogromne skupove podataka, dok inference primenjuje to znanje na nove podatke u realnom vremenu.

Zašto inference troši 80–90% resursa tokom života modela

Trening je jedan veliki, konačan posao. Inference nema kraj: svaki novi korisnik, svaka sesija i svaki upit dodaju opterećenje. Zato se trošak ne meri jednokratno, već po jedinici saobraćaja. Po analizama tržišta iz 2026, inference dostiže oko 85 odsto AI budžeta preduzeća, što ga čini najvažnijom stavkom u planiranju AI infrastrukture.

Kako inference radi korak po korak

Proces je predvidiv i odvija se u nekoliko koraka:

• Priprema inputa. Korisnički upit (tekst, slika ili drugi podatak) sprema se za model.
• Tokenizacija. Input se deli na tokene, jedinice koje model zapravo obrađuje.
• Prolaz kroz model. Tokeni prolaze kroz neuronsku mrežu sa fiksnim težinama.
• Generisanje izlaza. Model proizvodi izlazne tokene jedan po jedan, i oni se sastavljaju u konačan odgovor.

Šta su tokeni i zašto se naplata vrši po tokenu

Token je jedinica teksta, najčešće deo reči. Reč „inferencija” može se podeliti na nekoliko tokena. Model i čita i piše u tokenima, pa se i cena obračunava po tokenu, posebno za input, a posebno za output. Zato dva naizgled slična upita mogu imati različit trošak: duži kontekst i duži odgovor znače više tokena. Kod planiranja AI servisa, broj tokena po zahtevu je direktan pokazatelj troška.

Zašto je inference važan za biznis

Za odluku o pokretanju AI-ja u produkciji presudne su tri poluge.

Cena, latencija i propusnost

Cena po tokenu određuje koliko vas košta svaki zahtev, a razlike među provajderima su velike: prema poređenjima cena iz 2026, cena po milionu tokena varira i šest puta između provajdera.

Latencija, posebno vreme do prvog tokena, određuje koliko brzo korisnik dobija odgovor.

Propusnost (throughput) govori koliko zahteva sistem obrađuje istovremeno. Te tri veličine zajedno definišu i korisničko iskustvo i mesečni račun.

Gde se inference izvršava: cloud, on-prem ili edge

Inference može da radi na tri načina: u javnom cloudu, u sopstvenom data centru (on-prem) ili na opremi koja je fizički blizu korisnika ili mesta gde podaci nastaju (takozvani edge, na primer server u poslovnici ili uređaj na lokaciji). Izbor utiče na latenciju, na cenu i, najvažnije za regionalne kompanije, na usklađenost sa zakonodavstvom. Rutiranje inference saobraćaja kroz platforme van EU otvara pitanje GDPR-a i rezidentnosti podataka, jer osetljivi podaci napuštaju zemlju. Za kompanije kojima je usklađenost sa pravnom regulativom obavezna, lokalno produkcijsko okruženje za AI modele rešava i latenciju i pitanje gde se podaci nalaze.

Efikasni modeli za inference: primer NVIDIA Nemotron

S obzirom na to da je inference dominantan trošak, efikasnost modela postaje ključna. Dobar primer su NVIDIA Nemotron open modeli, građeni upravo za agentnu inferenciju. Porodica Nemotron 3 dolazi u tri veličine, Nano, Super i Ultra, sa hibridnom mixture-of-experts (MoE) arhitekturom koja aktivira samo deo modela po upitu i tako smanjuje trošak inference bez gubitka tačnosti. Upravo ovakve modele OT nudi u okviru platforme za AI automatizaciju, spremne za produkciju.

Otvoreni koeficijenti tj težine znače i da model može da se pokrene u sopstvenom okruženju, što direktno rešava pitanje rezidentnosti podataka. Kombinacija efikasnog modela i lokalne infrastrukture je ono što inference čini i jeftinijim i usklađenim.

Zaključak

Na treningu je pažnja, ali inference predstavlja najveći trošak. To je faza u kojoj AI prelazi iz eksperimenta u svakodnevni servis, i u kojoj se stvarni trošak meri po tokenu, po milisekundi latencije i po tome gde se podaci nalaze. Kompanije koje na vreme razmišljaju o tome gde pokreću inference dobijaju i nižu cenu i kontrolu nad podacima. Ako planirate AI u produkciji, počnite od pitanja: koliko tokena, koliko brzo i gde.

Ako želite da inference pokrenete lokalno, uz nižu latenciju i punu GDPR usklađenost, OT AI Factory platforma za AI automatizaciju nudi infrastrukturu i modele spremne za produkciju.

Često postavljana pitanja (FAQ)

Koja je razlika između AI treninga i inference?

Trening je jednokratan proces u kome model uči iz velikog skupa podataka i podešava svoje koeficijente. Inference je korišćenje tog gotovog modela na svaki novi upit. Trening upisuje znanje, inference ga primenjuje.

Šta su tokeni u AI inference?

Tokeni su jedinice teksta, najčešće delovi reči, koje model čita na ulazu i generiše na izlazu. Cena inference se obračunava po tokenu, odvojeno za input i output tokene, pa duži upiti i odgovori koštaju više.

Zašto je inference skuplji od treninga na duže staze?

Trening se desi jednom, a inference se ponavlja na svaki zahtev i raste sa brojem korisnika. Zato inference troši oko 80 do 90 odsto ukupnih računarskih resursa tokom života modela i oko 85 odsto AI budžeta firmi u 2026.

Da li inference mora da se izvršava u inostranstvu?

Ne. Inference može da radi lokalno, u sopstvenom data centru ili u regionalnom produkcijskom okruženju. Lokalno pokretanje smanjuje latenciju i rešava pitanje GDPR usklađenosti i rezidentnosti podataka.