Multimodalni AI: kako modeli razumeju tekst, sliku i zvuk

Multimodalni AI je vrsta veštačke inteligencije koja istovremeno obrađuje više vrsta podataka, uključujući tekst, slike, zvuk i video. Dok klasičan jezički model razume isključivo tekst, multimodalni model različite ulaze pretvara u zajednički matematički prostor i povezuje informacije koje se u njemu nalaze. Zahvaljujući tome može da pročita skenirani ugovor, opiše fotografiju sa proizvodne linije ili odgovori na pitanje o snimljenom telefonskom razgovoru.

Za većinu kompanija ovo donosi veoma konkretnu promenu. Podaci koji su godinama bili nedostupni automatizovanim sistemima sada mogu da se obrađuju i koriste. To obuhvata skenirane otpremnice, fotografije sa terena, snimke razgovora u kontakt centru i PDF dokumente koji su prvobitno napravljeni u Excelu, a zatim odštampani.

Tekstualni model u takvim dokumentima ne može da vidi sadržaj. Multimodalni model može, ali zauzvrat zahteva ozbiljniju AI infrastrukturu nego što većina kompanija očekuje na početku pilot-projekta.

U nastavku objašnjavamo kako multimodalni model funkcioniše, gde se već primenjuje, koliko obrada slika i zvuka zaista troši tokena i gde ovakav posao može da se izvršava.

Šta je multimodalni AI

Modalitet označava vrstu podatka. Tekst predstavlja jedan modalitet, slika drugi, zvuk treći, a video četvrti. Klasični modeli su unimodalni: obučavaju se na jednoj vrsti podataka i mogu da rade samo sa njom. Model za prepoznavanje slika ne ume samostalno da napiše smislen tekst, dok jezički model ne može da analizira fotografiju.

Multimodalni model u istom upitu prima više vrsta podataka i odgovor formira na osnovu svih dostupnih informacija. Možete mu, na primer, poslati fotografiju police u prodavnici zajedno sa pitanjem „koliko artikala nedostaje u odnosu na priloženi plan”. Model tada povezuje sadržaj fotografije sa informacijama iz teksta.

Multimodalnost funkcioniše u oba smera. Većina poslovnih primena koristi modele koji primaju sliku ili zvuk, a kao rezultat vraćaju tekst. Postoje i modeli koji na osnovu tekstualnog opisa generišu slike, govor ili video.

Za kompanije je prva grupa uglavnom korisnija jer omogućava obradu podataka koje već poseduju. Druga grupa češće pripada oblasti produkcije sadržaja.

Važno je razumeti i razliku između multimodalnog modela i OCR sistema povezanog sa jezičkim modelom. U klasičnom procesu OCR najpre pretvara sliku u tekst. Pri tome se gube informacije koje nisu obične reči: raspored sadržaja na stranici, struktura tabele, pečat, potpis, kvalitet skena ili precrtana stavka. Jezički model zatim dobija samo izdvojenu listu reči i na osnovu nje pokušava da zaključi kako je dokument izgledao.

Multimodalni model analizira samu stranicu. Serija Qwen3-VL, na primer, pored teksta obrađuje i položaj elemenata u dokumentu, zbog čega može da razlikuje zaglavlje od pojedinačne stavke u tabeli.

Kako multimodalni model funkcioniše korak po korak

Put od ulaznog podatka do odgovora sastoji se od četiri koraka.

Enkoderi po modalitetu. Svaka vrsta podatka prolazi kroz specijalizovanu mrežu. Slika se šalje vizuelnom enkoderu, tekst tekstualnom, a zvuk audio-enkoderu. Svaki od njih pretvara ulaz u vektor, odnosno niz brojeva koji predstavlja značenje sadržaja.

Poravnanje. Model mora da utvrdi koje informacije pripadaju jedna drugoj. Kod videa je reč o vremenskom poravnanju, pri kojem se izgovorena rečenica povezuje sa kadrom u kojem je izrečena. Kod slike i teksta poravnanje je prostorno: određena reč povezuje se sa delom slike na koji se odnosi.

Fuzija. Vektori dobijeni iz različitih modaliteta spajaju se u zajedničku reprezentaciju. Ovo je ključni deo multimodalnog modela. Bez fuzije postoje samo dva odvojena sistema koja međusobno ne razmenjuju informacije.

Generisanje. Dekoder iz objedinjene reprezentacije formira rezultat. To je najčešće tekst, ali izlaz može biti i slika ili zvuk.

Rana, srednja i kasna fuzija

Trenutak u kojem se modaliteti povezuju utiče i na tačnost i na cenu obrade. IBM razlikuje tri osnovna pristupa.

Kod rane fuzije podaci iz različitih modaliteta odmah se enkodiraju u zajednički prostor, pre početka glavne obrade. Na ovaj način model može najdublje da razume odnos između slike i teksta, ali je njegova obuka složenija, a izvršavanje skuplje.

Kod srednje fuzije podaci se spajaju u međuslojevima neuronske mreže. Ovaj pristup predstavlja kompromis između kvaliteta rezultata i troška obrade.

Kod kasne fuzije svaki modalitet zasebno prolazi kroz svoj model, a tek se dobijeni rezultati spajaju. Ovakav pristup je najpovoljniji i najjednostavniji za održavanje, ali ne omogućava modelu da uoči složenije i suptilnije odnose između različitih vrsta podataka.

Za zadatak poput „da li se ovaj potpis poklapa sa potpisom iz baze” kasna fuzija može biti dovoljna. Za zahtev „objasni šta nije u redu na ovoj fotografiji uređaja” uglavnom nije.

Kako multimodalni model obradjuje upit

Šta se menja u odnosu na tekstualni model

U odnosu na klasičan tekstualni model postoje četiri praktične razlike.

Ulaz više nije samo tekstualni string, pa aplikacija mora da podrži binarni sadržaj i različite formate datoteka. Kontekst se popunjava mnogo brže jer slike zauzimaju znatno više prostora. Potrošnja tokena raste nelinearno sa brojem dodatih priloga. Istovremeno, potreba za GPU memorijom veća je nego kod tekstualnog modela sa istim brojem parametara.

Svaka od ovih razlika povećava trošak. Zbog toga multimodalni pilot koji odlično radi na deset odabranih primera može postati preskup ili tehnički neodrživ kada broj zahteva poraste na deset hiljada.

Demonstracije se obično izvode na najboljim dostupnim primerima. Produkcioni sistem, međutim, mora da obrađuje ono što zaista stiže: ukrivo skenirane stranice, fotografije napravljene pri lošem osvetljenju i formate koje niko nije predvideo na početku projekta.

Gde firme ovo već koriste

Obrada ulaznih dokumenata. Fakture, otpremnice, carinska dokumenta i ugovori često stižu kao skenovi i PDF datoteke različitog kvaliteta. Multimodalni model direktno sa slike stranice čita stavke, iznose i datume, a zatim ih unosi u ERP sistem bez ručnog prekucavanja.

Vizuelna kontrola kvaliteta. Kamera na proizvodnoj liniji snima proizvod, dok model dobijeni prikaz poredi sa opisom ispravnog stanja i označava odstupanja. Za razliku od klasičnog sistema mašinske vizije, multimodalni model može da primi novo uputstvo na prirodnom jeziku. Kontrolor zato menja kriterijume bez ponovnog treniranja čitavog sistema.

Analiza poziva u kontakt centru. Model obrađuje originalni audio-snimak, a ne samo transkript razgovora. Može da prepozna ton, prekidanje sagovornika i duže pauze, zbog čega kvalitet komunikacije procenjuje približnije načinu na koji bi to uradio čovek.

Terenska dokumentacija i procena štete. Tehničar ili procenitelj šalje fotografije sa terena, a model ih povezuje sa odgovarajućim formularom i predlaže nalaz. Osiguravajuće kompanije i telekomunikacioni operatori na ovaj način mogu da skrate obradu prijave sa nekoliko dana na nekoliko sati.

Pretraga interne arhive. Kompanije koje čuvaju višegodišnje kolekcije snimaka, fotografija i skeniranih dokumenata često mogu da pretražuju samo nazive fajlova. Multimodalni model opisuje njihov stvarni sadržaj, pa se arhiva pretražuje prema onome što se u datotekama nalazi, a ne samo prema nazivu koji je neko uneo prilikom arhiviranja.

Koliko slika i zvuk koštaju u tokenima

Ovo je deo koji kompanije najčešće iznenadi. Slika se ne obračunava kao jedan prilog, već se, poput teksta, pretvara u tokene.

Prema dokumentaciji OpenAI-ja, model deli sliku na pločice dimenzija 512 × 512 piksela. Kod modela GPT-4o obračun počinje sa 85 baznih tokena, nakon čega se dodaje još 170 tokena za svaku pločicu.

Slika veličine 1024 × 1024 piksela skalira se na 768 × 768 i pokriva sa četiri pločice. Ukupna potrošnja zato iznosi:

85 + (4 × 170) = 765 tokena.

Skenirana stranica formata A4 završava sa približno istom računicom.

Ovaj broj zatim treba pomnožiti sa stvarnim obimom obrade. Deset fotografija u jednom zahtevu troši 7.650 tokena pre nego što korisnik postavi pitanje. Dve hiljade skeniranih stranica mesečno predstavljaju približno 1,53 miliona ulaznih tokena samo za slike, bez tokena iz prompta i generisanog odgovora.

Potrošnja ipak može da se smanji. Isti model podržava režim niske rezolucije, u kojem obrada slike košta samo 85 baznih tokena. Takav režim može biti dovoljan za zadatak poput „da li je ovo faktura”, ali ne i za pouzdano čitanje konkretnog iznosa.

Rezoluciju zato treba određivati prema svakom zadatku, a ne postaviti jednu vrednost za sve slučajeve. Upravo se u ovoj odluci nalazi najveći potencijal za uštedu. Ako niste sigurni kako se potrošnja pretvara u mesečni trošak, počnite od razumevanja načina na koji inference funkcioniše i razloga zbog kojih se naplaćuje po tokenu.

Koliko slika košta u tokenima

Šta multimodalni model traži od infrastrukture

Prvi zahtev je GPU memorija. Težine modela zapisane u bf16 preciznosti zauzimaju približno dva bajta po parametru. Model sa 32 milijarde parametara zato zahteva oko 64 GB memorije samo da bi se učitao, pre nego što obradi prvi upit.

Pored toga postoji i KV keš, čija veličina raste sa dužinom konteksta. Vizuelni tokeni taj prostor popunjavaju mnogo brže od tekstualnih.

Zbog toga konfiguracije namenjene ovakvom radu ne počinju od standardnih potrošačkih grafičkih kartica. Na Orion AI Factory platformi paketi se razlikuju upravo prema količini VRAM-a: od 48 GB za razvoj i manje zahtevan inference, preko 96 GB, do 192 GB za velike modele i visoku propusnost.

Drugi zahtev je serving, odnosno način na koji se model stavlja na raspolaganje korisnicima i aplikacijama. Multimodalne zahteve teže je grupisati od tekstualnih jer se veličina ulaza znatno razlikuje od slučaja do slučaja. Jedan zahtev koji sadrži dvadeset slika može zauzeti količinu memorije koju bi inače istovremeno koristilo više korisnika.

Zbog toga produkcioni sistemi obično ograničavaju broj priloga po zahtevu i njihovu maksimalnu rezoluciju.

Treći zahtev je latencija. Enkodiranje slike obavlja se pre nego što model počne da generiše odgovor. Korisnik zato čeka duže nego prilikom obrade isključivo tekstualnog ulaza. Ako razvijate interaktivnu aplikaciju, ovo ograničenje treba uključiti u dizajn od samog početka.

Četvrti zahtev je merenje kvaliteta. Kod tekstualnog zadatka relativno lako možete da proverite da li je odgovor tačan. Kod analize slika greške mogu biti tihe: model pročita iznos, ali pročita pogrešnu vrednost.

Pre puštanja sistema u produkciju potrebno je napraviti kontrolni skup od nekoliko stotina stvarnih primera sa potvrđenim tačnim odgovorima. Na tom skupu treba testirati svaku promenu modela ili prompta. Bez kontrolnog skupa ne postoji pouzdan način da se dokaže da nova verzija daje bolje rezultate od prethodne.

Gde se obrada izvršava: API, sopstveni GPU ili suvereni cloud

Postoje tri osnovna pristupa. Izbor zavisi od obima posla, osetljivosti podataka i nivoa kontrole koji je kompaniji potreban.

Javni API stranog provajdera. Ovo je najbrži način da se projekat pokrene, bez ulaganja u sopstvenu infrastrukturu. Usluga se plaća prema broju tokena i odgovara pilotima i promenljivom obimu korišćenja. Ako vam je potreban inference bez sopstvenih servera, pay-as-you-go model može da pokrije isti scenario uz obradu podataka u zemlji.

Sopstveni GPU u vašem data centru. Ovaj pristup pruža potpunu kontrolu, ali donosi i potpunu odgovornost. Potrebno je obezbediti nabavku opreme, hlađenje, napajanje i stručnjake koji će održavati sistem. Ima smisla kada je opterećenje stabilno i visoko ili kada podaci ne smeju da napuste internu mrežu kompanije.

Zakup GPU kapaciteta u suverenom cloudu. Ovo je srednje rešenje između javnog API-ja i sopstvene infrastrukture. Kompanija dobija namensku GPU snagu i zadržava podatke u zemlji, bez velikog početnog kapitalnog ulaganja.

Kod multimodalnih projekata često presuđuje upravo pitanje kontrole nad podacima. Ulaz mogu da budu skenirana lična dokumenta, snimci poziva sa imenima klijenata ili fotografije sa lokacija. Sve to može predstavljati podatke o ličnosti u smislu Zakona o zaštiti podataka o ličnosti.

Pitanje mesta obrade zato više nije samo tehničko, već i pravno. Odluku o slanju skenova ličnih karata API-ju u drugoj jurisdikciji ne treba da donosi razvojni tim bez uključivanja pravne službe.

Tri načina da izvršite multimodalni workload

Otvoreni modeli koje možete hostovati sami

Ako birate sopstvenu infrastrukturu, otvoreni modeli predstavljaju ozbiljnu mogućnost. Serija Qwen3-VL dostupna je pod licencom Apache-2.0 i obuhvata modele veličine od 2 do 235 milijardi parametara, sa nativnim kontekstom od 256 hiljada tokena.

Prepoznavanje teksta podržava 32 jezika, a model može da radi sa lošim osvetljenjem, zamućenim prikazima i nagnutim skenovima. Upravo su to problemi koji se najčešće pojavljuju u praktičnoj obradi poslovne dokumentacije.

Manje verzije, od 2B do 8B parametara, mogu da rade na jednom GPU-u i dovoljne su za klasifikaciju dokumenata i izdvajanje polja. Veće varijante potrebne su tek kada zadatak zahteva složenije zaključivanje na osnovu sadržaja.

Kako da procenite da li vam multimodalni AI treba

Četiri pitanja mogu da daju odgovor brže od bilo koje demonstracije.

Da li imate podatke koji nisu tekstualni, a na osnovu kojih neko svakodnevno donosi odluke? Ako je odgovor negativan, multimodalni model vam u ovom trenutku verovatno nije potreban.

Koliki je mesečni obim tih podataka? Ako ih ima manje od nekoliko stotina, ručna obrada često je povoljnija od pokretanja čitavog AI projekta.

Da li ti podaci smeju da napuste zemlju? Odgovor na ovo pitanje određuje arhitekturu sistema pre nego što napišete prvu liniju koda.

Kolika je cena greške? Pogrešno pročitan iznos na fakturi i pogrešno klasifikovana fotografija nemaju iste posledice. Zbog toga ne zahtevaju ni isti nivo kontrole kvaliteta.

Ako odgovori pokažu da projekat ima smisla, prvi pilot ograničite na jednu vrstu dokumenta i jedan poslovni proces. Usko definisan obim omogućava da za nekoliko nedelja dobijete merljiv rezultat i utvrdite stvarnu potrošnju tokena. To je jedini pouzdan osnov za procenu ukupnog troška pri punom obimu.

Često postavljana pitanja

Koja je razlika između multimodalnog i klasičnog jezičkog modela?

Klasičan jezički model prima i vraća samo tekst. Multimodalni model istovremeno prima više vrsta podataka, poput slike i pitanja koje se na nju odnosi, i povezuje ih tokom jednog procesa obrade. Zahvaljujući tome može da rešava zadatke čiji sadržaj tekstualni model uopšte ne može da vidi.

Da li multimodalni AI može da čita skenirana dokumenta na srpskom?

Može. Vodeći otvoreni modeli podržavaju prepoznavanje teksta na velikom broju jezika. Qwen3-VL navodi podršku za 32 jezika, kao i otpornost na slab kvalitet skena.

Za dokumente napisane ćirilicom i latinicom ipak se preporučuje testiranje na stvarnom uzorku kompanije, jer kvalitet rezultata zavisi od formata dokumenta i načina skeniranja.

Zašto slika troši više tokena od kratkog pasusa teksta?

Model deli sliku na pločice i svaku od njih obračunava kroz tokene. Slika veličine 1024 × 1024 piksela na modelu GPT-4o troši 765 tokena.

Tekst se obično može skratiti, dok sadržaj slike mora da se obradi u odgovarajućoj rezoluciji. Zbog toga deset priloga u jednom zahtevu može da potroši više od sedam hiljada tokena pre nego što se uračuna samo pitanje.

Koliko GPU memorije traži multimodalni model?

Potrebna memorija zavisi od veličine modela. Težine u bf16 preciznosti zauzimaju približno dva bajta po parametru, pa model sa 32 milijarde parametara zahteva oko 64 GB memorije samo za učitavanje. Tome treba dodati memoriju potrebnu za kontekst i obradu zahteva.

Modeli veličine od 2B do 8B mogu da rade na jednom GPU-u, dok veći modeli zahtevaju konfiguracije sa 96 GB ili 192 GB VRAM-a.

Da li multimodalni model može da se hostuje u Srbiji?

Može. Otvoreni modeli sa permisivnim licencama mogu da se izvršavaju na zakupljenoj GPU infrastrukturi u domaćem data centru, tako da podaci ne napuštaju zemlju.

Za obradu skeniranih dokumenata i snimaka telefonskih razgovora ovakav pristup je često najprihvatljiviji zbog zahteva za zaštitu podataka.

Ako razmatrate multimodalni projekat, najpre procenite obim i osetljivost podataka, a tek zatim izaberite model. Orion AI Factory pokriva čitav raspon potreba, od pay-as-you-go inference usluge za pilot-projekte do namenskih GPU konfiguracija sa 192 GB VRAM-a za produkciju, uz obradu podataka u Srbiji.