Začínáme s lokální AI

Tento článek je úvodem do lokálního provozování AI modelů. Je určený především pro ty, kteří zatím AI modely používali jen zvenčí – přes webové rozhraní, případně API. Jestli už jste v tomhle směru technicky znalejší (=slyšeli jste slovo “transformer” v jiném kontextu než animák nebo transformátor), tak se budete spíš nudit a můžete si s klidem počkat na další post.

Co je vlastně “model”?

Základem pro dnešní generativní AI jsou modely: konkrétně v případě té mainstreamové AI jde většinou o jazykové modely. Může jít ale i o modely obrázků, videa, hudby a dalších.

Slovo “model” mám rád, protože dává dobrý vhled do toho, co se v AI doopravdy děje. Zatímco slovní spojení “AI generuje text” dává procesu generování textu lehký nádech magična, spojení “model generuje text” už navádí na konkrétní technický proces.

Je dobré si říct, že slovo “model” není v případě AI myšleno v běžném významu “typ produktu v sérii”. AI modely totiž – na rozdíl od takového nového modelu Samsung Galaxy nebo Škoda Octavia – opravdu něco modelují.

Jak už název napovídá, jazykové modely modelují jazyk. Původně tím byly myšleny přirozené jazyky jako čeština nebo angličtina. Postupně to ale začlo znamenat obecně “text”: včetně programovacích jazyků, značkovacích jazyků a v podstatě libovolných sekvencí znaků.

Co znamená, že tyto modely něco modelují? Představit si to můžeme například na meteorologických modelech. Ty vnitřně reprezentují, jak funguje proudění v atmosféře a na základě toho předpovídají, jaké počasí bude následovat v příštích dnech.

Analogicky fungují i jazykové modely. Vnitřně reprezentují, jak funguje jazyk, a na základě toho předpovídají, co bude následovat v daném textu.

Zatímco meteorologické modely ale předpovídají počasí s rozumnou jistotou maximálně na pár dní dopředu, dnešní velké jazykové modely dokáží předpovídat koherentní text nejen pár slov dopředu, ale i na úrovni celých odstavců a dokumentů.

Právě tato “superschopnost”, která ještě pár let zpátky nebyla samozřejmostí, je základem dnešního překotného vývoje AI.

Velké jazykové modely

U meteorologických modelů si v základu vystačíme se sadou fyzikálních rovnic, u jazyka jsou ale pravidla mnohem komplikovanější. Aby tedy jazykový model dokázal modelovat jazyk se vším všudy – včetně faktických informací o světě, selského rozumu nebo znalostí pragmatiky – potřebuje spoustu informací.

Současné jazykové modely jsou nazývané “velké”, protože tyto informace mají zapsané v miliardách až bilionech tzv. “parametrů” = “vah” (tato slova budu používat zaměnitelně). Každý tento parametr není nic jiného než desetinné číslo: například -0,809.

Abychom tyto parametry mohli využít k modelování jazyka, potřebujeme znát sadu pravidel, jak tato čísla aplikovat. Těmto pravidlům se říká “architektura modelu”. V současnosti nejpoužívanější architektura jazykových modelů je architektura Transformer. Popisů této architektury je celý internet (včetně mých slidů), takže ji zatím přeskočíme. Důležité je pochopit, že tato pravidla se nejvíce ze všeho podobají obsáhlému matematickému vzorci. Je v něm spousta sčítání, spousta násobení, a hrstka dalších funkcí jako max(0,x). Asi vás nepřekvapí, že takovýto matematický vzorec se dá jednodušeji zapsat jako počítačový kód.

Nic jiného než tento vzorec zde není: žádná další ručně psaná pravidla, žádné přidané znalosti. Všechny znalosti velkých jazykových modelů jsou uložené v jejich parametrech, tedy miliardách desetinných čísel.

Když to tedy shrnu: typický velký jazykový model je několik miliard desetinných čísel a pár řádek počítačového kódu. To nezní jako velká věda, ne?

No, opravdu je to docela přímočaré. Sadu vah otevřených modelů si můžete stáhnout i do vlastního počítače. Soubor s vahami modelu zabere řádově jednotky až stovky gigabajtů:

Souboru s vahami modelů se také říká “checkpoint” (což vychází z toho, že jde o “uložený postup při trénování modelu”). Jakmile máte checkpoint, tak stačí jeho váhy načíst pomocí odpovídajícího kódu a můžete začít model využívat pro generování textu.

Jak generovat text lokálně

Kód, který dopodrobna popisuje všechny matematické operace s jednotlivými parametry, si můžete prohlédnout například v ukázkovém kódu microGPT od Andreje Karpathyho.

Většinou s takovýmto kódem ale přímo do styku nepřijdete. Jak už to u počítačového kódu bývá, obecně se snažíme, aby nám maximálně usnadnil život. Každou sadu primitivních operací proto postupně balíme do větších a větších abstrakcí, abychom se nemuseli starat o implementační detaily.

Využijeme proto spíš nějakou knihovnu, která nás od implementačních detailů odstíní, jako například HuggingFace Transformers. Kód pro načtení a spuštění modelu v této knihovně vypadá nějak takto:

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "meta-llama/Llama-3.2-1B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

messages = [{"role": "user", "content": "Co jsou lokální AI modely?"}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
)
outputs = model.generate(inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Protože je základní princip jazykového modelování velmi jednoduchý, abstrakce tu může jít až naprosto na maximum. Tedy: načtu model → generuji text na základě promptu. Takovou maximální abstrakci umožňuje například knihovna Ollama, kde stačí specifikovat, který model chcete spustit:

ollama run gemma4:latest
>>> 

Tato knihovna vás odstíní dokonce i od stahování vah modelu, které proběhne při prvním spuštění na pozadí. Také vás odstíní od různých dalších technikálií, jako je:

• tokenizace: jak přesně z textu vytvořit vstup do modelu,
• dekódovací algoritmus: jak využít modelování textu pro generování textu,
• chatovací template: jak umožnit modelu poznat, co píše model a co uživatel,
• KV-caching: jak nepočítat nějaké informace zbytečně vícekrát,
• a tak dále.

Každý z těchto konceptů je pro provozování lokálních modelů poměrně zásadní. Na základní abstrakci to ale nic nemění: uživatel napíše začátek textu (“prompt”) a jazykový model v tomto textu pokračuje svou odpovědí.

A díky podobným open-source knihovnám můžeme tento proces spustit lokálně na svém počítači.

Co vyhledávání, nástroje, …?

Možná chcete namítnout: to opravdu komerční AI nástroje jako ChatGPT pouze předpovídají další slovo v textu?

Odpověď je “v zásadě ano”. Ale pojďme se na to podívat blíže.

Spuštění ChatGPT předznamenalo začátek éry uzavřených, komerčních AI nástrojů. Po letech otevřeného výzkumu jazykových modelů i ze strany velkých firem (např. architektura Transformer pochází z výzkumné divize Googlu) jsme najednou mohli jen spekulovat, co přesně ChatGPT dělá na pozadí (že by tam byl dav najatých lidí, kteří umějí rychle odpovídat?¹ Jen pro jistotu: tohle není žádná spekulace nebo konspirace, jen vtip. )

Doteď to nevíme úplně přesně. S ohledem na dostupný výzkum můžeme ale s jistotou říct, že základem každého dnešního komerčního AI modelu, který generuje text, je jazykový model na principech, které jsme si právě popsali.

Hlavní rozdíl oproti otevřeným AI modelům je tedy ten, že neznáme konkrétní sadu vah těchto modelů. Zároveň nevíme ani počet těchto vah (jinak řečeno, velikost modelu), přesný způsob jeho trénování, jeho trénovací data a další technické detaily, které by nám umožnily lépe pochopit, jak konkrétní model funguje a jak ho replikovat. Kdybychom to věděli, velké firmy by ztratily svoji konkurenční výhodu.

Tou nejzásadnější součástí služeb jako ChatGPT, Gemini nebo Claude je tedy opravdu jazykový model.

Je ale dobré zmínit, že v dnešní době už generativní AI nástroje nejsou jen modely samotné. Důležitá je i tzv. “harness”. To je doslova přeloženo “postroj” (což trochu napovídá o významu tohoto slova) – řídicí platforma, která model kontroluje a dává mu další možnosti.

Kromě základních věcí, jako je zmíněná tokenizace nebo dekódovací algoritmus, jsou to různé další vychytávky, jako

• přístup k dalším informacím: vyhledávání souvisejících informací v externích zdrojích,
• volání externích nástrojů: možnost generováním speciálně naformátovaného textu používat nástroje, např. pouštět počítačový kód nebo vyhledávat na internetu
• správa kontextu: zajistit, že když je konverzace příliš dlouhá, tak se část smaže nebo sesumarizuje,
• a tak dále.

Všechny tyto věci jsou důležité, aby AI nástroje fungovaly podle očekávání. Například bez přístupu k interním dokumentům vaší firmy model nebude užitečný v odpovídání otázek ohledně těchto dokumentů.

Dobrou zprávou je, že všechny tyto věci jsou už poměrně přímočaré softwarové nápady, které můžeme díky open-source knihovnám provádět i s lokálními modely.

Příkladem open-source nástroje, který zajišťuje uživatelsky přívětivý přístup k otevřeným jazykovým modelům, je OpenWebUI:

V čem mají tedy komerční modely výhodu? No, v zásadě v ničem. Slavně to rozvedli zaměstnanci Googlu v uniklém interním dokumentu We Have No Moat, And Neither Does OpenAI:

[…] While our models still hold a slight edge in terms of quality, the gap is closing astonishingly quickly. Open-source models are faster, more customizable, more private, and pound-for-pound more capable. They are doing things with $100 and 13B params that we struggle with at $10M and 540B. And they are doing so in weeks, not months. […]

V čem je tedy problém?

Což nás přivádí na otázku: “Proč pořád všichni využívají především komerční modely?”

Pravdou je, že velké komerční společnosti mají stále výhodu v přístupu k výpočetním prostředkům a trénovacím datům.

Trénování modelů je velmi, velmi výpočetně náročné. Je to ten hlavní důvod, proč se většina organizací do trénování vlastního modelu nikdy ani nepustí. V důsledku toho jsou otevřené modely spíše malé, vznikají díky kooperaci více organizací, případně pocházejí jako “vedlejší produkt” právě z těch velkých firem. Nejlepší dostupné otevřené modely tedy obecně nedosahují kvality těch nejlepších dostupných komerčních modelů.

Následné provozování modelu už je řádově méně náročné (a ceny stále klesají), pořád se ale bavíme o nezanedbatelných nákladech. I tady je proto potřeba optimalizovat, především když přijde řeč škálování (kolik instancí modelu bude najednou potřeba?) a dlouhodobý provoz. Pro běh velkých modelů v rozumné rychlosti (tokenů/s) je potřeba vhodný hardware, především high-end grafické karty. Ty jsou momentálně kvůli vysoké poptávce po AI velmi drahé. I zde mají tedy firmy s dostatečným výpočetním výkonem náskok, pokud jde o možnosti obsloužení zákazníků.

Kvalita výstupů z modelů je zároveň ovlivněna i přístupem k trénovacích datům – a i zde mají komerční AI poskytovatelé navrch. Kromě přístupu k vlastním interním datům, případně finančním prostředkům za nákup těch placených, se tyto firmy také příliš nepotřebují zodpovídat ohledně zdrojů dat, na kterých modely trénují. Proto například Anthropic mohl natrénovat svoje modely na pirátských kopiích milionů knih (a když se na to přišlo, tak všechny knihy nakoupit v tištěné podobě).

Navíc jsou v dnešní době důležitá i data pro dotrénování za konkrétními účely a na konkrétní styl – a tady se hodně osvědčí data získaná od uživatelů. Je to trochu taková začarovaná smyčka. Lidé komerční modely využívají ve velkém, a tak poskytují firmám spoustu užitečných dat, díky kterým mohou svoje modely dál zlepšovat.

Je potřeba i říct, že některé otevřené modely dohání tuto mezeru jiným způsoby v legální šedé zóně, například tím, že vytěžují odpovědi z komerčních modelů ve velkém jako trénovací data.

Z tohoto závodu tedy zatím těží všichni, kdo chtějí schopnější AI modely. Bohužel na tom tratí tí, kteří se snaží hrát tuto hru poctivě: tedy natrénovat otevřený model i s otevřenými trénovacími daty. Ačkoliv i takovéto modely existují, jako například OLMo od AI2, SmolLM od Huggingface nebo Nemotron od NVIDIA, většinou jde pouze o menší modely, které nedosahují výsledků těch nejlepších současných modelů.

Má to ale i své světlé stránky. Otevřených modelů je k dispozici celá řada a zlepšování jejich výkonu se zatím nezastavuje. V polovině roku 2026 máme k dispozici celou řadu velmi schopných modelů z řad GLM, MiniMax, Qwen, Kimi, DeepSeek, Gemma nebo Mistral, které jsou ve své největší variantě často jen několik měsíců pozadu za top komerčními modely.

Zároveň se dávají do pohybu projekty jako AI Gigafactories, které by pro provozování otevřených AI modelů měly poskytnout dostatečnou kapacitu – a to i u nás v Česku.

To vše se děje ve světle toho, že lokální modely mají oproti komerčním modelům spoustu výhod. V budoucnu se proto mohou misky vah ještě hodně vychýlit.

AI není jen o textu

Zatím jsem zatlačil do pozadí ostatní, “nejazykové” AI modely. Je to proto, že především jazyk dělá z AI modelů všestranně využitelné nástroje, díky kterým se tento obor hýbe rychle dopředu.

Kromě generativních jazykových modelů je tu ale i celá škála dalších AI modelů, které nesouvisí s jazykem, případně ani nejsou generativní. Přitom je ale také lze provozovat lokálně a můžou být velmi užitečné. Jsou to modely pro generování obrázků, videa nebo hudby, modely pro syntézu řeči, přepis řeči na text, detekci objektů, segmentaci obrazu, rozpoznávání textu (OCR), embedding textu a mnohé další.

Viz například toto rozdělení modelů podle aplikací na Huggingface Models:

U těchto modelů z velké části platí to, co jsem popsal v přechozích sekcích. Všechny tyto modely jsou v dnešní době postavené na podobných principech – občas i stejné architektuře – jako jazykové modely.

Zároveň na většinu úkolů existují otevřené modely, které poskytují velmi kvalitní výsledky, například modely Whisper pro přepis řeči na text nebo Segment Anything pro segmentaci obrazu. Všechny tyto modely proto dává smysl provozovat i lokálně.

Pojďme to tedy rozjet!

Jestli si něco odnést z tohoto článku, je to fakt, že rozjet lokální AI model “podomácku” je vlastně jednoduché.

U řady jiných dalších zásadních technologií – elektřiny, připojení k internetu, spalovacích motorů – jsme často odkázáni na dostupné služby a dodavatele. U AI ale nemají komerční poskytovatelé žádnou zásadní výhodu, kterou by nešlo s trochou snahy dohnat.

Na všechny zmíněné oblasti – repozitáře s modely, softwarové knihovny, benchmarky, hardware a další – se postupně podíváme v dalších článcích.