Stejný vstup, stejný výstup
...nebo ne? O (ne)deterministických výstupech jazykových modelů, samplingu a nástrahách paralelismu.
Rozjíždíme AI lokálně.
S otevřenými modely a open-source softwarem.
$ ollama run llama3.2
pulling manifest done
pulling 966de95ca8a6 87%
verifying sha256 ok
>>> Běžíš u mě na stroji?
$ vllm serve mistral-7b
INFO Running vLLM engine
INFO Loaded parameters 4.2s
INFO Route /v1/chat ready
INFO Listening at :8000
from transformers import pipeline
pipe = pipeline(
"text-generation",
model="gemma-4-E4B-it",
device="cuda"
)
$ ./llama-cli -m qwen3-8b.gguf
-p "Vysvětli, co je RAG"
model_loader GGUF v3
load_tensors done 2.45s
> RAG přidává externí zdroje…
AI modely, to není jen ChatGPT, Claude nebo Gemini.
Otevřených AI modelů je už pěkná řádka. Jsou zdarma, jsou čím dál schopnější a můžete je provozovat lokálně "na vlastním železe" – klidně i osobním počítači.
Portál Lokální.AI vznikl, aby přiblížil otevřený AI ekosystém:
- otevřené jazykové modely (Gemma, Qwen, Mistral, Nemotron, …),
- open-source software pro jejich provozování (Ollama, vLLM, OpenWebUI, OpenCode, …),
- jejich lokální nasazení, evaluaci a dotrénování, potřebný hardware a mnohé další,
českým firmám, institucím a veřejnosti.
Podnikové AI aplikace postavené na otevřených jazykových modelech jsou skvělou investicí do soukromí dat, snížení nákladů a udržitelnosti.
- Přemýšlíte o tom, že zprovozníte AI ve vaší firmě nebo instituci lokálně? Pojďme to spolu probrat.
Studenti, učitelé a veřejnost si mohou díky lokálním AI modelům zažít principy této technologie na vlastní kůži.
- Rádi byste se naučili s lokálními AI modely pracovat, nebo třeba jen zjistit, o čem je řeč? Sledujte kalendář akcí pro veřejnost.
Chcete se zapojit přímo do diskuze nebo zatím jen zůstat v obraze? Přidejte se na Discord a odebírejte newsletter!
Z blogu
O AI nejen lokálně. Novinky ze světa otevřených modelů; nápady, návody a zamyšlení.
Newsletter #3: Jen o čtyři měsíce
Mozilla vydala report o otevřených modelech, AI svět znovu objevil klasifikátory, Huawei bude dodávat čipy pouze do Číny a Anthropic varuje před GLM-5.3.
Ochrana dat: co nabízejí komerční poskytovatelé?
Lokální provoz modelů nabízí nejvyšší záruky ochrany dat, ale myslí na ni i komerční poskytovatelé. Kdy to může stačit?
Necenzurované modely jako legitimní nástroj
Proč AI asistenti (ne)spolupracují, proč švýcarský nejvyšší soud využívá Heretic modely, a proč hranice mezi dobrým a zlým úmyslem je často velmi tenká.
Pro firmy a instituce
Chcete využít AI, ale vaše data nesmí opustit firmu? Nebo nechcete platit za komerční API? Pojďme zjistit, jestli jsou lokální AI modely ta správná odpověď.
- Workshop pro tým
- Potřebujete zjistit, jestli lokální AI u vás dává smysl? Připravím workshop na míru vaším potřebám. Předvedu, co lokální AI modely v současnosti dokážou a kde mají ještě mezery. Naučím Vás tyto modely nejen spouštět a provozovat, ale také udržovat, škálovat a vyhodnocovat jejich výstupy. Po workshopu dokážete vzít věci do vlastních rukou, případně můžeme navázat další spolupráci.
- Pomoc s nasazením
- Máte už vlastní use-case a potřebujete vyladit technické řešení? Proberu s Vámi výhody a nevýhody oproti nasazení komerčních AI modelů, případně přístupu zcela bez AI. Ukážu Vám možnosti ohledně hardwaru, nasazení a dlouhodobého provozu lokálních AI modelů.Pokud se rozhodnete modely nasadit, pomůžu Vám řešení navrhnout a rozběhat na konkrétním hardwaru.
Pro veřejnost
Veřejná setkání nad lokálními AI modely – přednášky, meetupy, workshopy.
Zatím nejsou vypsané žádné akce.
Sleduj termíny na DiscorduPropojme se
Ať už se chcete naučit rozjet AI lokálně nebo jen nezávazně probrat případnou spolupráci – ozvěte se!
Napsat můžete i přímo na info@lokalni.ai.
Kdo za tím stojí
Na Matfyzu jsem se jazykovými modely zabýval ještě před tím, než začly být základem všeho AI – a než začlo být běžné za jejich využívání platit.
Sledoval jsem, jak se otevřené AI modely zlepšují a zlepšují, až jsem si najednou řekl: "Tohle by přece neměli používat jen vědci!"
Na Lokální.AI proto ukazuji, že používat AI jde i jinak. Skrz blog, workshopy a konzultace učím lidi provozovat AI lokálně, doma i ve firmě.
Víc o mně najdete na mém osobním webu.
Jsem fyzická osoba podnikající dle živnostenského zákona. IČO: 06845762.