Naučíte se spouštět a používat lokální, otevřené LLM na svém počítači. Od uživatelského ovládání (Ollama) až po jednoduché skriptování v Pythonu. Bez cloudu, s důrazem na soukromí a praktické využití v DIY projektech a homelabech. Nebude zde žádný prompt engineering ani zoo nástrojů. Místo toho nahlédnutí pod pokličku, principy, malé skripty a use case.
Co si odnesete:
1) Spustíte lokální LLM přes Ollama – text-to-text, image-to-text.
2) Napíšete krátké python skripty proti Ollama API a i bez něj (PyTorch) – jednoduchý chat a generování obrázků pomocí diffusion modelů.
3) Propojíte LLM s dalšími nástroji (např. OCR pipeline).
4) Zkusíte si tool-calling (agent se schopností volat nástroje).
5) Porozumíte základním konceptům LLM a limitům HW.
Workshop je určený pro začátečníky v problematice AI, kteří chtějí lokální řešení pro vlastní projekty.
Účast je možná aktivně – budete si vše zkoušet na vlastním laptopu, případně pasivně – vše také ukážu na projektoru.
Požadavky a instrukce
Chcete-li se workshopu účastnit aktivně:
* Minimum 16 GB RAM, doporučeno 32 GB, případně diskrétní GPU.
* Dostatek místa na disku: při práci s většími LLM lehce zmizí 50 GB.
* OS: Linux/Mac/WSL2, znalost vlastního OS a možnost instalace nástrojů.
* Základní znalosti skriptování v bashi a pythonu a funkční python prostředí.
* Plná baterie v laptopu.
Předinstalujte si závislosti a stáhněte modely
Ušetříte čas na workshopu. Instrukce: https://github.com/dolmoch/local-ai-workshop
