OpenAlt 2025

Self-hosting LLM aneb AI doma, bezpečne a v súkromí
01.11.2025 , A113
Jazyk: Slovak

S nástupom malých LLM modelov a open source nástrojmi umožnujúcim ich jednoducho používať a self-hostovať nastala dobe demokratizácie AI. Ak nepotrebujeme absolutne state-of-the-art a obrovske kontexty a výkon platených AI služieb, často si vieme vystačiť so self-hostovaným riešením, ktoré nám navyše zaručuje súkromie, stabilitu a obchádzanie cenzúry.

V prvej časti tohto workshopu si predstavíme self-hostovanie LLM modelov a ich sprístupnenie cez webové rozhranie, ukážeme aké su možnosti a obmedzenia súčasnych kompaktných modelov v porovnaní s ChatGPT.

V druhej časti si ukážeme niekoľko utilít a služieb, ktoré využívajú LLM a VLM modely aj inak, ako len na chatbota.

V tretej časti sa spoločne povenujeme Vašim vlastným návrhom a skúsime vytvoriť aspoň minimálny nástrel funkčnej utility.

Účastníci workshopu by si mali priniesť laptop s funkčným Python prostredím, Dockerom a ideálne aj nejaký vlastný originálny nápad na využitie AI .


Mohu prezentovat v češtině i angličtině:
Tento přednášející je uvedený také u: