OpenAlt 2025

Self-hosting LLM aneb AI doma, bezpečne a v súkromí
2025-11-01 , A113
Language: Slovak

S nástupom malých LLM modelov a open source nástrojmi umožnujúcim ich jednoducho používať a self-hostovať nastala dobe demokratizácie AI. Ak nepotrebujeme absolutne state-of-the-art a obrovske kontexty a výkon platených AI služieb, často si vieme vystačiť so self-hostovaným riešením, ktoré nám navyše zaručuje súkromie, stabilitu a obchádzanie cenzúry.

V prvej časti tohto workshopu si predstavíme self-hostovanie LLM modelov a ich sprístupnenie cez webové rozhranie, ukážeme aké su možnosti a obmedzenia súčasnych kompaktných modelov v porovnaní s ChatGPT.

V druhej časti si ukážeme niekoľko utilít a služieb, ktoré využívajú LLM a VLM modely aj inak, ako len na chatbota.

V tretej časti sa spoločne povenujeme Vašim vlastným návrhom a skúsime vytvoriť aspoň minimálny nástrel funkčnej utility.

Účastníci workshopu by si mali priniesť laptop s funkčným Python prostredím, Dockerom a ideálne aj nejaký vlastný originálny nápad na využitie AI .


Can present in both Czech and English – yes
This speaker also appears in: