Michal Kohútek
Sessions
S nástupom malých LLM modelov a open source nástrojmi umožnujúcim ich jednoducho používať a self-hostovať nastala dobe demokratizácie AI. Ak nepotrebujeme absolutne state-of-the-art a obrovske kontexty a výkon platených AI služieb, často si vieme vystačiť so self-hostovaným riešením, ktoré nám navyše zaručuje súkromie, stabilitu a obchádzanie cenzúry.
V prvej časti tohto workshopu si predstavíme self-hostovanie LLM modelov a ich sprístupnenie cez webové rozhranie, ukážeme aké su možnosti a obmedzenia súčasnych kompaktných modelov v porovnaní s ChatGPT.
V druhej časti si ukážeme niekoľko utilít a služieb, ktoré využívajú LLM a VLM modely aj inak, ako len na chatbota.
V tretej časti sa spoločne povenujeme Vašim vlastným návrhom a skúsime vytvoriť aspoň minimálny nástrel funkčnej utility.
Účastníci workshopu by si mali priniesť laptop s funkčným Python prostredím, Dockerom a ideálne aj nejaký vlastný originálny nápad na využitie AI .
LLM a AI zdá sa byť blockchainom dnešnej doby. Veľa Linuxákov však už každá zmienka o AI unavuje a najradšej by boli, keby hype a bublina spľasli. V tomto talku chcem demonštrovať, že reálny prínos veľkých jazykových modelov nemusí byť nutne zviazaný so závislosťou na amorálnych megakorporátoch, ale je tu aj možna cesta demokratizácie a rozumnej integráci umelej inteligencie aj do našich workflowov.