Jiri Podivin
I have been interested in AI for a long time, including language model applications.
I have been working as an engineer at Red Hat for the last 5 years, and most recently on the Log Detective project.
In my free time, I enjoy museums, obscure literature and strategy games.
Přednáška
07.11
11:00
45 min
Lokální agenti: rozpočet, optimalizace a na co si dát pozor
Jiri Podivin
Zdá se to snadné, stáhnete model, nastartujete llama.cpp, do nastavení agenta zadáme novou adresu a můžeme pracovat. Na internetu je plno tutoriálů, a YouTube plný oslavných videí. Nicméně, oproti provozu lokálních chatbotů, práce s lokálními agenty zahrnuje celou řadu úskalí která nejsou vždy na první pohled patrná.
Probereme:
- Na co dávat pozor při volbě modelu
- Které parametry jsou nejdůležitější při volbě HW
- Kdy se nám provoz vyplatí a kdy je lepší platit za tokeny
- Jak nastavit vlastní očekávání
Otevřená společnost, komunity a data
D0207