Демократизация LLM, llama.cpp, llava и что делаем в этом зоопарке

Антон Штарев, пришел и принес нам готовые SOTA решения для локального запуска больших языковых моделей у вас на холодильнике. Будто мама птичка, которая кормит своих несмысленышей прямо с клювика Антон рассказал нам про квантизацию моделей, опыт с llama.cpp, как не задолжать GCP крупную сумму и использовать мультимодальные модели не спонсируя увольнения Сэма Альтмана. Контакты спикера:
Выступить со своим докладом:
00:00 Делюсь травмирующим прошлым 00:17 Семейство LLM и кто тут не очень 04:33 Работягам - GPU 06:47 Квантизация и ее подводные 14:23 Человек который изменил все 15:13 Llama.cpp 19:00 Демонстрация, работаем в полях 37:14 Извиняюсь