ТСП: Твой личный AI. Как и зачем создаются offline LLM.

Символично, что 2025-й год начался в среду! А значит, пора сделать особенной и среду 15 января и посвятить ее тонкостям создания собственной LLM! Приглашаем всех, кому интересно развитие AI, на стрим Третьей Среды Программиста в 19:00 (часовой пояс). Наш спикер – Алексей Дебой, Fullstack Developer SoftTeco. Он расскажет, с какими задачами и вызовами придется столкнуться в работе над open-source LLM-моделями, и сравнит их производительность и затраты с решениями от Google и Microsoft. Тезисно: 🔹 OpenLLM и лучшие open-source модели 🔹Файнтюнинг 🔹Токены: cчитаем прибыль. 🔹Системные требования для запуска LLM 🔹Безопасность в работе с данными Таймкоды: 00:00 - Приветствие 2:33 - Что такое Self Hosted LLM 4:37 - Code Lama для SQL 6:27 - Почему локальные LLM стали популярны только сейчас 7:58 - Причины перехода на собственную нейросеть 12:42 - Личный опыт 14:02 - Бенчмарки 15:28 - Квантизация 19:53 - Подбираем модель квантования 23:04 - Связь битности и скорости 24:09 - Параметны против битности 26:07 - Сказки для детей 31:23 - Проекты на основе локальных LLM 37:07 - Считаем выгоду 43:50 - Вопросы от зрителей