Тестируем стенд для приватных LLM на 2x RTX 3090 (часть 5, финал)

Активист Иван Толстошеев специально для ilovedocs снял цикл видео о том, как установить и использовать локальные модели на личном или рабочем ноутбуке. Локальные модели нужны для обработки данных, которые вы не готовы предоставлять публичным моделям. Иван показывает, что они могут работать в домашних условиях и быть достаточно эффективными. Финал серии: тестируем стенд для приватных LLM на "народном" железе (2x RTX 3090) и проверяем его возможности в задачах с текстом и картинками. -- 2x RTX 3090 (48 ГБ видеопамяти) + движок vLLM. Интерфейс Open WebUI с доступом по прямому IP -- высокая скорость генерации (~130 токенов/сек) и обработка промпта в тысячи токенов/сек -- модель распознает содержимое картинок - от OCR в документах до решения визуальных задач -- все данные и вычисления, включая чувствительные документы, остаются внутри вашего периметра Вывод: Приватные модели уже сейчас достигли уровня облачных сервисов годичной давности и отлично справляются с 95% задач по работе с документами и изображениями. Основной вызов теперь - не в моделях, а в их интеграции в бизнес-процессы. В следущих циклах - практическое применение приватных LLM. Соцсети ilovedocs:

Канал Ивана:
В канале и чате - тысячи единомышленников, нейросетевой журнал, подборки промптов, онбординг-FAQ, трансляции, много общения и опыта. #ChatGPT #юристы