Web-сервис для генерации текстовых эмбеддингов - Дани Эль-Айясс

Одной из самых распространенных задач NLP является задача текстовой классификации. Для обучения такой модели текст нужно представить в виде эмбеддинга. Для этого существуют различные подходы к получению эмбеддингов текстов/предложений, одним из которых является Multilingual Universal Sentence Encoder (MUSE). MUSE реализован на базе архитектуры Transformer, поддерживает 16 языков, включая русский, и показывает хорошее качество в задаче классификации. В нашей команде, мы используем MUSE в различных проектах. Однако поскольку модель является достаточно тяжелой, приходится задумываться об эффективном использовании ресурсов, чтобы не занимать лишнюю память копиями модели в виртуальных окружениях каждого члена команды. Для решения данной проблемы, нами был разработан REST API сервис, который можно развернуть на сервере, куда каждый член команды имеет доступ. У такого подхода также имеется ряд дополнительных преимуществ, о которых будет рассказано во время доклада. Ссылка на репозиторий с сервисом:
📢 Подписывайся на наше сообщество в telegram, чтобы быть в курсе мероприятий:
🗨 Обсудить доклады можно в нашем чатике