Библиотеки для токенизации текста на Python 00:00 - Токенизация теста 01:56 - Токенизация с NLTK 03:03 - Токенизация с TensorFlow 05:44 - Токенизация со spaCy Ссылка на нойтбук из видео –
Библиотеки для токенизации текста: Natural Language Toolkit (NLTK) –
TensorFlow Text –
spaCy –
SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing –
Проект реализуется победителем Конкурса на предоставление грантов преподавателям магистратуры благотворительной программы "Стипендиальная программа Владимира Потанина" Благотворительного фонда Владимира Потанина" вКонтакте -
https://vk.com/avsozykin telegram -
Мой сайт -
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs
