Интеллектуальный анализ текста на примере определения тональности

Cреди основных задач Text Mining - классификация, кластеризация, определение тональности текста.

Технологии Text Mining используются для управления знаниями в различных направлениях и областях, и потому в каждом случае имеет свою специфику – это может быть использование в правительственных, исследовательских, корпоративных целях.

Для проведения практической части иследования по определению тональности текста (положительная/отрицательная окраска) была взята база комментариев к фильмам (источник - kaggle.com, международный сайт соревнований в области Data Science), база состоит из двух выборок: 1. Тренировочная выборка - текст 25 000 комментариев зрителей к фильмам и поле "sentiment" ( допустимые значения 0 - негативный отзыв , 1 - позитивный). 2. Тестовая выборка - текст 25 000 комментариев зрителей к фильмам без поля "sentiment" (положительную или отрицательную тональность необходимо вычислить).

В результате проведенного исследования, в 83 % случаев тональность была определена верно.