Мастера DELPHI (документация, исходники, скачать)

Основная («Начинающим»)/ Базы / WinAPI / Компоненты / Сети / Media / Игры / Corba и COM / KOL / FreePascal / .Net / Прочее / RSDN.ORG

« предыдущая ветвь | форум | следующая ветвь »

Определение темы текста по словарю.

Страницы: < 1 2
NBAH1990 © (2013-03-19 17:02:00)
Доброго времени суток, уважаемые знатоки. По работе приходится перебирать иного текста и распределять его в 2 группы "То что надо " и "То что не надо". Проведя не хитрый анализ множества текстов из серии "То что надо" вывел словарь со словами чаще всего появляющимися в подобных текстах. Теперь хочу написать маленькую прожку, которая обращаясь к словарю определяла бы принадлежность текста к группе "То что надо" или отбрасывала в "То что не надо". Не знаю как бы правильно составить алгоритм. У кого какие идеи? Мб изначально не верной дорогой пошел?

O'ShinW (2013-03-19 17:32:00) [21]
догадываюсь :)
Но если тем не много - не должно быть сильно дуто

Ega23 (2013-03-19 17:29:00) [22]

> В БД, естественно

Знаешь, какого размера будет БД? :)

O'ShinW (2013-03-19 17:26:00) [23]
Если брать текст, читать глазами, давать тему руками.

Из него все слова в словарь добавлять, с пометкой, к какой теме они.
В БД, естественно
Таблица тем, таблица слов, кросс-таблица.
выкинуть слова, подходящие ко всем темам ("в", "на" и т.п.)

правильно,

> высчитать процент слов из словаря входящих в текс

Еще таблица частот слова в теме

Хм.. А тема, пожалуй, интересная..

Ega23 (2013-03-19 17:23:00) [24]

> т.е. если у меня уже есть словарь с ключевыми словами, то
> самое частое слово будет весить больше всех?

Это один из вариантов решения. Есть и другие.
Например, документ крайне важен, если в нём упоминается "Урюпинск". Значит вес токена "Урюпинск" должен быть заведомо выше порога важности документа.

NBAH1990 (2013-03-19 17:19:00) [25]

> Веса подбираешь сам, по степени важности

т.е. если у меня уже есть словарь с ключевыми словами, то самое частое слово будет весить больше всех? Ещё была идея, высчитать процент слов из словаря входящих в текст.

Ega23 (2013-03-19 17:08:00) [26]
Веса подбираешь сам, по степени важности (это тебе виднее, какие токены должны иметь вес 100500, а какие - 0).
Порог общего веса документа - тоже сам определяешь.

Как-то так.

Ega23 (2013-03-19 17:06:00) [27]
Словарь:
Токен - Вес токена.
Соответственно, парсишь документы, суммируешь вес каждого токена.
Принимаешь решение на основе полученного общего "веса" документа.

Страницы: < 1 2

Наверх

	« предыдущая ветвь \| форум \| следующая ветвь »