Внимание! Ответы к данному вопросу созданы программой. Если вы видите недочеты или способы улучшить алгоритм, пожалуйста, сообщите об этом в чате или комментарием к ответу. Пожалуйста, не публикуйте новых ответов в этом вопросе.
Данный вопрос призван помочь проанализировать вопросы, закрытые как слишком общие.
Основная идея
Выгрузить закрытые вопросы и разбить их на группы, где каждая группа содержит [статистически] схожие вопросы. Анализируя группы, мы вместе, возможно, сможем выбрать несколько наиболее востребованных тем, которые сможем рассмотреть в рамках руководств для приступающих к изучению.
Результаты
Данный вопрос содержит 10 ответов. Каждый ответ состоит из одной группы вопросов. Группы расположены по убыванию количества вопросов в каждой. Теоретически, в одну группу входят только статистически похожие вопросы. Код программы разбиения доступен на GitHub.
Алгоритм
Основные идеи:
- Каждый вопрос является документом.
- По всему набору документов строится словарь.
- Для каждого документа по отдельности строится словарь.
- Для каждого слова в словаре документа рассчитывается частота появления слова в документе (параметр TF).
- Для каждого слова в общем словаре рассчитывается частота его появления в документах (параметр IDF).
- Для каждого документа составляется вектор (массив) слов, где на i-ой позиции находится величина TF * IDF (если слово в документе отсутствует, значение TF равно 0).
- Длина вектора — количество слов в общем словаре.
- Все документы разбиваются на основе косинуса угла между их векторами. Документы в одной группе имеют косинус угла меньше порогового значения по отношению друг к другу.
- На данный момент величина порога 0.91.
Что с этим делать?
Если вам знакома какая-либо из тем, представленная в ответах к этому вопросу, пожалуйста, попробуйте написать по ней руководство (вопрос с меткой руководство), в котором ответы будут содержать необходимые для авторов вопросов из группы знания.
Дополнительно: