12

Внимание! Ответы к данному вопросу созданы программой. Если вы видите недочеты или способы улучшить алгоритм, пожалуйста, сообщите об этом в чате или комментарием к ответу. Пожалуйста, не публикуйте новых ответов в этом вопросе.


Данный вопрос призван помочь проанализировать вопросы, закрытые как слишком общие.

Основная идея

Выгрузить закрытые вопросы и разбить их на группы, где каждая группа содержит [статистически] схожие вопросы. Анализируя группы, мы вместе, возможно, сможем выбрать несколько наиболее востребованных тем, которые сможем рассмотреть в рамках руководств для приступающих к изучению.

Результаты

Данный вопрос содержит 10 ответов. Каждый ответ состоит из одной группы вопросов. Группы расположены по убыванию количества вопросов в каждой. Теоретически, в одну группу входят только статистически похожие вопросы. Код программы разбиения доступен на GitHub.

Алгоритм

Основные идеи:

  • Каждый вопрос является документом.
  • По всему набору документов строится словарь.
  • Для каждого документа по отдельности строится словарь.
  • Для каждого слова в словаре документа рассчитывается частота появления слова в документе (параметр TF).
  • Для каждого слова в общем словаре рассчитывается частота его появления в документах (параметр IDF).
  • Для каждого документа составляется вектор (массив) слов, где на i-ой позиции находится величина TF * IDF (если слово в документе отсутствует, значение TF равно 0).
  • Длина вектора — количество слов в общем словаре.
  • Все документы разбиваются на основе косинуса угла между их векторами. Документы в одной группе имеют косинус угла меньше порогового значения по отношению друг к другу.
  • На данный момент величина порога 0.91.

Что с этим делать?

Если вам знакома какая-либо из тем, представленная в ответах к этому вопросу, пожалуйста, попробуйте написать по ней руководство (вопрос с меткой ), в котором ответы будут содержать необходимые для авторов вопросов из группы знания.

Дополнительно:

  • Список всех закрытых вопросов одним csv-файлом на GitHub.
  • Все группы разбитые по txt-файлам доступны на сервере.
7
  • Не все из этих вопросов закрыты как "слишком общие". Некоторые не по теме или с непонятной сутью вопроса. Commented 11 дек. 2017 в 17:42
  • @SergeyGornostaev Так и есть. Вопрос попадет в эту выборку если он имеет хотя бы один (из пяти) голос за закрытие как «слишком общий».
    – Nicolas Chabanovsky СотрудникМод
    Commented 11 дек. 2017 в 20:31
  • Еще можно дубли анализировать, если вопрос часто повторяют, то видимо по нему больше всего затруднений
    – Cerbo
    Commented 12 дек. 2017 в 8:20
  • @Cerbo Подумал над вашим предложением и понял, что, видимо, не до конца его понимаю. Пожалуйста, опишите его подробно ответом к исходному вопросу. Пока мысли у меня следующие. Дубли, вероятно, я могу отследить SQL–запросом базе без доп. аналитики. Мы нашли все дубли. Получили список вопросов по убыванию количества обратных ссылок дубликатов. Подскажите, пожалуйста, что делать дальше? То есть вопросы уже такие есть: (1) их можно улучшать, (2) дописать доп. ответы и т.д. Вы это имели в виду или что–то другое?
    – Nicolas Chabanovsky СотрудникМод
    Commented 12 дек. 2017 в 11:11
  • @NicolasChabanovsky не думаю что такие вопросы можно как-то улучшить или дать объективно верный ответ, например "Как писать игры на C++" или "Как попасть в панель управления MySQL?". Их стоит как-то агрегировать и выдать некий список общих вопросов и ответов, например, как вопросы по сбору книг для изучения языков.
    – DaemonHK
    Commented 13 дек. 2017 в 10:46
  • @DaemonHK про улучшение – это о дубликатах. В остальном полностью согласен! Именно об этом данная инициатива.
    – Nicolas Chabanovsky СотрудникМод
    Commented 13 дек. 2017 в 11:22
  • @NicolasChabanovsky вы хотите увеличить количество канонических вопросов в метке [книги]? Потому что если один "слишком общий" вопрос может требовать объёма книги, то группа общих вопросов — уже в целых книжных полках можно измерять.¶ Не вижу что автоматическое разбиение на группы по указанным критериям тут даёт. В качестве альтернативы, можно популярные метки использовать для "слишком общих" вопросов¶ В качестве дополнения к списку книг, можно обновить описание метки [книги] и разрешить ссылки на mind-maps, на программы курсов, другие online ресурсы (уже присутствует в ответах).
    – jfs
    Commented 18 янв. 2018 в 11:21

10 ответов 10

1

Группа №0

Внимание! Это автоматически созданный ответ, пожалуйста, не вносите в него правки.

1

Группа №1

Внимание! Это автоматически созданный ответ, пожалуйста, не вносите в него правки.

0

Группа №3

Внимание! Это автоматически созданный ответ, пожалуйста, не вносите в него правки.

0

Группа №4

Внимание! Это автоматически созданный ответ, пожалуйста, не вносите в него правки.

0

Группа №5

Внимание! Это автоматически созданный ответ, пожалуйста, не вносите в него правки.

0

Группа №7

Внимание! Это автоматически созданный ответ, пожалуйста, не вносите в него правки.

0

Группа №8

Внимание! Это автоматически созданный ответ, пожалуйста, не вносите в него правки.

0

Группа №9

Внимание! Это автоматически созданный ответ, пожалуйста, не вносите в него правки.

-1

Группа №6

Внимание! Это автоматически созданный ответ, пожалуйста, не вносите в него правки.

Войдите, чтобы ответить на этот вопрос.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .