14

Хочется узнать, действительно ли наблюдается угасание активности опытных экспертов по интересующим меня меткам. Не повлияет ли это на снижение числа вопросов, и не вызовет ли цепную реакцию, которая приведет к утрате интереса к ресурсу?

2 ответа 2

17

Единолично создать формальный критерий, позволяющий совершенно точно оценить качество ответа - затруднительно. В первую очередь потому, что опыта и знаний одного человека недостаточно чтобы проверить правильность каждого вопроса хотя-бы по . Это чрезвычайно затрудняет задачу.

На Stack Overflow принята система голосов, которая позволяет каждому пользователю оценить качество ответа. Все данные о голосах доступны на https://data.stackexchange.com. Я использовал эту информацию для анализа вопросов и ответов в поиске решения задачи.

Для начала неплохо бы оценить в общем виде соотношение количества ответов к вопросам без учета их оценок. Это поможет понять активность всех пользователей, в том числе и новичков.

Количество вопросов по месяцам

select datepart(year, p.CreationDate) as [Year], 
  datepart(month, p.CreationDate) as [Month], 
  count(*)
from PostTags pt
inner join Posts p on pt.PostId = p.Id
inner join Tags t on pt.TagId = t.Id
where p.PostTypeId = 1
  and t.TagName = '##tagName##'
group by datepart(year, p.CreationDate), 
  datepart(month, p.CreationDate)
order by [Year], [Month]

Количество ответов по месяцам

select datepart(year, a.CreationDate) as [Year], 
  datepart(month, a.CreationDate) as [Month], 
  count(*) as [Count]
from Posts a
inner join Posts q on a.ParentId = q.Id
where a.PostTypeId = 2
and (select count(*)
   from PostTags pt
   inner join Tags t on pt.TagId = t.Id
   where pt.PostId = q.Id
    and t.TagName = '##tagName##') > 0
group by datepart(year, a.CreationDate), 
  datepart(month, a.CreationDate)
order by [Year], [Month]

##tagName - просто название тега, здесь и далее буду подставлять . введите сюда описание изображения Как видно на графике (на всех графиках я удалил сентябрь 2018, так как по этому месяцу нет полных данных), с сентября 2017 года число ответов становиться стабильно меньшим числа вопросов.

Чтобы проверить, не переросло ли количество в качество, я посчитал среднее число голосов "за" по всем ответам, которые получили хотя бы один голос "за". Голоса "против" я решил не учитывать в анализе совсем для экономии времени. Мне кажется что спорных ответов (где много "за" и "против") не так уж много, и если у нас слишком много ответов где нет "за" и много "против", это будет все равно отражено при сравнении с общим количеством ответов.

Кроме того, я добавил фильтр, отсекающий те голоса, которые даны спустя 30 дней после создания ответа. Это должно создать равные условия для старых и новых ответов.

select datepart(year, uba.[Answer Creation Date]) as [Year],
 datepart(month, uba.[Answer Creation Date]) as [Month],
 avg(cast(uba.[Upvotes Count] as decimal(5, 2))) as [Average Upvotes Count]
from (select min(a.CreationDate) as [Answer Creation Date], 
    count(*) as [Upvotes Count]
    from Votes v
    inner join Posts a on v.PostId = a.Id
    inner join Posts q on a.ParentId = q.Id 
    where v.VoteTypeId = 2
    and a.PostTypeId = 2
    and datediff(day, a.CreationDate, v.CreationDate) <= 30
    and (select count(*)
       from PostTags pt
       inner join Tags t on pt.TagId = t.Id
       where pt.PostId = q.Id
         and t.TagName = '##tagName##') > 0
    group by v.PostId) uba
group by datepart(year, uba.[Answer Creation Date]),
  datepart(month, uba.[Answer Creation Date])
order by [Year], [Month]

Получилось что средняя оценка ответов стабильна с середины 2015 года и колеблется возле отметки 2.5.

введите сюда описание изображения

Есть бородатый анекдот, который высмеивает актуальность среднего арифметического сравнивая зарплату депутата и уборщицы. Чтобы сделать более актуальную оценку, я решил соотнести количество вопросов с количеством ответов, которые имеют 1, 1-4, и >4 голосов "за".

select datepart(year, uba.[Answer Creation Date]) as [Year],
 datepart(month, uba.[Answer Creation Date]) as [Month],
 count(case when uba.[Upvotes Count] = 1 then 1 else null end) as [Single Upvote Count],
 count(case when uba.[Upvotes Count] > 1 and uba.[Upvotes Count] < 5 then 1 else null end) as [Below Five Upvotes Count],
 count(case when uba.[Upvotes Count] >= 5 then 1 else null end) as [Over Five Upvotes Count]
from (select min(a.CreationDate) as [Answer Creation Date], 
    count(*) as [Upvotes Count]
    from Votes v
    inner join Posts a on v.PostId = a.Id
    inner join Posts q on a.ParentId = q.Id 
    where v.VoteTypeId = 2
    and a.PostTypeId = 2
    and datediff(day, a.CreationDate, v.CreationDate) <= 30
    and (select count(*)
       from PostTags pt
       inner join Tags t on pt.TagId = t.Id
       where pt.PostId = q.Id
         and t.TagName = '##tagName##') > 0
    group by v.PostId) uba
group by datepart(year, uba.[Answer Creation Date]),
  datepart(month, uba.[Answer Creation Date])
order by [Year], [Month]

На графике видно, что количество рейтинговых ответов с 2016 года постоянно уменьшается по отношению к общему количеству вопросов, но само по себе остается постоянным.

введите сюда описание изображения

Но в общее количество вопросов вероятно входят и удаленные вопросы, и вообще вопросы низкого качества (Хороший вопрос - залог хорошего ответа). Поэтому я сделал выборку вопросов с рейтингом >= 1.

select datepart(year, uba.[Question Creation Date]) as [Year],
 datepart(month, uba.[Question Creation Date]) as [Month],
 count(*) as [Rated Questions Count]
from (select min(q.CreationDate) as [Question Creation Date], 
    count(*) as [Upvotes Count]
    from Votes v
    inner join Posts q on v.PostId = q.Id
    where v.VoteTypeId = 2
    and q.PostTypeId = 1
    and (select count(*)
       from PostTags pt
       inner join Tags t on pt.TagId = t.Id
       where pt.PostId = q.Id
         and t.TagName = '##tagName##') > 0
    group by v.PostId) uba
where uba.[Upvotes Count] > 0
group by datepart(year, uba.[Question Creation Date]),
  datepart(month, uba.[Question Creation Date])
order by [Year], [Month]

После этого картинка стала немного другой. Теперь видно, что количество рейтинговых вопросов покрывается ответами даже с рейтингом 1-4. Кроме того, кривая вопросов очень сильно коррелирует с кривыми ответов, что говорит о том, что сообщество чутко реагирует на эти колебания.

введите сюда описание изображения

Для наглядности, я сделал еще один график, отображающий процентное соотношение между количеством ответов с рейтингом 1, 1-4, и >4. Кроме того, вопросы с рейтингом >4 (красная зона) я поместил посередине. На графике видно, что с середины 2015 года число высокорейтинговых ответов стабильно и практически не изменяется.

введите сюда описание изображения

Напоследок, я решил посчитать как изменяется количество пользователей, которые дают высокорейтинговые (>4) ответы. Не окажется ли так, что таких участников считанные единицы, и с потерей интереса этих участников количество хороших ответов станет неумолимо падать.

select datepart(year, uba.[Answer Creation Date]) as [Year],
 datepart(month, uba.[Answer Creation Date]) as [Month],
 count(distinct uba.[Owner]) as [High Rated Users Count]
from (select min(a.CreationDate) as [Answer Creation Date], 
    count(*) as [Upvotes Count],
    min(a.OwnerUserId) as [Owner]
    from Votes v
    inner join Posts a on v.PostId = a.Id
    inner join Posts q on a.ParentId = q.Id 
    where v.VoteTypeId = 2
    and a.PostTypeId = 2
    and datediff(day, a.CreationDate, v.CreationDate) <= 30
    and (select count(*)
       from PostTags pt
       inner join Tags t on pt.TagId = t.Id
       where pt.PostId = q.Id
         and t.TagName = '##tagName##') > 0
    group by v.PostId) uba
where uba.[Upvotes Count] >= 5
group by datepart(year, uba.[Answer Creation Date]),
  datepart(month, uba.[Answer Creation Date])
order by [Year], [Month]

График показывает, что количество таких пользователей крайне не стабильно. Но позволяет утверждать что их на данный момент где-то 15-25 человек.

введите сюда описание изображения

Почему именно 5+ а не 10+?

Дело в том, что 10+ ответов очень мало, и вывести из них достоверную статистическую закономерность невозможно. Слишком большое влияние будут оказывать случайные шумы ("накрученные" ответы, отсутствие хороших вопросов, интересный вопрос и подходяший эксперт могут просто разминуться по времени, итд.).

Вот на этом графике показано процентное соотношение количества ответов за месяц сгруппированные по рейтингу интервалами предложенными VladD. 8+ ответы безусловно гораздо качественнее чем 5-7 ответы, но историческим показателем активности участников пока-что являются последние.

введите сюда описание изображения Ссылка на запрос

С другой стороны, есть на этом графике одна деталь, которая безусловно не ускользнет от внимательных читателей, и нуждается в подробном анализе. В период с Января по Июль наблюдается утоньшение зоны 10-15, которое выглядит аномальным по сравнению с предудущими месяцами. Вот график, сфокусированный на этих данных.

введите сюда описание изображения

Кривая линия в верхней части - это общее количество вопросов с рейтингом 1+. Ее пересекает линия регрессии, показывающая что количество таких вопросов постепенно снижается (используется дополнительная шкала Y). В начале 2017 их было около 325, а теперь стало около 230.

Столбики показывают количество ответов с рейтингом 8+ (используется основная шкала Y). Соответствующие линии регрессии показывают что количество 8-9 и 15+ ответов в среднем не падает, а количество 10-15 ответов снижается. И в то же время столбик за август этого года говорит о том, что надо подождать еще месяц другой, чтобы убедиться что это не случайная аномалия, оказавшая значительное влияние на результат в силу малого объема данных.

Делать график отображающий количество участников для этих данных нет смысла. Ответов мало, поэтому скорее всего участники будут всегда разные, как заметил в комментариях PashaPash. Здесь нужен другой график, который бы наглядно показывал ротацию участников и зависимость от них высокобалльных ответов. Например, столько-то в этом месяце убыло (перестало отвечать на вопросы совсем), столько то прибыло (отвечали и раньше, но качество ответов улучшилось).

Такой анализ сложный, и я не успел провести его полностью. Данные для анализа я взял с помощью такого запроса. Дальше анализировать придется в ручном режиме, походу изобретая способ это сделать. Не могу обещать что смогу завершить работу раньше выходных, буду рад если кто-нибудь захочет помочь идеями или рассчетами.

9
  • 3
    Я вот вроде прочитал всё, но так и не понял, прав Кролик или PP? :D Commented 23 сент. 2018 в 9:20
  • Соглашусь с @Suvitruf - не хватает выводов. Хотя в целом на графики и код смотреть очень приятно :) И, кстати, в легенде потерялся знак = для 5.
    – αλεχολυτ Мод
    Commented 23 сент. 2018 в 10:29
  • Проблема с формальными оценками в том, что плюсы вполне могут быть и на средненьких ответах. Для того, чтобы определить, реально ответ хороший или нет, нужно читать его текст.
    – VladD
    Commented 23 сент. 2018 в 15:33
  • А можно ссылки на ваши запросы на data.SE? Я бы потестировал с немного другой конфигурацией.
    – VladD
    Commented 23 сент. 2018 в 17:08
  • Проблема с этим подходом в том, что он считает одного и того же пользователя как "крутого" и "не очень". В разные периоды времени. Например, если у меня в июне были ответы на 5+, и в августе были - а в июле - не было, то график дернется вних - хотя я все еще на сайте - может быть просто мне с вопросами не повезло :)
    – user177221
    Commented 23 сент. 2018 в 20:08
  • 1
    @PashaPash, да. Именно поэтому я сделал график по количеству ответов, а количество пользователей добавил чтобы показать что ответы делает не маленькая группа людей. За счет того, что количество ответов большое, ротацией конкретных участников можно в принципе пренебречь. А вот если увеличивать критерий отбора ответов по рейтингу, как сделал VlaD, то такой график не имеет большого смысла без анализа ротации пользователей. Это сложно, но возможно. Я добавил еще один абзац в ответ по этому поводу.
    – Uranus
    Commented 24 сент. 2018 в 5:29
  • @alexolut, блин, опять забыл поправить картинку с легендой. Вечером обещаю поправить.
    – Uranus
    Commented 24 сент. 2018 в 5:31
  • @VladD, появилась новая информация, возможно заинтересует. Смотрите после "Почему именно 5+ а не 10+"
    – Uranus
    Commented 24 сент. 2018 в 5:32
  • @Uranus: Ответы на 5 реально средненькие, уж извините. Давайте будем честными перед собой.
    – VladD
    Commented 24 сент. 2018 в 15:59
5

Я взял те же запросы, получил данные, и попробовал сам их проанализировать.

Я понимаю, что проблема с автоматической выборкой в том, что формальные критерии — плохой показатель качества, ведь хорошие ответы не обязательно хорошо оцениваются. Тем не менее, развивая идею @Uranus, давайте попробуем ужесточить критерии «хорошего» ответа, ведь получить всего пять плюсов легко и на домашке. Что мы получим? Я взял последний запрос и добавил к нему ещё параметр (кажется, только последний имеет отношение к вопросу. а остальные лишь демонстрируют технику).

Поскольку данные содержат разбросы, я усреднил их с ядром [1, 3, 7, 3, 1].* Результаты вывел в Эксель для количества плюсов 5, 8, 10, 15. Получилась вот такая картина:

для пяти

для восьми

для десяти

для пятнадцати

Мы видим, что количество дающих средние ответы медленно уменьшается, а вот количество дающих хорошие ответы падает довольно сильно.

(Кому интересно поиграться, вот исходник усредняющего преобразования: https://pastebin.com/WCUe5V3S.)


*То есть, подсчитал вместо каждого значения средневзвешенное этого, двух предыдущих и двух последующих значений с весами 1/15, 3/15, 7/15, 3/15, 1/15. Такое усреднение — стандартная статистическая процедура, позволяющая сгладить случайные флуктуации.

4
  • Не совсем понятно, что на графиках по вертикальной оси? Количество участников, давших ответы с +10 и +15? Упало с 3 и 1.5 до 1? Т.е. у нас один участник, который часто давал ответы на 10+ баллов стал некативен с мая?
    – user177221
    Commented 23 сент. 2018 в 19:51
  • @PashaPash: То же, что и в другом ответе, разумеется. У вас к ответу Uranus вопросов не возникло?
    – VladD
    Commented 23 сент. 2018 в 19:59
  • Возникли, я там даже комментарий начал писать, но потерял случайно при навигации. Сейчас допишу.
    – user177221
    Commented 23 сент. 2018 в 20:00
  • @PashaPash: Мне вот лично вам не хочется отвечать, по причинам, которые вы сами можете уяснить.
    – VladD
    Commented 23 сент. 2018 в 20:00

Войдите, чтобы ответить на этот вопрос.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .