5

Цель нашего сообщества — создать мир, в котором на каждый запрос на все прикладные вопросы по программированию к поисковику, в выдаче есть ссылка на развёрнутый ответ на русском языке.

Чтобы желаемый нами мир стал реальностью, мы вместе создаём базу знаний сообщества на русском языке. Путь к такой грандиозной цели непрост и извилист: есть вероятность заблудиться. На мой взгляд, нам нужен ориентир, который поможет не сбиться с верного пути.

Давайте вместе подумаем, какие метрики могли бы послужить нам ориентиром на пути к нашей цели?

Что следует учесть выбирая метрику?

Мы можем использовать любые доступные данные. Нет нужды ограничиваться существующими метриками сайтов сети Stack Exchange. Хотя мы можем создать сколько угодно любых метрик, хочется отметить:

  • Чем меньше метрик, тем лучше. Оптимально, если бы мы смогли создать одну метрику для отслеживания всего прогресса. С другой стороны, у системы есть несколько важных аспектов, которые очень сложно измерить в случае комплексного подхода.
  • Метрики должны быть интерпретируемые. Цель метрик — в простой понятной форме показать участникам, как развивается сообщество: с чем всё хорошо, а где нужно поработать. Чем проще провести ассоциацию численной оценки процесса с необходимым действием для улучшения, тем лучше.
  • Метрики должны быть универсальны. Хочется иметь возможность посмотреть одну и ту же метрику в разных сообществах, чтобы понять, можно ли делать лучше то, что мы уже делаем.

Основные метрики: сообщество, качество, количество

Думая про «единую метрику» создаётся впечатление, что метрик должно быть три:

  1. Сообщество. Насколько комфортно участникам в сообществе? Хотят ли они принимать участие на сайте (задавать или отвечать на вопросы, голосовать и т.д.)? Хотят ли приглашать коллег? Хотят ли люди присоединиться к нашему сообществу?
  2. Качественная оценка содержимого. Насколько создаваемые нами знания полезны и интересны участникам сообщества и русскоязычным разработчикам в целом?
  3. Количественная оценка содержимого. Как быстро пополняется база знаний?

Какие метрики видите вы?

Пожалуйста, предложите в ответе к этому вопросу метрики, которые вы хотели бы использовать для отслеживания прогресса? Как эти метрики рассчитать? Какие данные необходимо использовать?

Пожалуйста, размещайте одну метрику в одном ответе, чтобы не возникло путаницы в отзывах.

Я постараюсь реализовать лучшие предложенные метрики по каждому из разделов (сообщество, качество, количество) и сделать их доступными всем.

9
  • 2
  • 3
    You might find this MSE post useful: meta.stackexchange.com/questions/137975/… (Простите за английский)
    – rene
    Commented 30 мая 2019 в 14:26
  • @rene Большое спасибо за ссылку!
    – Nicolas Chabanovsky СотрудникМод
    Commented 30 мая 2019 в 14:39
  • @NicolasChabanovsky какие-нибудь итоги/выводы? (: Commented 19 июн. 2019 в 20:27
  • @Suvitruf Планирую еще подождать какое–то время и потом проанализирую отзывы на всех международных сайтах разом.
    – Nicolas Chabanovsky СотрудникМод
    Commented 24 июн. 2019 в 14:40
  • @NicolasChabanovsky а результаты планируете опубликовать на MSE или на каждой отдельной мете? Commented 24 июн. 2019 в 14:46
  • @Suvitruf Все зависит от результатов анализа. Мне лично очень хочется на MSE про международные сайты писать чаще. Будет возможность, обязательно там напишу.
    – Nicolas Chabanovsky СотрудникМод
    Commented 24 июн. 2019 в 14:51
  • @NicolasChabanovsky просто тема эта, как по мне, актуальна для всех сообществ, а не только для локализованных) Commented 24 июн. 2019 в 14:55
  • @NicolasChabanovsky к чему в итоге пришли? ) Commented 13 июл. 2019 в 17:14

8 ответов 8

15

Число пользователей, задавших 1 вопрос и больше никогда не появляющихся на сайте. Общий тренд и по месяцам.

6

Метрика "Насколько SO лоялен по отношению к заслуженным участникам" в первую очередь предназначена для сравнения с другими сайтами сети. Надо выявить, действительно ли ruSO "особенный", или это общесистемное явление. Действительно ли есть проблема в качестве отношения к участникам сообщества.

Количество участников из топ 100, которые совершили менее 5 постов (вопросов, ответов. Комментарии и очереди проверки не считаем) за месяц. Обязательно с учетом удаленных и заблокированных.

2
  • @NicolasChabanovsky 1 - любое решение должно перед собой иметь какую-то проблему, которую оно решает. Решение без проблемы - бесполезно. 2 - я не могу составить адекватной метрики ни на одну из запрошенных в вопросе категорий, т.к. они СЛИШКОМ обширны и расплывчаты. Очень сложно загнать в 3 цифры все показатели здоровья SO. 3 - поэтому я беру маленькую часть, называю её тезисом и предлагаю метрику для его проверки и мониторинга.
    – Kromster
    Commented 29 мая 2019 в 6:03
  • Проблема: у нас есть цель — создание базы знаний сообщества. Вопрос в том, чтобы мы могли в любой момент времени посмотреть каковы наши успехи в этом начинании по сравнению с прошлой неделей, месяцем, годом.
    – Nicolas Chabanovsky СотрудникМод
    Commented 29 мая 2019 в 6:07
5

Соотношение общего числа вопросов к числу вопросов, на которые получен ответ. По месяцам.

4
  • 3
    Общее число вопросов меняется со временем: обсуждалось, что многие вопросы не выживают и через некоторое время удаляются духом. Допустим, сейчас январь 2020 года, по состоянию на 1 февраля в январе будет 100 тысяч вопросов, а по состоянияю на 1 марта в январе останется только 90 тысяч.
    – A K
    Commented 28 мая 2019 в 11:20
  • 2
    @AK с учётом этого нюанса ) Commented 28 мая 2019 в 11:52
  • Просто любой ответ?
    – avp
    Commented 28 мая 2019 в 19:16
  • @avp можно две метрики. 1) Принятый ответ. 2) Хотя бы 1 ответ. Commented 28 мая 2019 в 19:43
5

Тезис - сайт заполоняется учетками однодневками, которые делаются для задания одного низкокачественного вопроса "на удачу". Какую-никакую реакция вопрос получает (и даже ответ, от сердобольных участников). После этого учетка выкидывается или откладывается.

Предлагаю метрика для определения количества таких учеток (1), и метрику для наблюдения за приходом действительно новых участников (2).

  1. Количество вопросов от участников с репутацией менее 30, которые задали не более 2 вопросов и не проявляли активности на сайте более 2 недель с тех пор. Обязательно учитывать удаленные вопросы.

  2. Аналогично, но с репутацией более 30, которые задали более 2 вопросов за неделю и проявляли активность на сайте.

3

Сообщество

Количество заблокированных учетных записей за единицу времени, разбитое по причинам блокировки.

В статистику желательно включить участников, для которых заблокирована возможность задавать вопросы из-за количественных ограничений платформы.

Эта информация, насколько я понимаю, недоступна через SEDE, т.ч. размещение на мете будет единственной возможностью для обычных участников оценить масштабы проблем сообщества. И, разумеется, было бы интересно сравнить статистику блокировок у нас с другими сайтами сети.

Вообще, в целях прозрачности, можно было бы публиковать полные списки блокировок. Это даже не будет нарушением конфиденциальности, ведь эти же данные итак публикуются в профиле заблокированного участника. Полный список позволил бы точечно рассмотреть наиболее проблемные части сообщества.

Тем не менее, если полная публикация по каким-то причинам невозможна, то, уверен, даже в обезличенной статистике найдется пища для размышлений.

1
  • 3
    Список блокировок я считаю обязательно нужно, потому что я видел нескольких пользователей с высокой репутацией, забаненных на огромный срок непонятно за что. При наличии такого списка можно будет судить о том, насколько наказания соответствуют тяжести проступков. Commented 29 мая 2019 в 9:27
3

Так как

на все прикладные вопросы по программированию к поисковику, в выдаче есть ссылка на развёрнутый ответ на русском языке

— наша цель, то мне кажется если мы хотим придти к одному показателю, то нам не нужно учитывать степень комфорта участников в сообществе. Этот показатель можно отнести к другой цели: Всем участникам должно быть комфортно.

Если брать во внимание только первую цель, то есть такая идея:

Для каждой метки(не учитывая общие: алгоритм, массивы и тд) количество запросов в Яндексе(https://wordstat.yandex.ru) за определённый период делим на количество вопросов с этой же меткой с правельным ответом за тот же период.

1
  • Спасибо! Очень интересная идея!
    – Nicolas Chabanovsky СотрудникМод
    Commented 17 июн. 2019 в 8:30
1

Число новых участников, преодолевших порог в 300 репутации, чтобы знать, сколько к нам приходит активных участников, способных давать хорошие ответы.

4
  • 2
    Новый участник -- уточните, сколько дней он считается новым? А нужно ли учитывать перерывы в его деятельности (тут, конечно, появляется вопрос, что считать перерывом) и выбрасывать их?
    – avp
    Commented 29 мая 2019 в 21:58
  • @avp я имею в виду тех, кто просто преодолел этот порог. Формулировка наверно неточная просто получилась. Commented 30 мая 2019 в 6:01
  • @avp а вот сколько плашка "новый участник" показывается, столько и считается. Commented 30 мая 2019 в 9:13
  • @SergeyGornostaev тогда наверно порог в 300 будет высоковат Commented 30 мая 2019 в 9:23
-10

Лучшая метрика, не использовать метрику. Ибо использование метрики показывает только "однобокий" взгляд . И ориентируясь на цифры в метриках общество загонит себя только в "проценты роста". Тобишь по метрикам всё станет только лучше, в то время как в реальности только хуже и хуже ;_;.

пир во время чумы.

Олигархи(старожилы) будут видеть в метриках "динамику роста" (аля коля %5 ), в то время как ситезены "рабы западного типа" будут разбегаться под гнётом новых правил и обрядов. прям как стаковер флов без приставки ру


Если уж метрик не избежать то предлагаю, метрику "социального дружелюбия " те кто даёт комментарии и не ставит минусы .

2
  • 2
    Спасибо! Не могли бы вы пояснить, пожалуйста. Я понял далеко не все.
    – Nicolas Chabanovsky СотрудникМод
    Commented 4 июн. 2019 в 13:21
  • @NicolasChabanovsky то почему я не нахожусь на stackoverflow там меня по сути забанили :3 . А почему такой ответ просто он не стандартный , мы привыкли что хаем свою историю и свою и культуру . А я решил использовать методику от пративного наоборот и хаять их систему которую везде нам насаживают.
    – timob256
    Commented 4 июн. 2019 в 13:27

Войдите, чтобы ответить на этот вопрос.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .