11

В последнее время в сообществе было очень много разговоров относительно тревог в чате, в частности, что участники сообщества получают незаслуженные блокировки как результат неверной проверки выполненной нашими русско не говорящими коллегами. Давайте попробуем разобраться, так ли это, взглянув на цифры.

Анализ ниже сделан в полу автоматическом режиме в связи с достаточно сложной для автоматического анализа схемой базы данных чатов. Анализ сделан 15 января 2018 года за последние 30*6 дней

  • Всего 78 сообщений были отмечены тревогами: 12 — требует внимания модератора, 66 — оскорбления или спам.
  • Из них было удалено 17: 5 — требует внимания модератора, 12 — оскорбления или спам.

Удаление сообщений и блокировки

Заметьте, что удалено оно может быть кем угодно, и как угодно. В базе я вижу лишь факт удаления. Насколько я понимаю, единственный способ, когда автор сообщения получает блокировку в чате — удаление сообщение через подтверждение тревоги. Также, насколько я понимаю, когда сообщение удаляется по тревоге, автором удаления выступает «Feeds». Я задал уточняющий вопрос коллегам. Если будет обновление, я сразу же отпишусь.

Таким образом, меня волновало два аспекта:

  1. получил ли участник блокировку, то есть сообщение было удалено «не Feeds»;
  2. участвовал ли в проверке нерусскоговорящий коллега (не говорящего на русском я определяю как человека, без активности на каком–либо сайте на русском языке).

Удаленные сообщения, требующие внимания модератора (всего 5 сообщений)

  • Удалено нерусскоговорящим модератором модератором: 3
  • Удалено русскоговорящим модератором: 1
  • Удалено с последующей блокировкой автора (те удалял Feeds): 1

Удаленные сообщения, отмеченные как спам или оскорбления (всего 12 сообщений)

  • Удалено нерусскоговорящим участником: 1
  • Удалено русскоговорящим участником: 6
  • Удалено с последующей блокировкой автора (т.е. удалял Feeds):

    • Интернациональный состав: 2
    • Только русскоязычные участники: 1
    • Только нерусскоговорящие участники: 2

Вывод: я не вижу, чтобы в случае участия в проверке коллег, которые не знают русский язык, данные как–то шокирующие выделялись. Я не вижу подтверждению словам, что система тревог сломана, что контекст нашей культуры не понять.

Важное замечание. В статистике выше не было данных по сообщениям, удаленным тревогой модератора. Я вижу у модераторов Stack Overflow на русском 37 действий выставления тревоги или обработки тревоги на сообщениях в чате, из которых в 20 случаях сообщения были удалены.

Ирония

Также в чате был поднят вопрос иронии. Допустима ли она? Если да, то удаляться ли?

Я просмотрел сообщения, которые были отмечены сигналом тревоги, на предмет наличия в них «иронии». В самом широком смысле этого слова, я подобрал следующее:

  • «Не всех. Оскорблять тут нельзя только иностранцев.»
  • «сейчас еще иностранный десант наспаунится»
  • «а Вы сегодня дёргали уже?»
  • «за гугл транслейт наверн»
  • «сколько секунд осталось до падения ---чёрного ястреба--- чата?»
  • «Вот интересно, а если писающего мальчика на аватарку поставить - это сразу бан или нет?»
  • «Подтверждение того, что все модераторы - хамьё! :)»
  • «устроим свой Winter bash ... с флагами ⚑»

Обратите внимание, ни одно из этих сообщений удалено не было. Ни по тревоге, ни руками. Из них проверено русскоязычными участниками: 1, нерусскоязычными: 7.

Мне лично, часть этих сообщений видеть не приятно. Часть я вообще не понимаю, зачем и к чему сказано. Вот совсем, вообще, не нахожу связи высказывания с контекстом.

Вывод: это миф, что иностранные коллеги не могут или не хотят понять иронию и контекст на русском языке. Люди по большей степени ответственно подходят к проверке.

Пример обработки тревоги

Мне показалось очень интересным для понимания проблемы, посмотреть, как выглядят данные для какой–нибудь тревоги. Как мне подсказали коллеги, у нас есть следующая формула: EffectiveFlags = Flags - CounterFlags - Unsure/5. Далее происходит одно из двух:

  1. Если EffectiveFlags достигает 6 (или получает подтверждение от модератора), сообщение удаляется.
  2. Если EffectiveFlags опускается ниже 0, все тревоги в ожидании для сообщения отклоняются.

Что же происходит с сообщением? Например, возьмем удаленное сообщение «бога НЕТ!». Пожалуйста, воспринимайте это не более как пример сообщения, которому в чате не место. Оно взято как типичный пример и очень важно для понимания процессов, происходящих в системе тревог. Согласно истории, сообщение удалил я. Автор не получил блокировку: я отклонил тревогу перед удалением, удалял вручную. Что интересно, в обработке сообщения приняли участие 17 человек (плюс автор тревоги, плюс я). В том числе:

  • Иностранных участников, подтвердивших тревогу: 1
  • Иностранных участников, отклонивших тревогу: -
  • Иностранных участников, не уверенных в тревоге: 14

  • Русскоязычных участников, подтвердивших тревогу: -

  • Русскоязычных участников, отклонивших тревогу: 1
  • Русскоязычных участников, не уверенных в тревоге: 1

Вывод: Опять же, я не вижу, чтобы иностранные коллеги нажимали «случайную кнопку». Если они что–то не понимают, они так и поступают — жмут «unsure».

Другие идеи для проверок

Пожалуйста, дайте знать, если вы считаете, что нам надо посмотреть на другие параметры системы тревог.

53
  • 1
    Вообще, хотелось бы более детальную информацию по голосам.
    – Qwertiy Мод
    Commented 18 янв. 2018 в 8:43
  • 1
    То есть TL;DR - иностранцы нам не "мешают", ирония вызывает флаги, но не наказуема. Примерно так?
    – Kromster
    Commented 18 янв. 2018 в 8:53
  • @Qwertiy Пожалуйста, поясните, что именно вы понимаете под «детальной информацией»?
    – Nicolas Chabanovsky СотрудникМод
    Commented 18 янв. 2018 в 9:01
  • @Kromster Да, я не вижу в данных подтверждения гипотезы о невнимании или нежелании разобраться в контексте сообщений с тревогами со стороны наших иностранных коллег. Про иронию я вас не понял. Не могли бы вы более развернуто написать, что имеется в виду?
    – Nicolas Chabanovsky СотрудникМод
    Commented 18 янв. 2018 в 9:03
  • @NicolasChabanovsky, вот как ты тревогу «бога НЕТ!» расписал сделать столюбцы (только добавить ещё колонки для действий модераторов), а 78 тревог - в строки.
    – Qwertiy Мод
    Commented 18 янв. 2018 в 9:06
  • 1
    @NicolasChabanovsky, я бы русскоязычных определял по наличию сообщений или комментариев на одном из русскоязычных сайтов.
    – Qwertiy Мод
    Commented 18 янв. 2018 в 9:21
  • 1
    Что-то я не понимаю с математикой. Каждый день удаляется по 5 сообщений, умножаем на 6 месяцев - и получаем... 15? Commented 18 янв. 2018 в 10:14
  • 3
    @PavelMayorov на мой взгляд есть две проблемы. 1. флаги которые ставят без должной причины 2. удаление сообщений которые считаются вредоносным шумом
    – user227049
    Commented 18 янв. 2018 в 11:26
  • 5
    Я правильно понял, что из 78 флагнутых сообщений большинство ложные флаги? Только 15 удалены, остальное фланнуто в шутку? То есть флаги используются не по назначению. Можно ли флаги по датам сгруппировать: они равномерно идут или плотно пошли начиная с месяц тому назад? Какие меры применяются к тем, кто флагает зря?
    – A K
    Commented 18 янв. 2018 в 12:38
  • 3
    А я подожду точные цифры и графики.
    – A K
    Commented 18 янв. 2018 в 13:12
  • 5
    Я ожидал что-то вроде таймлайна к каждому флагнутому сообщению. Например, 2017.11.11T20:30, user123: "за гугл транслейт наверн". юзер10 флагнул, юзер20 - за, юзер30 - против, мод1 - против, флаг отклонен. "юзер123" обеспечит анонимность, но при этом позволит понять количество участвовавших в флагфесте. А суммы посчитать - это мы уже сами можем сделать.
    – Abyx
    Commented 18 янв. 2018 в 23:20
  • 1
    @NicolasChabanovsky но таймлайн хотя-бы можно добавить?
    – user227049
    Commented 19 янв. 2018 в 8:13
  • 4
    @NicolasChabanovsky я не говорю что надо писать имена, наоборот, я хочу заменить имена на "Person A", "Person B"
    – Abyx
    Commented 19 янв. 2018 в 8:20
  • 3
    @NicolasChabanovsky: Интересная информация. Тогда как вы объясните шквал тревог? Мы для начала хотим выяснить, кто виноват в этом шквале. // Вы получили моё письмо? Ваше мне пришлось вытаскивать из подозрительных на спам.
    – VladD
    Commented 19 янв. 2018 в 9:44
  • 2
    Написано, что удаленных как «спам» 10, но сумма 1+6+2+1+2 = 12. Где ошибка? Еще мне не понятно, кто такие участники в этом списке, когда речь не про Feeds. Кто-то сам удалял свои сообщения, или речь о модераторах, удаляющих без блокировки?
    – αλεχολυτ Мод
    Commented 20 янв. 2018 в 4:13

0

Войдите, чтобы ответить на этот вопрос.

Посмотрите другие вопросы с метками .