В последнее время в сообществе было очень много разговоров относительно тревог в чате, в частности, что участники сообщества получают незаслуженные блокировки как результат неверной проверки выполненной нашими русско не говорящими коллегами. Давайте попробуем разобраться, так ли это, взглянув на цифры.
Анализ ниже сделан в полу автоматическом режиме в связи с достаточно сложной для автоматического анализа схемой базы данных чатов. Анализ сделан 15 января 2018 года за последние 30*6 дней
- Всего 78 сообщений были отмечены тревогами: 12 — требует внимания модератора, 66 — оскорбления или спам.
- Из них было удалено 17: 5 — требует внимания модератора, 12 — оскорбления или спам.
Удаление сообщений и блокировки
Заметьте, что удалено оно может быть кем угодно, и как угодно. В базе я вижу лишь факт удаления. Насколько я понимаю, единственный способ, когда автор сообщения получает блокировку в чате — удаление сообщение через подтверждение тревоги. Также, насколько я понимаю, когда сообщение удаляется по тревоге, автором удаления выступает «Feeds». Я задал уточняющий вопрос коллегам. Если будет обновление, я сразу же отпишусь.
Таким образом, меня волновало два аспекта:
- получил ли участник блокировку, то есть сообщение было удалено «не Feeds»;
- участвовал ли в проверке нерусскоговорящий коллега (не говорящего на русском я определяю как человека, без активности на каком–либо сайте на русском языке).
Удаленные сообщения, требующие внимания модератора (всего 5 сообщений)
- Удалено нерусскоговорящим модератором модератором: 3
- Удалено русскоговорящим модератором: 1
- Удалено с последующей блокировкой автора (те удалял Feeds): 1
Удаленные сообщения, отмеченные как спам или оскорбления (всего 12 сообщений)
- Удалено нерусскоговорящим участником: 1
- Удалено русскоговорящим участником: 6
Удалено с последующей блокировкой автора (т.е. удалял Feeds):
- Интернациональный состав: 2
- Только русскоязычные участники: 1
- Только нерусскоговорящие участники: 2
Вывод: я не вижу, чтобы в случае участия в проверке коллег, которые не знают русский язык, данные как–то шокирующие выделялись. Я не вижу подтверждению словам, что система тревог сломана, что контекст нашей культуры не понять.
Важное замечание. В статистике выше не было данных по сообщениям, удаленным тревогой модератора. Я вижу у модераторов Stack Overflow на русском 37 действий выставления тревоги или обработки тревоги на сообщениях в чате, из которых в 20 случаях сообщения были удалены.
Ирония
Также в чате был поднят вопрос иронии. Допустима ли она? Если да, то удаляться ли?
Я просмотрел сообщения, которые были отмечены сигналом тревоги, на предмет наличия в них «иронии». В самом широком смысле этого слова, я подобрал следующее:
- «Не всех. Оскорблять тут нельзя только иностранцев.»
- «сейчас еще иностранный десант наспаунится»
- «а Вы сегодня дёргали уже?»
- «за гугл транслейт наверн»
- «сколько секунд осталось до падения ---чёрного ястреба--- чата?»
- «Вот интересно, а если писающего мальчика на аватарку поставить - это сразу бан или нет?»
- «Подтверждение того, что все модераторы - хамьё! :)»
- «устроим свой Winter bash ... с флагами ⚑»
Обратите внимание, ни одно из этих сообщений удалено не было. Ни по тревоге, ни руками. Из них проверено русскоязычными участниками: 1, нерусскоязычными: 7.
Мне лично, часть этих сообщений видеть не приятно. Часть я вообще не понимаю, зачем и к чему сказано. Вот совсем, вообще, не нахожу связи высказывания с контекстом.
Вывод: это миф, что иностранные коллеги не могут или не хотят понять иронию и контекст на русском языке. Люди по большей степени ответственно подходят к проверке.
Пример обработки тревоги
Мне показалось очень интересным для понимания проблемы, посмотреть, как выглядят данные для какой–нибудь тревоги. Как мне подсказали коллеги, у нас есть следующая формула: EffectiveFlags = Flags - CounterFlags - Unsure/5
. Далее происходит одно из двух:
- Если
EffectiveFlags
достигает 6 (или получает подтверждение от модератора), сообщение удаляется. - Если
EffectiveFlags
опускается ниже 0, все тревоги в ожидании для сообщения отклоняются.
Что же происходит с сообщением? Например, возьмем удаленное сообщение «бога НЕТ!». Пожалуйста, воспринимайте это не более как пример сообщения, которому в чате не место. Оно взято как типичный пример и очень важно для понимания процессов, происходящих в системе тревог. Согласно истории, сообщение удалил я. Автор не получил блокировку: я отклонил тревогу перед удалением, удалял вручную. Что интересно, в обработке сообщения приняли участие 17 человек (плюс автор тревоги, плюс я). В том числе:
- Иностранных участников, подтвердивших тревогу: 1
- Иностранных участников, отклонивших тревогу: -
Иностранных участников, не уверенных в тревоге: 14
Русскоязычных участников, подтвердивших тревогу: -
- Русскоязычных участников, отклонивших тревогу: 1
- Русскоязычных участников, не уверенных в тревоге: 1
Вывод: Опять же, я не вижу, чтобы иностранные коллеги нажимали «случайную кнопку». Если они что–то не понимают, они так и поступают — жмут «unsure».
Другие идеи для проверок
Пожалуйста, дайте знать, если вы считаете, что нам надо посмотреть на другие параметры системы тревог.
2017.11.11T20:30, user123: "за гугл транслейт наверн". юзер10 флагнул, юзер20 - за, юзер30 - против, мод1 - против, флаг отклонен.
"юзер123" обеспечит анонимность, но при этом позволит понять количество участвовавших в флагфесте. А суммы посчитать - это мы уже сами можем сделать.