11

На Meta StackExchange появилась новая политика насчет сообщений, сгенерированных AI: What is the network policy regarding AI Generated content?

Кто-нибудь понимает, в чем суть новых правил? Теперь не любые сообщения от ChatGPT удаляются, а только когда доказано, что они низкокачественные? И почему закидали минусами вопрос, в котором на первый взгляд ничего особенно плохого нет?

7
  • Как-будто бы всем не особо понравились гайдлайны, то что их сформировали из непонятных/неподкрепленных данными мотивов, то что их спустили сверху в декларативном порядке, и то что вопрос на MSE имеет метку [discussion], а обсуждать - нельзя. Бонус meta.stackexchange.com/questions/389597 и meta.stackexchange.com/questions/389598
    – Kromster
    Commented 1 июн. 2023 в 7:52
  • 6
    А получили ли наши модераторы эти гайдлайны. Хотелось бы услышать их комментарии тоже )
    – Kromster
    Commented 1 июн. 2023 в 7:56
  • 1
    Не менее половины модераторов точно в курсе )
    – Nofate Мод
    Commented 1 июн. 2023 в 9:22
  • @Nofate большей половины! (ц)
    – αλεχολυτ Мод
    Commented 1 июн. 2023 в 10:47
  • 1
    Решили не отказываться от куска рынка?))
    – DaemonHK
    Commented 5 июн. 2023 в 3:43
  • "Теперь не любые сообщения от ChatGPT удаляются, а только когда доказано, что они низкокачественные" - если я правильно понял, ответы теперь удаляют не за сгенерированность, а за конкретные косяки в нём. То есть источник ответа роли не играет. Commented 10 июн. 2023 в 8:41
  • Меня больше беспокоит возможность новорегов стремительно получить доступ к инструментам модерации не изучая работу сайта вообще, чисто через автофарм. Commented 10 июн. 2023 в 8:43

2 ответа 2

10

Как модератор другого сообщества, я бы сформулировал текущую ситуацию так:

  • Мгновенно, без обсуждения и сверху-вниз введена новая политика в отношении AI-generated текстов, которая на первый взгляд запрещает использование модераторам GPT-детекторов для принятия решения.
  • Если этот пост читать внимательно, а также учесть какую именно формулировку получили модераторы, сейчас модераторы больше не имеют инструментов, позволяющих удалять посты, сгенерированные, искусственным интеллектом.
  • Могут ли модераторы все еще удалять низкокачественные вопросы\ответы? Да. Однако, если единственным критерием низкокачественности является факт использование ChatGPT и ему подобных систем — модератор его удаливший нарушит новую политику.
  • Кроме того, существуют в проекте потенциальные пока неанонсированные изменения, которые, в синергии с новой политикой скорее всего приведут к серьезным (возможно, необратимым) последствиям.

Относится ли это к Stack Overflow на русском? Конечно. Как это будет работать на практике скоро будет понятно, однако, исходя из моего понимания на текущий момент:

  • политика по GPT - официально не отменена, но ее применение модераторами напрямую (а не через "посты низкого качества") невозможно.
  • блокировка (вплоть до 30 дней) за использование именно ChatGPT и ему подобных - теперь тоже не обоснована.
  • Полагаю, что большая часть проблем будет решаться через тревоги типа "Необходимо удалить из-за проблем с качеством", однако далеко не все. Кроме того, легко предположить усиления наплыва сгенерированного контента и его возможное искусственное "всплытие" наверх с помощью голосования.

Отмечу в конце еще раз, что данное сообщение является моим анализом ситуации как модератора другого сообщества и никак не относится к позиции модераторов Stack Overflow на русском, которая может быть совсем другой. Другие детали о том, почему многие модераторы и пользователи сообществ по всей Stack Exchange резко возмущены, протестуют и объявляют забастовку, могут быть найдены в многочисленных постах (раз, два, три, четыре и т.д.).

9
  • Если принимать всё что ты написал за чистую монету, тогда это начало конца Stack Overflow, во всяком случае в той форме, в которой мы все его знаем. Я не про русский, а вообще.
    – aepot Мод
    Commented 1 июн. 2023 в 13:07
  • 1
    @aepot Да. я это вижу именно так. И у меня на то довольно много оснований. Commented 1 июн. 2023 в 13:09
  • ясно ведь, что человечеству придет конец, и как бороться то? отвергая идею ведь можно предложить, продолжить и даже воплотить. Когда дойдет до Ру, ведь как стало ясно до русской версии вообще не все обновления доходят, а если доходят то очень поздно, и потом никто не знает, а вдруг изменится мышление этого сайта и они разделятся ру и энг. в любом случае если человечество движется вперед, то роботы упрочняются и это факт
    – Dev18
    Commented 1 июн. 2023 в 13:22
  • 13
    @Dev18 мое главное противоречие в том, что сообщества в целом не хотят, чтобы SO превращался в разговор с ботом или вообще разговор ботов с ботами. В моем "идеальном" мире: хочешь ответ от человека? велкам на Stack Overflow. хочешь от бота? велкам на ChatGPT. и не факт, что последний ответит хуже - и точно быстрее. Commented 1 июн. 2023 в 13:26
  • Принял этот ответ, так как он больше всего соответствует тому, что пишут на других сайтах сети.
    – SmallSoft
    Commented 3 июн. 2023 в 7:38
  • 2
    @Dev18 то, что AI это очень перспективная тема для медиакорпораций, уже сейчас очень очевидно. Упадок SO здесь лишь одно из самых безобидных возможных изменений, целые профессии могут придти в упадок... Но вот что я подумал, по идее, SO более ценен как источник информации для обучения AI, поэтому если разрешить копировать сюда ответы от AI, это повредит и сайту и AI. Есть подозрение, что причина новой политики - то, что кому-то очень нужен легкий способ фармить репу, и они имеют влияние на руководство SE.
    – SmallSoft
    Commented 3 июн. 2023 в 7:43
  • @MSDN.WhiteKnight я могу лишь ту цитировать Антона Меньшова, с чем Абсолютно согласна В моем "идеальном" мире: хочешь ответ от человека? велкам на Stack Overflow. хочешь от бота? велкам на ChatGPT и да, конечно же это повредит сайту, давайте его купим, и будем решать как его содержать😉, причина же абсолютно тривиальна, провести экперимент, сможет ли AI писать легкие задачки в будущем, и они вот начали с заголовка темы вопроса, потом еще потом еще, опыты...
    – Dev18
    Commented 3 июн. 2023 в 9:15
  • 2
    "Есть подозрение, что причина новой политики - то, что кому-то очень нужен легкий способ фармить репу, и они имеют влияние на руководство SE" - бред же. Руководство SE ворочает миллионами долларов, им совершенно все равно на какие-то циферки на сайте у участников и как они распределены. Важно привлечение аудитории и её монетизация, привлечение инвесторов.
    – Kromster
    Commented 3 июн. 2023 в 19:11
  • 1
    Соглашусь с @Kromster. Проблема для компании - снижение трафика, причём, подозреваю, самого доходного - новичков, которым можно впарить что угодно. Оставить СО для сложных и новых вопросов, с которыми ИИ не справится, и использовать качественную базу знаний для тренировки ИИ - лучшее решение для сообщества (меньше дубликатов, фермеров и прочей нечисти), но худшее для компании (меньше профита).
    – Kyubey
    Commented 13 июн. 2023 в 9:54
10

Я пока не готов выражать позицию за всех модераторов, но лично за себя могу сказать, что в моей работе это ничего не меняет.

Суть поднятого шума в том, что некоторые модераторы глобальных сайтов SE использовали автоматизированные скрипты GPT-детекторы, и на основе результатов работы парсера принимали решение - бот этот код писал или же нет.

С моей точки зрения, это конечно же ошибка. Принимать решение на основе какого-то парсера, неизвестно как работающего и неизвестно с какой точностью выдающего результат - неверно. Модератор, принимающий решение о блокировке пользователя, должен нести ответственность на 100% сам за это решение, а следовательно и решать только самостоятельно.

Что касается меня, я никогда не применял никаких скриптов. ChatGPT вполне легко отслеживается и визуально. Так же легко отслеживаются пользователи, которые начинают спамить GPT-ответами наш сайт. Скажу даже больше - участники на сайте справляются с этим быстрее и качественнее, чем модераторы, и своевременно набрасывают тревог на такие ответы. А модераторам уже остается либо подтвердить, что конкретный участник начал злоупотреблять, либо отклонить. В подавляющем большинстве случаев участники выставляют тревоги корректно.

Поэтому для нашего рускоязычного сообщества Stack Overflow (пока) повода для беспокойства нет. Происходящее в сети SE к нам прямого отношения не имеет.

Спасибо участникам, которые следят за GPT-ответами и своевременно информируют модсостав о подозрительных ответах. Если будут какие-то серьезные изменения в отношении GPT-политики, будет отдельное уведомление здесь об этом.

Еще добавлю то, что нарушения, связанные с ChatGPT ответами, происходят не часто и не являются острой проблемой для нашего сайта на данный момент. Это скорее рутина, с которой мы справляемся без особого труда.

7
  • 6
    «ChatGPT вполне легко отслеживается и визуально» — типичная ошибка выжившего
    – andreymal
    Commented 1 июн. 2023 в 10:35
  • 1
    @andreymal Это про то что забаненые за false positive не оставляют фидбека или что-то такое. А ответы false negative вообще вниманием обделяются. В таком случае работа модератора может свестись к ложному ощущению безошибочно принятых решений. Применять к тому о чём я писал термин "ошибки выжившего" - вообще сомнительная затея, так как здесь важную роль играет отношение "идея vs исполнение". Идея чистки SO от GPT проста настолько, что обманчиво может показаться, что всё проще простого, но по факту это не так. Так вот, я писал не про идею, а именно про исполнение.
    – aepot Мод
    Commented 1 июн. 2023 в 11:17
  • 2
    в корне не согласен с формулировкой о "сути поднятого шума". Дело совсем не в автоматизированных скриптах. Сейчас, неавтоматизированное удаление на основе "это сгенерировано ChatGPT" вне закона. Подробнее в моем посте ниже. Commented 1 июн. 2023 в 13:01
  • 2
    @AntonMenshov неавтоматизированное удаление на основе "это сгенерировано ChatGPT" вне закона - не поверишь, но я ни разу не удалил ни одного поста здесь, если причина для удаления была бы только в том что он GPTшный. Есть ряд ответов, которые по счастливой случайности были отвечены ботом верно: 1) сообщество на них не реагирует и тревогами не забрасывает, 2) я их не удаляю. Ты драматизируешь, фраза "в моей работе это ничего не меняет" всё еще актуальна.
    – aepot Мод
    Commented 1 июн. 2023 в 13:10
  • 1
    Есть мнение, что обвинение модераторов в банах на основании оценок инструмента безосновательно. И беспочвенность этих обвинений засчитывается в +1 гвоздь в крышку гроба уважения компании к бесплатным волонтёрам. Более того, насколько мне известно, ещё не было приведено ни одного примера безосновательного бана.
    – Kyubey
    Commented 12 июн. 2023 в 18:22
  • 1
    @Kyubey у нас на сайте не было разбанов, на большом SO вроде-как было. На SO моредаторская работа на 90% состоит из доверия, если убрать доверие - не будет модераторов вообще.
    – aepot Мод
    Commented 12 июн. 2023 в 19:45
  • Нашёл, откуда я взял мнение об отсутствии безосновательных банов за ИИ: meta.stackexchange.com/a/389959. Если разбаны были, то они были сотрудниками через голову выборных ромбов.
    – Kyubey
    Commented 13 июн. 2023 в 9:43

Войдите, чтобы ответить на этот вопрос.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .