25

На мой вопрос дал ответ один пользователь. Дело в том, что зарегистрировался он сегодня и дал 22 ответа(!!!) за 70 минут:

Ответ Время публикации
Первый 2023-01-31 06:17:33Z
Последний (удалён модератором) 2023-01-31 07:27:02Z

Выглядят эти ответы нормально. Не все они сильно развёрнутые, но поражает их количество. К тому же ответы про разные языки программирования: про , , , , и ! Некоторые ответы на "продвинутые" темы. Не сгенерированы ли эти ответы с помощью ChatGPT?

35
  • 1
    Неплохо было бы (это уже оращение к модератором) связаться с user:540296 и спросить его каким способом он так быстро закинул свои ответы на ruSO
    – avp
    Commented 31 янв. 2023 в 15:03
  • 8
    @avp может он три года готовился? А то некоторых ведь удивляют самоответы, данные в ту же секунду, что и вопрос опубликован :)
    – αλεχολυτ Мод
    Commented 31 янв. 2023 в 15:08
  • 2
    @αλεχολυτ, ну, три не три... Я посмотрел на эти ответы. Такое впечатление, что они скопированы из сети. Однако, на некоторые комментарии к ответам автор откликнулся и осмысленно их поредактировал. Так что на нейросеть (или я сильно отстал от жизни и пора приписать им разум?) не похоже
    – avp
    Commented 31 янв. 2023 в 15:14
  • 1
    @avp ЧТО именно не похоже на нейросеть? Речь всё же не о полномасштабном боте на SO, как я понимаю, а о человеке, который копипастит ответы из ChatGPT.
    – αλεχολυτ Мод
    Commented 31 янв. 2023 в 15:16
  • 2
    @avp с википедии нельзя, насколько я помню по описанию меток. С SO надо ссылку давать на первоисточник.
    – αλεχολυτ Мод
    Commented 31 янв. 2023 в 15:45
  • 9
    @αλεχολυτ, хотите сказать, что тут все теперь должны заняться отыскиванием запрещенной копипасты в ответах и их удалением? Может будем реалистами и примем новую реальность? Источник авторства не важен (соответственно и ссылка на него не обязательна). Если ответ правильный, то тут ему место, если ответ не правильный, то он должен быть заминусован.
    – avp
    Commented 31 янв. 2023 в 15:58
  • 3
    @avp новая реальность уже обозначена тут.
    – αλεχολυτ Мод
    Commented 31 янв. 2023 в 16:04
  • 2
    @αλεχολυτ, суть этого топика -- "К сожалению, сгенерированные тексты в основном оказываются не верны.". Насчет неверных ответов я уже сказал. Тут разговор, надеюсь, вы понимаете, пошел о несколько другом. О важности авторства первоначального текста и обязательности ссылок на источник для признания легитимности текста ответа. (я предлагаю признавать ответ легитимным только на основании его правильности. Остальные требования можно отбросить)
    – avp
    Commented 31 янв. 2023 в 16:15
  • 14
    Симпатизирую на самом деле позиции @avp, но это все дизраптит систему доверия высокореповым участникам, да и смысл существования SO, в конченом счете. Возможно, StackExchange стоит подумать не о том как бороться с ChatGPT, а том как интегрировать к себе новые возможности. Пока кто-то другой не сделал сайт "СпросиИИ.ком", где ответы дают моментально, а одноразовые аккаунты с домашками никто не шеймит.
    – Nofate Мод
    Commented 31 янв. 2023 в 17:53
  • 3
    Вот еще один кандидат на проверку - тревогал его ответы - сейчас он заблокирован, но скоро разблокируется - ru.stackoverflow.com/users/533449 (мб какие-то ранние ответы и потерли уже - там ChatGPT прям сквозил тоже)
    – Kromster
    Commented 1 февр. 2023 в 8:19
  • 4
    @Зонтик, когда вы даете ответ на вопрос, то пишете текст, используя сведения, полученные вами из других текстов. Если в качестве источника вы используете, например, не учебники, а статьи в интернете, найденные через гугл, то это нормально? Если да, то каким образом вы можете гарантировать, что используемая вами статья не основана на тексте, выданном ChatGPT и кем-то творчески отредактированном? Очевидно, что никак не можете. Идея понятна?
    – avp
    Commented 1 февр. 2023 в 13:06
  • 8
    На самом деле не вижу проблемы если человек взял за основу своего поста ответ от ИИ (при условии если ответ предварительно проверен на работоспособность и исправлены присущие автогенеренному тексту огрехи). Правда наверное было бы честно по отношению к другим пользователям указывать что ответ основан на ИИ или вообще делать отметку в профиле "Использую ИИ, не являюсь экспертом в той или иной области"
    – yolosora
    Commented 1 февр. 2023 в 13:57
  • 2
    @Зонтик, если между @ и именем пользователя пробел - обращение не работает, участник не получит оповещение.
    – insolor
    Commented 2 февр. 2023 в 8:56
  • 5
    Удивлен пассивностью модераторов. Надо было сразу снести ответы, а автора - в бан. В правилах уже есть явный запрет на ChatGPT. Commented 2 февр. 2023 в 17:21
  • 2
    Ещё один "скорострел" - интервал ≈4 мин. Что-то много суперподготовленных в последнее время.
    – UModeL
    Commented 12 февр. 2023 в 17:35

5 ответов 5

15

Поспрашивал сейчас ChatGPT и ответы действительно сильно похожи на то что постил участник.

введите сюда описание изображения

Беда еще и в том, что сами ответы от раза к разу разные и каждый раз чуть-чуть иные по сути. Т.е. у ChatGPT отлично получается лепить подходящие слова вместе, но каждый раз это рулетка - слепится ли что-то по сути правильное или нет.

9
  • 8
    Я бы сказал даже - неприлично похожи, а не сильно :) тут действительно - с поличным.
    – Pavel
    Commented 1 февр. 2023 в 7:09
  • Можно ли считать этот факт доказательством, что участник использовал chatGPT? А если можно, то как пресечь публикацию дальнейших ответов с помощью chatGPT? Commented 1 февр. 2023 в 7:17
  • @Зонтик можно "пресечь" публикацию ответов от этого участника, глобально - скорее всего нет. Наверное можно ограничить количество ответов в час, но это полумера, конечно.
    – insolor
    Commented 1 февр. 2023 в 7:59
  • @insolor Я имел в виду конкретно этого участника. На самом деле в глобальном плане сделать это не так уж и трудно: просто находить таких участников (как выяснилось это сделать легко=)). И залить "подозрительные" ответы в chatGPT. Commented 1 февр. 2023 в 8:04
  • @Зонтик конкретного участника - очень легко, решается баном (временным или постоянным при повторных нарушениях). Для глобального решения уже нужна какая-то эвристика. Когда участник дает много ответов в короткий промежуток времени - тут да, очень подозрительно. Но точно так же можно было постить все ответы постепенно, в течение недели, например, и заподозрить что-то было бы уже сложнее. Не будешь же каждый вопрос-ответ на сайте через ChatGPT прогонять, и сравнивать - похоже или не похоже.
    – insolor
    Commented 1 февр. 2023 в 8:07
  • 2
    если у вас есть аккаунт, уже можно проверить был ли текст написан AI Commented 1 февр. 2023 в 11:51
  • @insolor Может быть, когда-нибудь для поиска подозрительных ответов на StackOverFlow какого-нибудь бота добавят =). Ну или это будет делать дух сообщества, отправляя модератором ссылки на ответы, которые могут быть сгенерированы chatGPT. Commented 3 февр. 2023 в 3:49
  • @Зонтик "бот какой-нибудь" - это deus ex machina, не объяснение как это в принципе это глобально решить, а введение в обсуждение какого-то "черного ящика", который как-то сам должен понимать, что ответ сгенерирован нейронкой.
    – insolor
    Commented 3 февр. 2023 в 6:28
  • 1
    @Зонтик очевидно, что это будет какой-то бот. Но как именно внутри его реализовать - совсем не очевидно. Предложение использовать openai - вариант, но он определяет вероятностно. Прогонять каждый вопрос через chatgpt - вариант. Но в целом и то и другое - требует машинных ресурсов.
    – insolor
    Commented 3 февр. 2023 в 6:28
14

Думаю, тут нужно копнуть чуть глубже:

Одна из глобальных целей сообщества - получить большую и доступную базу вопросов/ответов, которые будут одобрены участниками сообщества в своей правильности и эффективности.

И основная задумка заключается в том, что сообщество управляется людьми, которые объективны в своих оценках (ну, почти всегда), и, если даётся ответ (без учёта его происхождения), который отвечает на заданный вопрос и не является низкокачественным, то чем это плохо?

Он вполне имеет право находиться на сайте и получать плюсы, раз действительно представляет из себя ценность.

Другой вопрос в том, что несмотря на то, что ChatGPT действительно многого достиг - он пока ещё практически не способен давать действительно качественные ответы, раскрывающие суть, а иногда и вовсе - пишет то, что откровенно неверно.

P.S Если вдруг кто-то меня неправильно понял - я все-таки против ИИшных ответов, если они явно такие, и сильно отличаются от человеческих (водянистые/совсем не туда), но, если разница незаметна, а ответ хороший, то не вижу глобальной катастрофы.

Поглядев ответы данного участника могу согласиться с тем, что наиболее вероятно использование ChatGPT, именно по тому, как построены и размазаны ответы.

И да, объективно - хотя в них и можно найти решение проблемы - бОльшая часть из них довольно низкокачественная.

Тем не менее, это реальность, с которой в ближайшее время придётся что-то делать, такие ситуации явно будут повторяться, поэтому предлагаю такие варианты:

  • Если ответ является низкокачественным и его содержимое намекает на то, что оно было сгенерировано - не следует ставить ему положительные оценки, даже, возможно, наоборот, следует поставить отрицательную, и написать свой ответ, который будет более точным, тем самым сообщество пополнится ещё одним хорошим человеческим ответом.
  • Люди, которые злоупотребляют использованием ИИ для ответов и не стремятся к тому, чтобы сделать его человекочитаемым должны получать предупреждение, с возможной блокировкой в будущем, потому что такие участники вредят сообществу.
2
  • Хорошо бы привлечь модераторов к этому делу, ведь только модераторы могут посылать предупреждения... Commented 1 февр. 2023 в 7:25
  • 6
    @Зонтик это в целом доступно при помощи тревог - отправляете на сообщение и указываете причину
    – Pavel
    Commented 1 февр. 2023 в 7:27
13

Т.к. модераторы достаточно пассивны в текущем наборе на ruSO, я предлагаю на подобные посты, которые вызывают подозрение в использовании chatGPT, вешать тревогу типа "спам".

спам ли

Если таких тревог набирается на сообщении несколько - в силу вступает автоматическое удаление поста и уменьшение репутации автора на 100 поинтов за каждое такое сообщение. Если подтверждения "спамности" от других не поступает - спам тревоги автоматически же откатываются.

Таким образом, и волки сыты (участники не видят всякий gpt шлак), и овцы целы (никто не гнобит модераторов за бездействие, хотя стоило бы).

24
  • 3
    Это конкретно работающее предложение. Сколько нам нужно плюсиков на этом ответе, чтобы он был признан сообществом как руководство к действию?
    – avp
    Commented 1 февр. 2023 в 13:12
  • А точно участник блокируется? Мне кажется это ручное действие модератора.
    – insolor
    Commented 1 февр. 2023 в 13:13
  • 1
    @insolor снимается репутация у спаммера. Блокировки автоматической нет, я ошибся.
    – αλεχολυτ Мод
    Commented 1 февр. 2023 в 14:02
  • 7
    Я против использования функционала не по назначению. Рекламой подобные посты уж никак не являются.
    – Kromster
    Commented 1 февр. 2023 в 14:03
  • 3
    @Kromster откуда такая уверенность? владельцы ChatGPT предлагают свои услуги за деньги. Это вполне может быть скрытой рекламой - "смотрите какой крутой ИИ, даже живые люди не распознают подвоха и плюсуют".
    – αλεχολυτ Мод
    Commented 1 февр. 2023 в 14:05
  • 1
    Мне ChatGPT предложился бесплатно. Хотите расшевелить модераторов - давайте флагать "Требуется вмешательство модератора" со словами "ChatGPT". Если не будут реагировать, то raise жалобы до SE, что модераторы не справляются.
    – Kromster
    Commented 1 февр. 2023 в 14:08
  • 8
    @Kromster "raise жалобы до SE" вот сейчас было очень смешно, честно.
    – αλεχολυτ Мод
    Commented 1 февр. 2023 в 14:16
  • 2
    на словах "жалобы до SE" действительно весь взоржал. Commented 1 февр. 2023 в 14:33
  • Не понимаю, что именно вам показалось смешным, что до этого не дойдет, или что вы не сможете составить кейс который там не заигнорят?
    – Kromster
    Commented 1 февр. 2023 в 15:58
  • 1
    Мне кажутся, что лучше вешать тревогу не "спам" (она скорее всего будет отклонена), а "требует вмешательства модератора" , с пометкой "это похоже на chatgpt". Я уже сделал так с ответом на мой вопрос и кинул ссылку на ответ @Kromster Commented 2 февр. 2023 в 3:33
  • 1
    @Kromster лично мне показалась забавной ваша вера в то, что SE что-то будет делать. Я несколько раз писал администрации, ответ получил только один раз. Commented 2 февр. 2023 в 10:11
  • 5
    Отмена участника за всего лишь "подозрения" - омерзительно
    – andreymal
    Commented 2 февр. 2023 в 12:17
  • 2
    @Эникейщик вне контекста сложно сказать, но если ruSO окажется заполонен ChatGPT и спамом, то делать что-то будут. А если 1-2 спамера в неделю и 1-2 ИИвода, вычищаемых силами модераторов и сообщества - то реагировать как-бы и не на что.
    – Kromster
    Commented 2 февр. 2023 в 19:55
  • 1
    @Nofate Кидать тревогу "не является ответом" на такие сообщения - и есть сломать механизм работы тревог. Ведь "не следует использовать сигнал тревоги, чтобы указать на неточность или неверность ответа". Не является ответом - это когда то, что опубликовано как ответ является комментарием. Я уже писал, что в таких случаях нужно ставить тревогу "требует вмешательства модератора", и написать "chatGPT". Commented 4 февр. 2023 в 8:42
  • 2
    ru.stackoverflow.com/a/1491697/373567 (удалён модератором) - модераторы реагируют на тревоги, вот например я флагнул явный ChatGPT, описал кратко свои подозрения. Тревога помечена как полезная, ответ удалён.
    – aepot Мод
    Commented 4 февр. 2023 в 20:33
3

Тоже стал встречать ответы, которые скорее всего сгенерированы ИИ. Далеко ходить не надо, вот в конкурсном: https://ru.stackoverflow.com/a/1492796/361482 Задаешь такой же вопрос нейросети - получаешь похожий ответ, без конкретики и прочих уточнений. А потом "Не работает? Да и ладно, я пытался, тогда не знаю как"))

-5

Может они пытаются заставить чат-бота проходить тест Тьюринга? Типа как долго оно может продержаться среди людей прежде чем будет вычислено.

2
  • 4
    «Я не боюсь машину, которая пройдёт тест Тьюринга. Я боюсь машину, которая намеренно его завалит»
    – andreymal
    Commented 10 февр. 2023 в 19:30
  • Одна из возможных схем использования ИИ, когда его полноценно доделают или если это уже есть, то это сокрытие его для получения контроля над всем и вся. Commented 10 февр. 2023 в 21:11

Войдите, чтобы ответить на этот вопрос.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .