Основной критерий качества это полезность для людей из поисковика, которые пытаются найти ответ на их вопрос по тематике сайта. Чем большему числу людей сайт помогает, тем лучше*.
Напрямую полезность измерить тяжело. Косвенно можно оценить полезность вопроса по количеству его просмотров (люди имеют такой вопрос и могут его найти) и наличию положительных голосов на ответах от последующих посетителей из поисковиков (индикация помог/не помог). Также можно следить за тем, сколько вопросов/ответов пришлось просмотреть человеку, прежде чем ответ удалось найти на сайте (меньше—лучше†).
Основной метод улучшения полезности это повышение сигнал/шум отношения. Практически весь существующий функционал на сайте на это направлен:
фокус на вопросах/ответах (на самом содержимом, а не социальной составляющей: кто/какого автора больше любит—позволяет масштабировать сайт за пределы междусобойчика);
возможность голосовать за вопросы/ответы (в среднем, хорошие ответы всплывают наверх страницы);
возможность закрывать точные дубликаты (чтобы полезные ответы/обновления в одном месте собирать и чтобы опытные участники не износились/не устали на одни и те же вопросы отвечать);
закрывать
- неясные (нельзя ответить без магического кристалла),
- слишком широкие (полезный ответ потребовал бы объёма книги)
- или чересчур субъективные вопросы (позволяющие десятки ответов, не требующие ни знания предметной области ни практического опыта—много лёгкого шума с личными предпочтениями, вытесняющий полезные вопросы и людей, которые на них хотят ответить)
- и соответствующие очереди проверок, ускоряющие процесс;
- очевидные вещи типа тревог для спама, агрессивных сообщений;
- возможность предлагать правки,
- оставлять комментарии к существующим сообщениям;
- отсутствие древовидных веток, поощряющих обсуждение вместо обновления самого ответа с полезной информацией, перенос в чат для сокрытия шума;
- подразумеваемая эфемерная роль самих комментариев (очевидно полезное содержимое желательно в сам вопрос/ответ помещать);
- метки, облегчающие поиск вопросов;
- знаки, позволяющие постепенно осваивать упомянутую функциональность/мягко поощряющие желаемое поведение на сайте, без необходимости всем тома документации изучать.
Чтобы всё это работало, в первую очередь вопрос должен быть задан. Если нет вопроса, то веб-поисковику нечего индексировать -> меньше людей могут сайт найти -> меньше людей новые полезные вопросы могут задать (или потому что не знают о сайте или знают, но по такой репутации, что боятся спросить). Если полезный вопрос уже задан, то опытным участникам, не следует его закрывать (убирать сигнал), чтобы они не думали о лени автора. Роль автора, задать вопрос, который может быть полезен кому-то ещё, а не только автору. Если вопрос полезен, то не имеет значения является ли он чьим-то домашним заданием. Полезность вопроса можно оценить количеством людей, которые его имеют: крайне простой вопрос типа What does “SyntaxError: Missing parentheses in call to 'print'” mean in Python? является полезным, потому что более четверти миллиона просмотров у него. И наоборот: стена кода с опечаткой не является хорошим вопросом, поэтому есть стандартная причина закрытия для таких случаев.
Полезность вопроса улучшается, если у вопроса есть одобренные ответы: принятый или с плюсами ответ. Принятый ответ не значит, что ответ "правильный", но он говорит, что вероятно автор вопроса считает, что ответ ему помог. Аналогично, плюс (голос «за») говорит, что участник или несколько посетителей нашли этот ответ полезным. По опыту (10k+), большинство популярных/принятых ответов являются подходящими ответами (не самые лучшие, но и не откровенно вредные). Для популярных вопросов, с большим количеством ответов, в большинстве случаев, достаточно первые пару ответов посмотреть (принятый и следующий за ним популярный ответ). Нет необходимости листать одну за другой страницы с ответами. Для обычных вопросов хорошо, что авторам вопросов напоминают о принятии ответов, которые им помогли.
- вопросы должны быть (но сколько конкретно—это отдельный неочевидный вопрос): метрика общее количество вопросов
- на них кто-то должен смотреть: метрика traffic
они пользу должны нести: метрика голосование, поведение на сайте (google analytics: если сигнал/шум отношение плохое, то безуспешно многочисленные Stack Overflow вопросы можно просматривать)
желательно, чтобы ответы были качественные (это тяжело измерить, многие посетители не смогут распознать) демонстрировать лучшие современные практики для решения указанной в вопросе проблемы и соответственно вопросы желательно быть интересными: метрика количество активных участников, количество опытных участников, которые остаются (предполагая, что более опытные участники в среднем способны лучше качество оценивать решения).
- доброжелательность/отсутствие грубости/агрессии/осмеяния новых пользователей, незнакомых со спецификой сайта: метрика количество людей, задающих более одного вопроса (предполагается, что это к лучшим вопросам ведёт в перспективе)
* это отличается и может конфликтовать с целью сделать определённую выбранную группу людей более счастливыми.
† в этом существенное отличие технического сайта от других сайтов таких как социальной сети. Мы хотим чтобы люди получали желаемый ответ как можно быстрее, не посещая десятки страниц.