Хочу короче слить все вопросы и ответы с нашего сообщества в базу оффлайн.
Стоп. Не ругаться. Можно это сделать? Или забанят :)
Хочу короче слить все вопросы и ответы с нашего сообщества в базу оффлайн.
Стоп. Не ругаться. Можно это сделать? Или забанят :)
Во-первых, как верно заметил Nofate, контент уже распространяется на archive.org в форме дампов*. Поэтому заниматься самостоятельным скрейпингом сайта по меньшей мере неэффективно, может быть даже бессмысленно.
Во-вторых, скрейпинг неэффективен и с точки зрения ресурсопотребления. Выделять структуру разметки, которая может измениться в любой момент... когда можно получить изначально структурированные данные через API, который у SE ещё как есть и который со временем вряд ли сильно изменится.
Во-третьих, если всё же скрейпить, то можно не всё. В секции 4 "Restrictions" ("Ограничения") соглашения указано следующее:
(e) copy, download, or scrape any Personal Profile Content for the purpose of indexing software engineers, social recruiting, sourcing, employment-related services, compiling databases of employment solicitation targets, providing content for a hiring platform without the express permission of Stack Exchange or the User.
...вольный перевод, не имеющий юридической силы:
(e) копировать, скачивать или скрейпить любой контент из личных профилей с целью индексирования разработчиков ПО, социального рекрутинга, сорсинга, для сервисов связанных с трудоустройством, сбора баз данных соискателей, предоставления контента для платформы найма без явного разрешения Stack Exchange или Пользователя.
...короче, запрещено собирать данные об участниках с целью поиска сотрудников, прямо или косвенно.
Хотя это же соглашение оставляет за SE право ограничить вам доступ к сервисам (забанить) без объяснения причин, поэтому никаких гарантий, что вас за какое-то деяние не забанят, дать нельзя.
* И есть sotoki, средство перегона дампов SE в формат OpenZIM для просмотра через ПО семейства Kiwix, изначально задуманные для содержания слепков баз знаний в оффлайне.