14

Хочу короче слить все вопросы и ответы с нашего сообщества в базу оффлайн.

Стоп. Не ругаться. Можно это сделать? Или забанят :)

10
  • 21
    Зачем парсить, если есть официальный готовый архив по лицензии CC-BY-SA 3.0 - archive.org/details/stackexchange
    – Nofate Мод
    Commented 13 мая 2017 в 17:53
  • @Nofate это было бы слишком просто) Commented 13 мая 2017 в 17:54
  • 7
    @Nofate уважаемый модератор, почему Вы продолжаете писать ответы в комментариях? :)
    – αλεχολυτ Мод
    Commented 13 мая 2017 в 18:01
  • 3
    Не парсить, а скрейпить Commented 13 мая 2017 в 18:01
  • 4
    @alexolut, но это был не ответ, а вопрос. "Зачем?" Я же никак не ответил, можно ли парсить.
    – Nofate Мод
    Commented 13 мая 2017 в 18:03
  • 7
    @Nofate, ох уж эти модераторы, даже вопрос зададут лишь бы ответ не писать!
    – Grundy Мод
    Commented 14 мая 2017 в 7:52
  • @Nofate, "В соответствии с требованиями законодательства доступ к запрашиваемому Интернет-ресурсу закрыт"
    – Qwertiy Мод
    Commented 16 мая 2017 в 7:23
  • @Grundy сочувствую. У меня пускает.
    – Nofate Мод
    Commented 16 мая 2017 в 7:31
  • 1
    @Nofate, так-то меня тоже пускает :-) это Qwertiy там писал :-)
    – Grundy Мод
    Commented 16 мая 2017 в 7:38
  • @Grundy ой, промахнулся. Ну главное, что нас с вами пускает )
    – Nofate Мод
    Commented 16 мая 2017 в 7:44

1 ответ 1

20

Можно.

С парой оговорок, из-за которых скорее всего не нужно.

Во-первых, как верно заметил Nofate, контент уже распространяется на archive.org в форме дампов*. Поэтому заниматься самостоятельным скрейпингом сайта по меньшей мере неэффективно, может быть даже бессмысленно.

Во-вторых, скрейпинг неэффективен и с точки зрения ресурсопотребления. Выделять структуру разметки, которая может измениться в любой момент... когда можно получить изначально структурированные данные через API, который у SE ещё как есть и который со временем вряд ли сильно изменится.

Во-третьих, если всё же скрейпить, то можно не всё. В секции 4 "Restrictions" ("Ограничения") соглашения указано следующее:

(e) copy, download, or scrape any Personal Profile Content for the purpose of indexing software engineers, social recruiting, sourcing, employment-related services, compiling databases of employment solicitation targets, providing content for a hiring platform without the express permission of Stack Exchange or the User.

...вольный перевод, не имеющий юридической силы:

(e) копировать, скачивать или скрейпить любой контент из личных профилей с целью индексирования разработчиков ПО, социального рекрутинга, сорсинга, для сервисов связанных с трудоустройством, сбора баз данных соискателей, предоставления контента для платформы найма без явного разрешения Stack Exchange или Пользователя.

...короче, запрещено собирать данные об участниках с целью поиска сотрудников, прямо или косвенно.

Хотя это же соглашение оставляет за SE право ограничить вам доступ к сервисам (забанить) без объяснения причин, поэтому никаких гарантий, что вас за какое-то деяние не забанят, дать нельзя.


* И есть sotoki, средство перегона дампов SE в формат OpenZIM для просмотра через ПО семейства Kiwix, изначально задуманные для содержания слепков баз знаний в оффлайне.

2
  • 4
    стоит добавить, что для вытягивания небольших объемов свежих данных (не дампов) есть вполне официальное API: api.stackexchange.com/docs
    – user177221
    Commented 16 мая 2017 в 11:30
  • @PashaPash добавил. Не уверен, что это надо ТСу, но может быть надо кому-то ещё, мало ли...
    – user181100
    Commented 16 мая 2017 в 11:41

Войдите, чтобы ответить на этот вопрос.