25

Перевод публикации Nick Craver «How We Do Deployment - 2016 Edition»

Это третья публикация из очень длинной серии посвященной архитектуре Stack Overflow.

Мы уже говорили об архитектуре Stack Overflow и его аппаратном обеспечении.

Следующая тема, и наиболее интересная участникам, – развертывание системы. Как мы отправляем код, написанный разработчиком (или любым случайным прохожим) на продуктовый сервер? Давайте рассмотрим это подробно. В качестве примера мы взяли развертывание Stack Overflow, но большинство наших проектов следуют практически идентичной схеме развертывания.

Ниже список разделов данной публикации, так как со всеми необходимыми объяснениями она получилась довольно объемной (в связи с ограничением на количество символов статью и вовсе пришлось разбить на два сообщения).

  • Репозиторий и контекст
  • Человеческое участие
  • Ветки
  • Локальный Git
  • Система сборки
  • Что в сборке? (в продолжении)

    • Шаги 1 и 2: Миграция
    • Шаг 3: В поисках Moonspeak
    • Шаг 4: Дамп перевода (JavaScript)
    • Шаг 5: MSBuild
    • Шаг 6: Дамп перевода (C#)
    • Шаг 7: Импорт строк на английском
    • Шаг 8: Развертываем вебсайт
    • Шаг 9: Привязка новых строк
  • Уровни

  • Миграция баз данных
  • Локализация / перевод (Moonspeak)
  • Строим, не ломая
  • Дополнительные ресурсы – ведь я так люблю вас всех!

    • GitHub Gist (скрипты)
    • GitHub Gist (логи)

Код

Это главная особенность статьи. Репозиторий Stack Overflow находится на машине разработчика. Для краткости скажем, что в базу данных был добавлен столбец, а в объект C# — соответствующее свойство: так мы можем следить за процессом миграции баз данных.

Немного контекста

Мы обновляет сборку на девсервере примерно 25 раз в сутки (наша версия CI) – и это только для сайта вопросов и ответов. Другие проекты обновляются также довольно часто. В среднем в день мы обновляем сборку на продуктовом сервере каждые 5-10 минут. От начала до конца эта процедура занимает до 9 минут времени (2:15 для dev, 2:40 для Меты и 3:20 для всех сайтов). Обновлением сервера, о котором идет речь в данной публикации, занимается примерно 15 человек. В репозитории хранится код следующих приложений: Stack Overflow (каждый сайт вопросов и ответов), stackexchange.com (только корневой домен), Stack Snippets (для JavaScript - сниппетов Stack Overflow), Stack Auth (для oAuth), sstatic.net (CDN-домен, не использующий cookie), Stack Exchange API v2, Stack Exchange Mobile (iOS и Android API), Stack Server (Windows-служба индексирования движка меток и поиска Elasticsearch) и Socket Server (наша Windows-служба WebSocket).

Человеческое участие

Если написание кода предполагает миграцию баз данных, мы вынуждены производить еще несколько операций. Во-первых, мы выясняем в специальном чате (и проверяем в локальном репозитории), каков следующий доступный номер SQL-миграции (далее мы рассмотрим этот механизм). Каждый проект, имеющий базу данных, имеет собственную папку и номер миграции. Для рассматриваемого проекта у нас есть папка миграции для вопросов и ответов, общая для всех баз данных этого сервиса. Так выглядит репозиторий чата и локальных файлов до начала миграции:

А это локальная папка %Repo%\StackOverflow.Migrations\:

И по чату, и по локальным файлам видно, что последний присвоенный номер миграции – 726. Поэтому в чате мы создаем сообщение

taking 727 - Putting JSON in SQL to see who it offends

Это будет объявлением следующей миграции, что необходимо для избежания коллизии при миграцией, возможно, инициированной другим разработчиком. Мы просто отправляем сообщение в чат, а робот его фиксирует. Забавный факт: он также фиксирует мое сообщение

taking web 2 offline

Но считает, что это смешно и отказывается вмешиваться в эту ситуацию. Так нас «троллит» наш маленький Pinbot:

Теперь добавим код — пока не слишком сложный:

Разница \StackOverflow\Models\User.cs:

+ public string PreferencesJson { get; set; }

И наше новое \StackOverflow.Migrations\727 - Putting JSON in SQL to see who it offends.sql:

If dbo.fnColumnExists('Users', 'PreferencesJson') = 0

Begin

    Alter Table Users Add PreferencesJson nvarchar(max);

End

Мы протестировали, как работает миграция, запустив ее для выбранной нами локальной базы данных вопросов и ответов в SSMS, также и сам код, работающий с ней. Перед развертыванием, тем не менее, нам надо удостовериться, что обновление отработает как миграция. Например, иногда разработчик можете забыть вставить GO, отделяющий какой-то предшествующий фрагмент кода или единственную операцию в группе (к примеру, создание выборки). Поэтому, мы запускаем специальный тест. Для этого мы используем migrate.local.bat, который вы видите на снимке экрана выше. Его содержимое просто:

..\Build\Migrator-Fast --tier=local 

  --sites="Data Source=.;Initial Catalog=Sites.Database;Integrated Security=True" %*

PAUSE

Примечание: программа миграции – это проект, но мы просто перетаскиваем .exe-файлы в решения, которые его используют: это самое простое и самое переносимое рабочее решение из существующих.

Что делает программа миграции? Она обращается к локальной копии базы данных Sites, которая содержит список всех сайтов вопросов и ответов, запускаемых разработчиком локально. Программа миграции использует этот список, чтобы подключаться и запускать все миграции всех баз данных в Parallel. Так выглядит прогон программы на простой установке с одной базой данных вопросов и ответов:

Пока все идет нормально. У нас есть работающие код и миграция, а также код, который… что-то делает (сейчас это не важно). Пришло время выпустить наш код в большой мир. Лети, наш код, на свободу! Теперь, когда нужный градус эйфории достигнут, опишем типичный процесс:

git add <files> (usually --all for small commits)
git commit -m "Migration 727: Putting JSON in SQL to see who it offends"
git pull --rebase
git push

Примечание: сначала мы проверяем чат нашей команды, чтобы удостовериться, что никто другой уже не начал процесс развертывания. Поскольку подобные процессы занимают у нас достаточно мало времени, вероятность этого не так уж велика. Но, учитывая, как часто мы это делаем, коллизии возможны и иногда они случаются. И тогда выговор получает ответственный дизайнер.

К указанным выше командам Git: если у вас работает командная строка, используйте ее. Если у вас работает GUI, используйте его. Пользуйтесь тем, что вам удобнее и не обращайте внимания на то, что по этому поводу думают другие. Истинный смысл и цель инструментальных средств со времен древнего молота до современной сборки Git состоит в экономии времени и усилий пользователя. Применяйте то, что экономит ваши время и усилия. Ну, а если это текстовый редактор Emacs, тогда, конечно, срочно обращайтесь к врачу.

Ветки

Я еще ничего не написал о ветках, потому как по сравнению со многими командами мы их редко используем. Большинство коммитов идут в master. В общем случае, мы создаем ветки только по одной из следующих причин:

  • Разработчик – новичок и мы хотим как можно скорее проверить его/её код.
  • Разработчик работает над важной (или рискованной) функциональностью и хочет, чтобы коллеги проверили код перед попаданием его на master.
  • Несколько разработчиков работают над важной функциональностью.

Во всех остальных случаях – кроме перечисленных выше – почти все коммиты осуществляются в master и вскоре после этого переносятся на рабочие сервера. Нам не по душе длинные очереди сборки. И поэтому мы делаем коммиты (малых и средних объемов) часто – и обновляем продуктовый сервер тоже часто. Это наш выбор. Но я не рекомендую эту модель для большинства команд – впрочем, вообще никому ее не рекомендую. Делайте так, как нравится вам. А наша модель эффективна именно для нашей команды и стиля работы.

Если же мы создаем ветки, большинство людей интересуется, как мы осуществляем объединение. В подавляющем большинстве случаев при объединение с master мы используем squash, поэтому возможен непосредственный откат к предыдущим версиям. Также несколько дней мы не удаляем оригинальную ветку (на всякий пожарный), чтобы нам не приходилось ломать себе голову, как выглядело то или иное изменение. Иными словами, мы довольно практичны. Если же squash требует от разработчика значительных временных затрат, мы просто стираем историю слияния.

Локальный Git

Итак, наш код отправлен в репозиторий на сервере. В какой именно репозиторий? В данный момент мы используем репозитории Gitlab. Напоминает GitHub, размещенный локально. Если цены Gitlab немотивированно вырастут, мы, конечно же, пересмотрим вопрос использования GitHub Enterprise.

Зачем размещать Git локально? Как аргумент – скажем, что вместо этого мы использовали GitHub (мы рассматривали этот вариант). В чем разница? Во-первых, скорость обновления версий ниже. И хотя реализация протокола Git в GitHub гораздо быстрее, сетевые задержки и ограничения канала увеличивают время билдов, так что быстрее взять все локально через 2x10Gb. Но, справедливости ради отметим, что GitHub намного быстрее Gitlab при выполнении большинства операций (особенно при поиске и просмотре большого количества изменений).

Как бы то ни было, сама зависимость от GitHub (или любого другого стороннего поставщика) имеет для нас несколько критически негативных моментов, главный из которых – цепь ожидания. Мы не просто полагаемся на то, что сервера GitHub должны быть все время онлайн (с этим у них пока все в порядке). Мы полагаемся на то, что они все время онлайн и до них можно «достучаться». По этой причине мы также вынуждены полагаться на то, что все наши удаленные разработчики находятся в постоянной готовности выкатывать код. Это очень зависит от маршрутизации, скорости соединения, оптоволокна, покрытия DDoS между нами и той самой необходимой составляющей, без которой все это теряет смысл: кода. Мы можем значительно сократить цепь ожидания, развернув систему на локальном сервере. Это также частично снимет большинство проблем безопасности, возникающих в связи с любым чувствительным кодом, находящимся на сторонних серверах. Мы не обладаем знаниями о каких-либо проблемах безопасности у GitHub – мы просто относимся к подобным вопросам с максимальной осторожностью. Если что-то может оставаться в пределах вашей сети, лучшей стратегией будет сохранение этого в пределах сети, все просто.

Учитывая сказанное, наши открытые проекты размещаются на GitHub (и все работает великолепно), но критические сервера имеют внутренние зеркала на Gitlab – по причинам изложенным выше. У нас не возникало проблем с GitHub (они супер), все дело в цепочке ожидания.

Система сборки

Как только код попадает в репозиторий, начинается процесс непрерывной интеграции. Это просто замысловатый термин, обозначающий сборку, инициируемую коммитом. Для сборки мы используем TeamCity. Сервер TeamCity, на самом деле, находится на той же VM, что и Gitlab – это позволяет сделать операцию опроса TeamCity быстро и дешево. Забавно, но факт: поскольку Linux не имеет встроенного кэширования DNS, большинство запросов DNS ищут… сами себя. Да, ничего смешного тут нет — только боль и слезы.

Как вы, возможно, уже слышали, мы любим упрощать. У нас есть дополнительные вычислительные мощности на веб-уровне, поэтому… мы их используем. Сборка для всех серверов работает с помощью агентов на веб-уровне, это означает, что у нас работают 11 агентов сборки – локально в каждом из дата-центров. Еще есть несколько дополнительных агентов сборки на Windows и Linux (для Puppet- , RPM- и внутренних приложений) на других виртуальных машинах, но к данному процессу развертывания они отношения не имеют.

Как и для большинства CI-сборок, мы просто с определенным интервалом проверяем Git-репозиторий на наличие изменений. К данному репозиторию обращаются очень часто, поэтому мы осуществляем проверку каждые 15 секунд. Нам не нравится ждать. Как только обнаруживается обновление, сервер сборки дает агентам инструкцию на запуск сборки.

Поскольку наши репозитории объемны (мы включаем зависимые пакеты, как, например, NuGet, хотя они и меняются), мы используем то, что TeamCity называет чекаутом на стороне агента. Это означает, что агент совершает фактическую работу по доставке содержимого напрямую из репозитория – в отличие от общепринятой по умолчанию процедуры, когда чекаут осуществляется на веб-сервере, который затем рассылает исходный код агентам. Кроме того, мы используем Git-зеркала, в полном объеме дублирующие репозитории на агентах, по одному на репозиторий. Это означает, что когда агент впервые создает репозиторий, тот является полным git clone. Однако всегда после этого он будет просто git pull. Без этой оптимизации речь идет о git clone --depth 1, который получает лишь текущий файл без истории изменений – только то, что нужно для сборки. Если же произвести то незначительное изменение, о котором было сказано выше – git pull только этого изменения будет достаточно, чтобы наголову разбить вариант с захватом всех файлов по сети. Клонирование репозитория – единственное решение, компромисс здесь неуместен.

Как я уже сказал, в данном репозитории хранится множество проектов (все взаимосвязаны), поэтому, на самом деле, мы говорим о том, что с каждым коммитом отрабатывает несколько сборок (а именно – 5):

2
  • 2
    Будет что почитать в ближайшие пару вечеров )
    – Nick Volynkin Мод
    Commented 7 июн. 2016 в 4:05
  • ох, ручные миграции
    – etki
    Commented 10 июн. 2016 в 19:12

1 ответ 1

8

Что в сборке?

Хорошо, что же на самом деле происходит при сборке? Пойдем сверху вниз. Перед вами девять шагов нашей тестовой/CI сборки:

А вот как выглядит журнал сборки, запущенной нами выше:

Шаги 1 и 2: Миграция

В ходе разработки мы автоматически переносим базу данных Sites. Эта база – наше центральное хранилище, содержащее главный список сайтов и другие элементы необходимые для всей Сети, такие как папка «Входящие». Эта миграция на рабочих серверах осуществляется не автоматически, поскольку вопрос «А эта сборка должна быть запущена до или после развертывания?» не имеет однозначного ответа. Второй шаг – запустить локально, только на dev–серверах. «dev»–сервер может на секунду «лечь», но обычно, этого не происходит. На для сборки Меты мы мигрируем все рабочие базы данных. Это значит, что база данных Stack Overflow получает новые SQL-биты минутами ранее нового кода.

Важно учесть, что миграция баз данных всегда осуществляется до развертывания кода. Вообще, миграция баз данных – тема большая, к тому же интересная для моих читателей, поэтому я более подробно остановлюсь на ней далее.

Шаг 3: В поисках Moonspeak

Структура процесса сборки и ограничения, которые накладываются на этот процесс, вынуждают нас самостоятельно определять нахождение инструментов Moonspeak, поскольку оно нам неизвестно (с выходом каждой новой версии путь к нему меняется, так как номер версии всегда прописан в пути). Да, что такое Moonspeak? Это кодовое имя нашего инструмента локализации. Позже мы подробно его рассмотрим. Сам по себе этот шаг довольно прост:

echo "##teamcity[setParameter name='system.moonspeaktools' 

  value='$((get-childitem -directory packages/StackExchange.MoonSpeak.2*).FullName)\tools']"

Захватываем путь к директории и присваиваем результат переменной TeamCity system.moonspeaktools. Если вам интересно, как можно различными способами взаимодействовать со сборкой TeamCity, вот вам статья на эту тему.

Шаг 4: Дамп перевода (JavaScript)

Конкретно в тестовой среде мы запускаем дамп всех строк из JavaScript, которые нужно перевести в рамках локализации. И снова команда достаточно проста:

%system.moonspeaktools%\Jerome.exe extract 

  %system.translationsDumpPath%\artifact-%build.number%-js.{0}.txt en;pt-br;mn-mn;ja;es;ru

  ".\StackOverflow\Content\Js\*.js;.\StackOverflow\Content\Js\PartialJS\**\*.js"

Ничего сложного. Не понимаю, почему локализацию так не любят. Ладно, шучу – у нас с локализацией дела обстоят тоже отнюдь не блестяще. Сейчас я не собираюсь слишком глубоко погружаться в тему локализации, поскольку этому надо посвятить отдельный (довольно объемный) пост, но вот основы этого процесса:

Строки в коде помещены в _s() (для обычных строк) или _m() (для Markdown). Нам подходят и _s(), и _m() – они практически идентичны как в JavaScript, так и в C#. В процессе сборки мы извлекаем эти строки, анализируя JavaScript (с помощью AjaxMin) и C#/Razor (с помощью собственной сборки на базе Roslyn). Эти строки мы размещаем по файлам для перевода участниками сообществ; в конце концов, строки попадают обратно в сборку. Естественно, процедура описана схематично, над строками производится гораздо больше действий. В данном контексте не имеет никакого значения, например, степень нашего восхищения предлагаемой функциональностью Source Generators, включенной в спецификации следующего релиза Roslyn. Мы надеемся, что в окончательном виде он позволит нам переписать эту порцию Moonspeak в виде более простого генератора, с минимальной необходимостью динамического выделения памяти.

Шаг 5: MSBuild

Вот тут-то и происходят чудеса: один-единственный шаг, за который мы совершаем над MSBuild неописуемое: то, что я вам сейчас… опишу. Полный файл .msbuild находится в Gist-хранилище. В нем даже самая релевантная часть – безумна:

THIS IS HOW WE ROLL:  
CompileWeb - ReplaceConfigs - - - - - - BuildViews - - - - - - - - - - - - - PrepareStaticContent  
                   \                                                            /|  
                    '- BundleJavaScript - TranslateJsContent - CompileNode   - '  
NOTE:  
since msbuild requires separate projects for parallel execution of targets, this build file is copied
2 times, the DefaultTargets of each copy is set to one of BuildViews, CompileNode or CompressJSContent. 
thus the absence of the DependesOnTarget="ReplaceConfigs" on those _call_ targets

И хотя мы имеем в репозитории только одну копию файла, во время сборки он «раздваивается» на 2 параллельных процесса MSBuild. Мы просто копируем файл, вносим изменения в DefaultTargets и отправляем его в параллельный процесс здесь.

Первый процесс – это построение представлений ASP.NET MVC с помощью нашей собственной сборки на базе Roslyn на StackExchange.Precompilation, описанной Samo Prelog. И это не только создание представлений, но также подключение локализованных строк каждого языка с помощью switch–инструкций. Мы написали этот процесс для локализации, но контроль скорости и пакетирование сборок с представлениями также позволяет нам значительно опередить aspnet_compiler. Хотя, по слухам, его производительность в последнее время улучшилась.

Второй процесс – компиляция и минимизация .less, .css и .js, в которых задействовано несколько компонентов. Первые в списке – файлы .jsbundle. Это простые файлы, которые выглядят как в следующе примере:

{
  "items": [ "full-anon.jsbundle", "PartialJS\\full\\*.js", "bounty.js" ]
}

Эти файлы соответствуют своему имени – это просто bundles–массивы файлов, своеобразный полуфабрикат для дальнейшего использования. Это позволяет нам аккуратно распределить JavaScript между многими файлами, обрабатывая их как один на протяжении всей сборки. Точно такой же код работает как HTTP-обработчик локально, чтобы оперативно группировать файлы для локальной разработки. Такое разделение позволяет нам максимально точно воссоздать рабочую среду.

После группировки файлов мы получаем обычные старые .js-файлы с JavaScript. Они содержат буквы, цифры и даже точки с запятой. Они прекрасны. После этого они проходят через переводчика Doom. Как мы думаем. Никто не знает наверняка. Это черная магия. Неважно, что с ними происходит, но в результате мы получаем full.en.js, full.ru.js, full.pt.js, и т. д. со встроенными переводами. Для каждого файла используется одна и та же схема – <filename>.<locale>.js. Мы с Samo напишем об этом подробнее в нашей статье о локализации (проголосуйте, если это вам интересно).

По завершении JavaScript перевода (10-12 секунд) мы переходим к части сборки Node.js. Примечание: Node на серверах сборки не установлен; все, что нам нужно, находится внутри репозитория. Почему мы используем Node.js? Потому, что это «родная» платформа для Less.js и UglifyJS. В древние времена мы использовали dotLess, но устали поддерживать ветвление и выбрали Node, позволяющий быстрее внедрять новые версии.

Скрипт node-compile.js также есть в Gist. Это простой скрипт, устанавливающий рабочий процесс на узле n для обработки сотен имеющихся у нас файлов (поскольку у нас сотни сайтов), с распределением задач основным потоком. Идентичные файлы (например, бета-сайты) просчитываются сразу же при кэшировании, поэтому нам не приходится делать одно и то же сотню раз. Он также добавляет разделители кэш-памяти в наши SVG URL на основании их хешированного содержимого. Поскольку мы также обслуживаем CSS, добавляя разделители кэша на уровне приложения, у нас есть разделитель кэша, который вносит изменения снизу доверху, должным образом разделяя кэш-память на стороне клиента при возникновении изменений. Скрипт, вероятно, можно значительно улучшить (и я это приветствую), но это была простейшая рабочая версия, соответствующая нашим требованиям на момент ее написания, и с тех пор не потребовавшая никаких значительных изменений.

Примечание: абсолютно незапланированный плюс расчетов разделителей кэш-памяти состоит в том, что мы никогда не загружаем неправильный путь к изображению в CSS. Это невозможно, потому что мы не можем найти файл для подсчета хеш-кода… и сборка заканчивается неудачей.

Совокупность всего объема работ по компиляции на узлах - минимизация файлов .js (по месту расположения, а не по типу .min.js) и преобразование .less в .css. После этого MSBuild выдает все необходимое для запуска красивейшего сайта. Ну, или хотя бы такого, как Stack Overflow. Заметьте, что единообразие стилей в оформлении наших сайтов выглядело бы немного странно, поэтому мы трансформируем сотни .less файлов одновременно. Вот почему мы создаем так много рабочих процессов — число процессов масштабируется в зависимости от количества вычислительных ядер.

Шаг 6: Дамп перевода (C#)

Этот шаг мы называем трансмодулятором. Он извлекает все строки, которые необходимо перевести из находящиеся в C# и Razor внутри _s() и _m(). Это не прямое извлечение, это набор неких выборочных свойств/атрибутов, добавленных при переводе во время компиляции на предыдущем шаге. Этот шаг является просто немного более усложненной версией того, что происходило для JavaScript. Мы выгружаем содержимое файлов в необработанные .txt - файлы для дальнейшего использования (и как своего рода историю). Мы также извлекаем сюда исправления (или переопределения), добавляя их поверх переводов, выполненных сообществом. Обычно это жестко заданные строки, которые мы хотели бы сохранить в переводе.

Я понимаю, что многое из этого не имеет особого смысла без глубокого понимания того, как работает система перевода (об этом мы поговорим в нашей будущей публикации). Основные моменты: мы выгружаем все строки из нашей кодовой базы, чтобы их могли перевести участники. Когда перевод окончен, они становятся доступными для осуществления шага №5 (выше) в следующей сборке.

Вот этот шаг полностью:

%system.moonspeaktools%\Transmogulator.exe .\StackOverflow\bin en;pt-br;mn-mn;ja;es;ru

  "%system.translationsDumpPath%\artifact-%build.number%.{0}.txt" MoonSpeak

%system.moonspeaktools%\OverrideExporter.exe export "%system.translationConnectionString%"

  "%system.translationsDumpPath%"

Шаг 7: Импорт строк на английском

Один из ужасных моментов, который нужно предусмотреть при локализации – поиск простейшего способа перевода, не рассматривая английский как особый случай (special case – подкласс, содержащий особую логику для отдельных ситуаций). Кстати, делая эту оговорку, мы как раз и придаем ему особый статус. Черт, все пропало. Но рассматривая его как особый случай на этапе разработки, мы предупреждаем такое к нему отношение на более поздних этапах. Почти каждую строку на английском, включенную в сборку, можно считать правильной, она нуждается лишь в исправлении ошибок в случае несоответствия числа и т.п. (напр., «1 item» — «2 items»), поэтому все, что попадает в результирующий набор английских строк, мы будем импортировать немедленно, чтобы выложить на Stack Overflow сразу же после первой сборки (например, не ожидая готовности перевода при развертывании новой функциональности). В конечном счете, этот шаг «берет» текстовые файлы, созданные для английского языка во время выполнения шагов 4 и 6, меняет их и вставляет их в нашу базу переводов на место, отведенное для английских строк.

Этот шаг также помещает все новые добавленные строки в специальную чат, предупреждая переводчиков со всех языков о том, что их необходимо немедленно перевести. И хотя мы не хотели бы откладывать процессы сборки и развертывания из-за новых строк (нас вполне устроит, если в сборке они останутся на английском), мы хотели бы свести к минимуму такие ситуации, поэтому вынуждены давать сигнал тревоги, так сказать. Задержки в локализации бинарны: вы ждете переводов на все языки сразу – или не ждете вообще. Мы отдаем предпочтение более быстрому развертыванию.

Это вызов шага №7:

%system.moonspeaktools%\MoonSpeak.Importer.exe "%system.translationConnectionString%"

  "%system.translationsDumpPath%\artifact-%build.number%.en.txt" 9 false 

  "https://teamcity/viewLog.html?buildId=%teamcity.build.id%&tab=buildChangesDiv"

%system.moonspeaktools%\MoonSpeak.Importer.exe "%system.translationConnectionString%"

  "%system.translationsDumpPath%\artifact-%build.number%-js.en.txt" 9 false

  "https://teamcity/viewLog.html?buildId=%teamcity.build.id%&tab=buildChangesDiv"

Шаг 8: Развертываем сайт

В этом месте окупается вся проделанная нами работа. Вернее, работа сервера сборки, но мы принимаем ее на свой счет. Мы преследуем здесь одну цель: взять код и превратить его в сборку для всех целевых серверов. Именно в этом месте можно попасть в сложную ситуацию даже в случае необходимости выполнить самые простейшие действия. Что же на самом деле нужно, чтобы выполнить развертывание новой сборки на сервере? Три вещи:

  1. Отключить сайт.
  2. Перезаписать файлы.
  3. Запустить сайт.

И все. Это все основные этапы. Поэтому давайте придерживаться этого глупейшего, простейшего плана. Вызов этого шага – это скрипт PowerShell, который мы предварительно развернули на всех агентах сборки (вместе со сборкой), и который меняется исключительно редко. Мы используем один и тот же набор скриптов для всех развертываний IIS-сайтов, даже для блога, сделанного на генераторе Jekyll. Ниже аргументы, которые мы передаем скрипту WebsiteDeploy.ps1:

-HAProxyServers "%deploy.HAProxy.Servers%" 
-HAProxyPort %deploy.HAProxy.Port%
-Servers "%deploy.ServerNames%"
-Backends "%deploy.HAProxy.Backends%" 
-Site "%deploy.WebsiteName%"
-Delay %deploy.HAProxy.Delay.IIS%
-DelayBetween %deploy.HAProxy.Delay.BetweenServers%
-WorkingDir "%teamcity.build.workingDir%\%deploy.WebsiteDirectory%"
-ExcludeFolders "%deploy.RoboCopy.ExcludedFolders%"
-ExcludeFiles "%deploy.RoboCopy.ExcludedFiles%"
-ContentSource "%teamcity.build.workingDir%\%deploy.contentSource%"
-ContentSStaticFolder "%deploy.contentSStaticFolder%"

Я выложил этот скрипт на Gist со всеми соответствующими функциями из профиля – для полноты картины. Суть главного скрипты в следующем (строки сокращены ради экономии места, но полная версия находится в Gist):

$ServerSession = Get-ServerSession $s
if ($ServerSession -ne $null)
{
    Execute "Server: $s" {
        HAProxyPost -Server $s -Action "drain"
        # delay between taking a server out and killing the site, so current requests can finish
        Delay -Delay $Delay
        # kill website in IIS
        ToggleSite -ServerSession $ServerSession -Action "stop" -Site $Site
        # inform HAProxy this server is down, so we don't come back up immediately
        HAProxyPost -Server $s -Action "hdown"
        # robocopy!
        CopyDirectory -Server $s -Source $WorkingDir -Destination "\\$s\..."
        # restart website in IIS
        ToggleSite -ServerSession $ServerSession -Action "start" -Site $Site 
        # stick the site back in HAProxy rotation
        HAProxyPost -Server $s -Action "ready"
        # session cleanup
        $ServerSession | Remove-PSSession
    }
}

Эти шаги представляют собой минимум, необходимый для грациозного обновления сайта и информирования балансировщика нагрузки о происходящем – и все это с наименьшим ущербом для пользователей. Вот что происходит:

  1. Отдайте команду HAProxy прекратить отсылать новый трафик.
  2. Подождите несколько секунд, чтобы завершилась работа по всем текущим запросам.
  3. Отдайте команду IIS отключить сайт (Stop-Website).
  4. Сообщите HAProxy, что сайт отключен (а не находится в режиме ожидания обнаружения).
  5. Скопируйте новый код (robocopy).
  6. Отдайте команду IIS запустить новый сайт (Start-Website).
  7. Сообщите HAProxy, что этот сайт готов к работе.

Учтите, что HAProxy вернет сайт в режим онлайн отнюдь не сразу. Он это сделает после 3 успешных опросов – это ключевое различие между MAINT и DRAIN в HAProxy. MAINT -> READY предполагает, что сервер запускается немедленно. DRAIN -> READY предполагает, что сервер отключен. Первый из них производит очень печальный эффект на нарастание ожидания ThreadPool, который выражается в резком скачке в начале работы.

Вышеперечисленные шаги мы повторяем для всех серверов в сборке. Между запуском серверов есть небольшие паузы, настраиваемые с помощью TeamCity.

Итак, выше описано то, что происходит с одним сервером. В реальности этот шаг проделывается дважды. Причина – состояние гонки. Для лучшей производительности с клиентской стороны заголовки наших статических активов установлены на семидневное кэширование. Мы разделяем кэш-память, только если в ней происходят изменения, а не при каждой сборке. В конце концов, нам ведь только надо обновить CSS, SVG или JavaScript – если они и вправду изменились. Поскольку cdn.sstatic.net происходит из нашего низлежащего веб-уровня, вот что могло бы произойти в связи с самой сутью процесса сборки:

Вы обращаетесь к ny-web01 и получаете абсолютно новую строку запроса, соответствующую новой версии. Затем ваш браузер обращается к нашей CDN на cdn.sstatic.net, которая, скажем, обращается к ny-web07… со старым содержимым. Черт, теперь старое содержимое сохранилось в кэш-памяти вместе с новым хешированным на веки вечные. Это неправильно, это тяжело исправить, после того, как вы почистите CDN. Мы можем этого избежать, предварительно развернув статические активы на другом сайте в IIS, обслуживающей именно нашу CDN. Таким образом, sstatic.net получает содержимое в одну сборку, как раз перед тем, как выйдет новый код, генерирующий новые хеш-коды. Это означает, что существует лишь небольшой шанс того, что кто-то получит новое статическое содержимое со старым хеш-кодом (если обратится к непопаданию в кэш CDN за содержимым, которое и изменило эту сборку). Большая разница состоит в том, что (довольно редко встречающаяся) проблема решается сама собой при перезагрузке страницы, поскольку хеш-код изменится, как только минутой позже заработает новый код. Это гораздо менее обидная ошибка.

В конце этого шага (на рабочих серверах), 7 из 9 серверов обычно находятся онлайн, исправно обслуживая пользователей. Оставшиеся 2 закончат набирать обороты вскоре после этого. Шаг займет примерно 2 минуты для 9 серверов. Но, ура, код работает на «живой» системе! А мы можем спокойно снова заняться развертыванием, чтобы на этот раз выловить уж точно все баги.

Шаг 9: Привязка новых строк

Этот шаг, который необходимо произвести только на тестовых серверах, ничем особо не интересен – но полезен. Все, что происходит – вызов веб-хука и оповещение его о том, что в новой сборке присутствует некоторое количество новых строк (если они есть). Цель веб-хука запускает загрузку на наш сервис переводов, чтобы уплотнить время итераций, затрачиваемых на перевод (аналогично уже описанному механизму оповещения в чате). Этот шаг – последний, потому что, строго говоря, он необязательный и мы не хотим, чтобы он нам мешал.

Вот и все. Тестовая сборка окончена. Отодвиньте кресла с колесиками, отложите рыцарские мечи.

Уровни

Описанное выше является полной тестовой CI-сборкой. Все задачи по переводу являются тестовыми только потому, что нам нужно извлечь строки в одно действие. Мета-сборка и рабочая сборка представляют собой сокращенный набор перечисленных шагов. Вот простая визуализация со сравнением шагов по уровням:

введите сюда описание изображения

Что на самом деле мы понимаем под уровнями? Все наши тестовые сайты находятся на серверах WEB10 и WEB11 (под различными пулами приложений и сайтами). Мета, а именно, meta.stackexchange.com и meta.stackoverflow.com, работает на серверах WEB10 и WEB11, соответственно. Рабочие сервера (все остальные сайты вопросов и ответов и мета-сайты) наподобие Stack Overflow, работают на WEB01-WEB09.

Примечание: мы сообщаем о сборке в чат подобно тому, как проходят через уровни. А это я (вопреки здравому смыслу) вношу кое-какие изменения в 17:17 в пятницу (!). Не пытайтесь повторить это дома, я профессионал. Иногда. Нечасто.

Миграция баз данных

Видите? Я обещал к этому вернуться, и я вернулся. Напоминаю: если новый код подразумевает миграцию баз данных, он должен быть развернут первым. Хотя на практике вы, скорее всего, удалите таблицу или добавите таблицу/столбец. В случае удаления мы удаляем таблицу сначала из кода, потом развертываем код, и развертываем его еще раз (или делаем это позже), применяя метод drop migration. В случае добавления мы в общем случае добавляем ее со значениями по умолчанию (null). Если она должна быть not null, поддерживать Unicode–символы и т.п., мы также должны это сделать при более позднем развертывании.

Программа миграции баз данных, которую мы используем, является очень простым репозиторием, чей код мы могли бы открыть, но – честно – таких же уже существует не меньше десятка. Другие средства, вероятно, гораздо лучше нашего, но наше очень хорошо соответствует именно нашим потребностям. Программа миграции подключается к базе данных Sites, получает список баз данных для миграции, и выполняет миграцию каждой базы из списка (параллельно обрабатывая несколько баз данных). Это осуществляется путем просмотра папки выполненных миграций и ее загрузкой (однократной), а также хешированием содержимого каждого файла. Каждая база имеет таблицу Migrations, в которой фиксируется, что уже было выполнено. Выглядит она следующим образом (в порядке убывания):

Заметьте, что порядок файлов нарушен. Произошло это потому, что 724 и 725 были в ветке всего несколько дней. Но это не проблема, порядок файлов не гарантируется. Каждая миграция сама по себе идемпотентна («не пытайтесь добавить столбец, если он уже существует»), определенный порядок обычно и не нужен. Файлы группируются согласно функциональности, или (все же) по порядку. Программа миграции учитывает оператор GO , отделяющий пакеты, и по умолчанию запускает все миграции в одной транзакции. Поведение транзакции можно изменить, добавив следующий комментарий в первую строку файла .sql: -- no transaction --. Возможно, самое полезное объяснение того, что собой представляет программа миграции, содержится в файле README.md, который я для него написал. Вот он в Gist.

В памяти мы сравниваем список уже выполненных миграций со списком тех, что еще предстоит осуществить, в порядке расположения файлов. Если мы обнаруживаем, что хешкод имени файла не совпадает с миграцией того же имени файла в таблице, мы сбрасываем операцию в целях безопасности. Мы можем применить --force, чтобы разрешить данную ситуацию в тех редких случаях, когда миграция должна произойти с изменениями (почти всегда это результат ошибки программиста). После завершения всех миграций процесс окончен.

Возврат в исходное состояние. Мы прибегаем к ним редко. На самом деле, не могу припомнить ни одного случая. Мы избегаем их из-за нашего подхода вообще, ведь мы производим развертывание часто и понемногу. Иногда быстрее исправить код и развернуть его, чем отменить результаты миграции, особенно для сотен баз данных. Также мы стараемся, чтобы тестовая среда как можно точнее повторяла рабочую (обновляя ее как можно чаще), периодически восстанавливая данные рабочей среды. Если бы нам нужно было вернуть что-либо в исходное положение, мы бы просто могли бы запустить еще одну миграцию, аннулирующую то, что пошло не так. Инструментарий не подразумевает концепции возврата в исходное положение. Зачем делать шаг назад, если можно сделать шаг вперед?

Локализация / перевод (Moonspeak)

Этому будет посвящена отдельная публикация, но я хотел бы намекнуть, почему мы делаем всю эту работу на этапе компиляции. В конце концов, я всегда ратовал за простоту (угу, даже в этом посте на 6000 слов – я не лишен иронии). Усложнять нужно лишь тогда, когда необходимо усложнять. И производительность – один из тез случаев. Семо делает все, чтобы наша локализация не влияла на производительность. Мы бы с радостью усложнили сборку, чтобы так и было. И хотя существуют варианты — такие как .resx-файлы или новая локализация ASP.NET Core 1.0, — в большинстве своем они поедают ресурсы, особенно если речь идет о маркированных строках. Вот как выглядят строки в нашем коде:

А вот как выглядит эта строка в откомпилированном виде (с помощью Reflector):

…и, что наиболее важно, в откомпилированной реализации:

Заметьте, что мы не выделяем строки целиком – только фрагментарно. Это может показаться мелочью, но только если согласиться на огромное число операций выделения и на значительные потери времени. Я уверен, тут возникнет множество вопросов о том, как работает Moonspeak. Если я прав, сходите и проголосуйте. Это важная тема сама по себе, я же только хотел оправдать увеличение времени на компиляцию, вызванное локализацией. Для нас оно того стоит.

Строим, не ломая

Вопрос, который мне часто задают – как, постоянно выкатывая изменения, избежать ошибки. Вот некоторые общие моменты, с которыми мы сталкиваемся – и вот как их избежать.

  • Изменения в объектах кэш-памяти:

    • Если объект кэш-памяти меняется полностью. Это означает появление нового кэш-ключа, старый мы оставляем как есть – со временем он естественным образом выпадает.
    • Если объект кэш-памяти меняется только локально (в оперативной памяти): ничего делать не надо. Новый прикладной домен с этим не конфликтует.
    • Если объект кэш-памяти меняется только на redis, то нам надо убедиться, что старые и новые подписи protobuf совместимы…или поменять ключ.
  • Движок меток:

    • Движок меток перезагружается при каждой сборке (в данный момент). Процесс запускается в результате ежеминутной проверки наличия на веб-уровне нового хешкода сборки. Если он найден, приложение \bin и несколько файлов конфигурации загружаются в хост-процесс Stack Server и запускаются как новый прикладной домен. Это отодвигает в сторону необходимость в развертывании на эти боксы и упрощает локальную тестовую установку (мы не запускаем отдельного процесса локально).
    • Вскоре с ним произойдут значительные изменения, поскольку перезагрузка каждой сборки — событие, которое должно происходить значительно реже. Вскоре мы перейдем на более традиционную модель развертывание при появлении изменений. Возможно, используя GPU. Следите за обновлениями.
  • Переименование SQL-объектов:

    • «Доктор, у меня болит, когда я так делаю!»
    • «Не делайте так.»
    • Мы можем добавить и осуществить миграцию, но переименование на живой системе почти обязательно вызовет какие-нибудь перебои. Мы поступаем так только в тестовой среде.
  • API:

    • Развертывайте новый сервис перед созданием нового клиента.
    • Если вы вносите изменения в существующий сервис, делается это обычно за три развертывания: добавить (сервис), осуществить миграцию (клиент), очистить (сервис).
  • Дефекты:

    • При развертывании избегайте дефектов в коде.
    • Если это произошло, постарайтесь так больше не делать.
    • Примите тот факт, что в жизни бывают неприятности, живите, учитесь и двигайтесь дальше.

Это все основные моменты нашего процесса развертывания.

1
  • 4
    Stack Overflow на 0x19!
    – Nick Volynkin Мод
    Commented 7 июн. 2016 в 4:06

Войдите, чтобы ответить на этот вопрос.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .