Нагрузочное тестирование с открытой и закрытой моделями нагрузки

Что это такое

Нагрузочный тест должен определять, как поступают новые запросы. В закрытой модели каждый из фиксированного числа виртуальных пользователей отправляет запрос, ждёт ответа и затем отправляет следующий. Документация k6 указывает, что новая итерация в закрытой модели начинается только после завершения предыдущей, поэтому скорость поступления связана со временем ответа. В открытой модели запросы поступают с настроенной скоростью независимо от того, завершились ли предыдущие; так ведёт себя анонимный трафик: посетители не ждут друг друга. Эти модели сопоставлены в статье Шрёдера, Вирмана и Харчол-Балтер «Open Versus Closed: A Cautionary Tale», представленной на NSDI 2006; в ней анализируются различия поведения системы при каждой модели.

Почему это важно

В закрытой модели замедляющийся сервер ограничивает собственный генератор нагрузки: в секунду поступает меньше запросов, а самые медленные периоды измеряются реже всего. Документация k6 называет это coordinated omission — согласованным пропуском измерений. README wrk2 объясняет, что генератор, ожидающий каждого ответа, согласует действия с сервером так, что измерения в периоды большой задержки пропускаются; поэтому wrk2 измеряет задержку с момента, когда запрос должен был быть отправлен при заданной постоянной пропускной способности. Закрытый тест может показать нормальную хвостовую задержку у сервиса, который рухнул бы при реальной скорости поступления запросов.

Как применять

• Выводите модель из вопроса. «Как сервис ведёт себя при N запросах в секунду?» требует открытой модели (k6 constant-arrival-rate, параметр --rate в wrk2). «Как ведут себя K исполнителей с паузами на обдумывание?» (пакетные клиенты, фиксированный пул вызывающих API) действительно соответствует закрытой модели.
• В тестах с открытой моделью заранее выделяйте достаточно виртуальных пользователей; если инструмент не выдерживает целевую скорость, это и есть результат наблюдения, и инструмент должен об этом сообщать.
• Сообщайте перцентили, полученные из полных гистограмм, никогда не средние значения; рядом с каждым числом указывайте модель поступления, скорость, профиль наращивания нагрузки и длительность.
• Повышайте нагрузку ступенями и удерживайте каждую достаточно долго, чтобы очереди стабилизировались, прежде чем читать результаты.
• Запускайте генератор на отдельном оборудовании и проверяйте, что узким местом не является он сам (CPU, временные порты, файловые дескрипторы).

Подводные камни

Числа из двух моделей несопоставимы, поэтому их смешение в одном отчёте вводит в заблуждение. Инструменты закрытой модели без пауз на обдумывание создают непрерывную последовательность запросов, которой не создаёт ни один клиент. Тесты с открытой моделью против перегруженного сервиса наращивают неограниченные очереди, пока у клиента не закончатся ресурсы; это правильный исход, а не ошибка инструмента. Запросы, постоянно попадающие в один и тот же кэшированный ключ, показывают сервис более быстрым, чем он есть.