Работа в большом репозитории с разреженным извлечением и частичным клонированием

Что это такое

Единый репозиторий с множеством проектов долго клонируется, а работать в нём мешает обилие файлов. Git предлагает три независимых способа сокращения объёма:

• Разреженное извлечение (git sparse-checkout set <dir>...) ограничивает пути, представленные в рабочем дереве и индексе. Документация описывает режим cone, который теперь используется по умолчанию: на вход подаётся список каталогов, а не шаблоны в стиле gitignore; режим шаблонов non-cone явно не рекомендуется. --sparse-index соответственно уменьшает индекс.
• Частичное клонирование (git clone --filter=blob:none) просит сервер исключить объекты по фильтру; blob:none исключает содержимое всех файлов до момента, когда оно понадобится, а blob:limit=<size> — только blob-объекты размером не меньше указанного. В проектных заметках объясняется, что удалённый репозиторий становится обещающим (promisor), а недостающие объекты загружаются по запросу. Для этого требуется подключение к сети, и, поскольку объекты загружаются по одному, процесс «обычно бывает медленным».
• Поверхностное клонирование (--depth <n>) обрезает историю. Это отдельный механизм со своими ограничениями; для работы частичного клонирования он не нужен.

Почему это важно

Время клонирования, расход дискового пространства и объём сканирования при git status растут вместе со всем репозиторием, а не с той его частью, с которой работает человек или задание CI. Правильно выбранное сокращение превращает извлечённые данные объёмом в несколько гигабайт в дерево каталогов, соответствующее задаче.

Как применять

• Для разработчиков: git clone --filter=blob:none --sparse <url> (параметр --sparse начинает только с файлов верхнего уровня), затем git sparse-checkout set services/api libs/common.
• Включайте в cone целые каталоги; файлы на одном уровне с каждым каталогом-предком включаются автоматически, благодаря чему доступны файлы сборки в корне.
• Для заданий CI, которым нужен один коммит: частичный клон нужных путей без blob-объектов либо поверхностный клон, если история не имеет значения.
• Если сборка не находит файл, проверьте git sparse-checkout list; добавьте каталог, вместо того чтобы отключать разреженный режим.
• Команды обхода истории (git log -p, git blame) в частичном клоне вызывают загрузку по запросу; выполняйте их там, где сеть быстрая, либо заранее загружайте нужные объекты.

Подводные камни

Инструменты, сканирующие рабочее дерево, предполагают наличие всего репозитория и могут ошибочно сообщать об отсутствующих каталогах. Шаблоны non-cone нарушают работу --sparse-index и работают медленно. Автономная работа в частичном клоне прерывается на первом недостающем blob-объекте. Поверхностный клон не позволяет ответить ни на один вопрос об истории за пределами её отсечения.