wip
This commit is contained in:
Fedor Korotkiy
parent
52d9956d49
commit
4be9a5a982
1 changed files with 122 additions and 0 deletions
122
distbuild/README.md
Normal file
122
distbuild/README.md
Normal file
|
|
@ -0,0 +1,122 @@
|
|||
# distbuild
|
||||
|
||||
В этом задании вам нужно будет реализовать систему распределённой сборки.
|
||||
|
||||
Система сборки получает на вход граф сборки и файлы с исходным кодом. Результатом сборки
|
||||
являются исполняемые файлы и stderr/stdout запущенных процессов.
|
||||
|
||||
## Граф сборки
|
||||
|
||||
Граф сборки состоит из джобов. Каждый джоб описывает команды, которые нужно запустить на одной машине,
|
||||
вместе со всеми входными файлами, которые нужны этим командам для работы.
|
||||
|
||||
Джобы в графе сборки запускают произвольные команды. Например, вызывать компилятор, линкер или
|
||||
запускать тесты.
|
||||
|
||||
Команды внутри джоба могут читать файлы с файловой системы. Мы будем различать два вида файлов:
|
||||
- Файлы с исходным кодом с машины пользователя.
|
||||
- Файлы, которые породили другие джобы.
|
||||
|
||||
Команды внутри джоба могут писать результаты своей работы в файлы на диске. Выходные файлы
|
||||
обязаны находиться внутри `OUTPUT_DIR` директории.
|
||||
|
||||
```go
|
||||
package graph
|
||||
|
||||
import "crypto/sha1"
|
||||
|
||||
// ID задаёт уникальный идентификатор джоба.
|
||||
//
|
||||
// Мы будем использовать sha1 хеш, поэтому ID будет занимать 20 байт.
|
||||
type ID [sha1.Size]byte
|
||||
|
||||
// Job описывает одну вершину графа сборки.
|
||||
type Job struct {
|
||||
// ID задаёт уникальный идентификатор джоба.
|
||||
//
|
||||
// ID вычисляется как хеш от всех входных файлов, команд запуска и хешей зависимых джобов.
|
||||
//
|
||||
// Выход джоба целиком опеределяется его ID. Это важное свойство позволяет кешировать
|
||||
// результаты сборки.
|
||||
ID ID
|
||||
|
||||
// Name задаёт человекочитаемое имя джоба.
|
||||
//
|
||||
// Например:
|
||||
// build gitlab.com/slon/disbuild/pkg/b
|
||||
// vet gitlab.com/slon/disbuild/pkg/a
|
||||
// test gitlab.com/slon/disbuild/pkg/test
|
||||
Name string
|
||||
|
||||
// Inputs задаёт список файлов из директории с исходным кодом,
|
||||
// которые нужны для работы этого джоба.
|
||||
//
|
||||
// В типичном случае, тут будут перечислены все .go файлы одного пакета.
|
||||
Inputs []string
|
||||
|
||||
// Deps задаёт список джобов, выходы которых нужны для работы этого джоба.
|
||||
Deps []ID
|
||||
|
||||
// Cmds описывает список команд, которые нужно выполнить в рамках этого джоба.
|
||||
Cmds []Cmd
|
||||
}
|
||||
|
||||
// Cmd описывает одну команду сборки.
|
||||
//
|
||||
// Есть несколько видов команд. Все виды команд описываются одной структурой.
|
||||
// Реальный тип определяется тем, какие поля структуры заполнены.
|
||||
//
|
||||
// exec - выполняет произвольную команду
|
||||
// cat - записывает строку в файл
|
||||
//
|
||||
// Все строки в описании команды могут содержать в себе на переменные. Перед выполнением
|
||||
// реальной команды, переменные заменяются на их реальные значения.
|
||||
//
|
||||
// {{OUTPUT_DIR}} - абсолютный путь до выходной директории джоба.
|
||||
// {{SOURCE_DIR}} - абсолютный путь до директории с исходными файлами.
|
||||
// {{DEP:f374b81d81f641c8c3d5d5468081ef83b2c7dae9}} - абсолютный путь до директории,
|
||||
// содержащей выход джоба с id f374b81d81f641c8c3d5d5468081ef83b2c7dae9.
|
||||
type Cmd struct {
|
||||
// Exec описывает команду, которую нужно выполнить.
|
||||
Exec []string
|
||||
|
||||
// Environ описывает переменные окружения, которые необходимы для работы команды из Exec.
|
||||
Environ []string
|
||||
|
||||
// WorkingDirectory задаёт рабочую директорию для команды из Exec.
|
||||
WorkingDirectory string
|
||||
|
||||
// CatTemplate задаёт шаблон строки, которую нужно записать в файл.
|
||||
CatTemplate string
|
||||
|
||||
// CatOutput задаёт выходной файл для команды типа cat.
|
||||
CatOutput string
|
||||
}
|
||||
```
|
||||
|
||||
## Архитектура системы
|
||||
|
||||
Наша система будет состоять из трех компонент.
|
||||
* Клиент - процесс запускающий сборку.
|
||||
* Воркер - процесс запускающий команды компиляции и тестирования.
|
||||
* Координатор - центральный процесс в системе, общается с клиентами и воркерами. Раздаёт задачи
|
||||
воркерам.
|
||||
|
||||
Типичная сборка выглядит так:
|
||||
1. Клиент подключается к координатору, посылает ему граф сборки и входные файлы для графа сборки.
|
||||
2. Кооринатор сохраняет граф сборки в памяти и начинает его исполнение.
|
||||
3. Воркеры начинают выполнять вершины графа, пересылая друг другу выходные директории джобов.
|
||||
4. Результаты работы джобов скачиваются на клиента.
|
||||
|
||||
## Протокол: Клиент <-> Координатор
|
||||
|
||||
## Протокол: Координатор <-> Воркер
|
||||
|
||||
## Кеширование
|
||||
|
||||
### Кеш исходного кода
|
||||
|
||||
### Кеш артефактов
|
||||
|
||||
## Тестирование
|
||||
|
||||
Loading…
Reference in a new issue