Аннотация:Трансформер успешно применяется в задачах обработки естественного языка,
напимер, распознавании и генерации речи, машинном переводе. В последнее время
также активно исследуется возможность применения транформеров для работы с
изображениями как альтернативы сверточным нейронным сетям. Так, данная архи-
тектура была адаптирована для сегментации изображений [5], [6], [9].
Естественным является использование трансформеров для обработки последова-
тельностей токенов. Токеном может выступать слова, морфемы или изображения.
Например, существуют примеры использования трансформера для классификации
видео [8].
Некоторые медицинские данные также представлют собой последовательности
изображений, например, КТ и МРТ. Поэтому представляет интерес исследование
применения трансформеров для работы с такими трехмерными данными. Целью
данной работы является исследование особенностей применения трансформеров для
работы с изображениями и их последовательностями на примере задачи сегментации
снимков КТ.