Почему стоит развернуть Inference-ready кластер Kubernetes в Selectel
Готовые манифесты вместо ручной настройки
Вы задаете параметры сети, кластера и системных нод — инфраструктура разворачивается автоматически. Манифесты можно адаптировать под себя.
Отказоустойчивое геораспределенное облако ru-6
Ноды кластера размещаются в трех зонах доступности на независимых площадках в Москве. Отказ одной площадки не выводит кластер из строя.
Автомасштабирование через сервис Karpenter
Вы описываете требования к ресурсам, а Karpenter выбирает самый дешевый из подходящих GPU-серверов, создает ноду и вводит ее в кластер. При снижении нагрузки консолидирует ноды и удаляет лишние.
Широкий выбор GPU под любые LLM
GPU-серверы для кластеров Kubernetes всегда в наличии и доступны с почасовой оплатой. В одном кластере можно развернуть несколько нод групп с разными картами под разные модели.
Данные в закрытом контуре
Объектное хранилище с весами моделей подключается к кластеру по приватной сети, благодаря чему трафик не покидает облако Selectel.
Все плюсы облачной платформы
На Managed Kubernetes с GPU распространяются все преимущества облака Selectel: расширение без CAPEX, готовые сервисы хранения (S3, файловое хранилище), резервное копирование, защита от DDoS-атак.
- Selectel — № 1 в рейтинге провайдеров Kubernetes
Наш Managed Kubernetes высоко оценивают в рейтингах Market.CNews. Детали вы можете изучить в отчетах по рейтингу провайдеров 2024 и GPU Cloud 2024. А вот обзор за 2023.
Как развернуть Inference-ready кластер Kubernetes в Selectel
Подготовленные инженерами Selectel готовые манифесты разворачивают инференс-платформу в Kubernetes почти автоматически: запускают отказоустойчивый control plane, системные ноды на CPU, GPU-ноды через Karpenter и стек мониторинга.
- Подготовка
DevOps-инженер берет подготовленные Terraform-модули и задаёт параметры.
- Создание инфраструктуры
DevOps-инженер выполняет terraform apply — инфраструктура создаётся автоматически:
- создается приватная сеть и подсети в трех зонах доступности пула ru-6;
- Создается кластер Managed Kubernetes: control plane в трех зонах, за доступность кластера отвечает Selectel.
- Helm-чарты
Helm-чартами ставятся GPU Operator, Karpenter NodePool, AIBrix, Gateway API.
- Развертывание мониторинга
Prometheus, Grafana, DCGM exporter, FluentBit.
- Готовность
Клиент получает kubeconfig и доступ к кластеру. Платформа готова к деплою моделей.
Особенности развертывания кластера Kubernetes в Selectel
Системная группа нод
Системные компоненты работают на облачных серверах с CPU, чтобы не занимать GPU-ноды.
Доступные GPU
В облаке доступно 20+ серверов с GPU разной конфигурации. Карта отдаётся как выделенное PCI-устройство, vGPU — нет.
Компоненты инференс-платформы:
- среда выполнения LLM
- маршрутизация и API
- оптимизация
- мониторинг
Сервисы облачной платформы:
- S3
- Файловое хранилище (NFS)
- облачные диски
- Container Registry
- менеджер секретов
- сервис метрик и логов
Как развернуть модель в кластере Kubernetes в Selectel
Вы заполняете values.yaml: модель, движок, тип GPU, число реплик. Kubernetes создаёт под, Karpenter поднимает под него GPU-ноду, образ приезжает из Container Registry, веса — из объектного или файлового хранилища. Модель публикуется через Gateway API и облачный балансировщик и отвечает по OpenAI-совместимому API.
- ML-инженер задаёт значения в values.yaml
Модель, движок, GPU, реплики.
- ML-инженер применяет чарт через Helm вручную или из CI/CD
Манифесты применяются к Kubernetes API кластера.
- Создаются под инференса, Service, HTTPRoute и PVC под веса
- Karpenter подбирает подходящий и самый дешёвый тип GPU-сервера и создаёт ноду
- Образ движка инференса скачивается из Container Registry
- Веса модели загружаются из объектного хранилища S3 или монтируются с NFS.
- Производится публикация
Сервис публикуется через Gateway API и облачный балансировщик.
- Модель готова к работе
Приложения клиента обращаются к модели по OpenAI-совместимому API.
Какие технические задачи решает Inference-ready кластер
Запустить модель в проде без сборки стека инференса
GPU Operator, движок инференса, автоскейлинг и дашборды GPU установлены и проверены на совместимость. От создания кластера до первого ответа модели — 60 минут вместо 4 недель на подбор версий.
Пережить скачок трафика без таймаутов
Автоматическое масштабирование работает по метрикам инференса. GPU-нода поднимается под ожидающий под, без заранее описанных групп нод. Karpenter автоматически подберет наиболее подходящую конфигурацию ноды с GPU.
Снизить стоимость одного запроса к модели
Готовые дашборды показывают по каждой карте, сколько занято видеопамяти и сколько вычислительных ядер простаивает. Ноды без нагрузки удаляются до нуля, несколько небольших моделей делят одну карту.

Компании, которые нам доверяют
Более 44 000 клиентов по всему миру построили свою инфраструктуру с продуктами Selectel, и у каждого своя история.
- Читать кейс
Как построить высоконагруженный сервис в Managed Kubernetes: опыт TrendTech
TrendTech — продуктовая компания, которая разрабатывает сервисы для рынка недвижимости в России и за рубежом. Для масштабирования PropTech-сервисов и автоматизации обновления данных TrendTech перешел с self-hosted-решений на управляемую инфраструктуру от Selectel. Основные сервисы работают в Managed Kubernetes, для хранения тяжелых файлов используется файловое хранилище, а для отказоустойчивости баз данных — кластер выделенных серверов.
Результаты
> 1 МЛН
высоконагруженных операций по обновлению контента выполняется каждый месяц> 10 ТБ
контента хранится в файловом хранилище - Читать кейс
Как Lad развернули среду разработки и сервис управления проектами в облаке
В группе IT-компаний Lad хотели сократить время запуска клиентских проектов. При этом было важно обеспечить соответствие инфраструктуры ИБ-требованиям. Рассказываем, как Selectel помог решить эти задачи.
Результаты
30+
микросервисов Project Lad развернуты в Managed Kubernetes99,98%
SLA отказоустойчивых кластеров Managed Kubernetes - Читать кейс
Как CARGO.RUN пришла к стабильной и отказоустойчивой инфраструктуре
Логистическая платформа CARGO.RUN хотела обеспечить бесперебойную работу для 15 000 ежедневных пользователей и подготовиться к росту нагрузок. Selectel предоставили для этого надежную и предсказуемую инфраструктуру.
Результаты
в 2,5 раза
рост производительности одного логиста у клиентов CARGO.RUN (с 30−34 до 80 машин)на 53%
сокращение порожнего пробега транспорта у клиентов (с 15% до 7%) - Читать кейс
Как сервис автоматизации продаж снизил расходы на инфраструктуру
Компании требовался перенос сложной архитектуры без остановки работы и снижение затрат. Реализована поэтапная миграция с оптимизацией хранилища.
Результаты
на 20%
снизились затраты на IT-инфраструктурудо 1,5 млн IOPS
производительность PostgreSQL - Читать кейс
Как мы помогли организовать бесперебойную работу Учи. ру для 11 млн пользователей
Компания хотела обеспечить гибкую IT-инфраструктуру при сезонных скачках трафика с возможностью быстро разворачивать или сокращать мощности.
Результаты
1 месяц
потребовался для строительства готовой инфраструктуры152-Ф3
инфраструктуру соответствует закону о защите ПД - Читать кейс
Как компания XWAY построила гибридную инфраструктуру в Selectel
XWAY — сервис для интеграции более чем 2 000 продавцов с крупнейшими маркетплейсами. Чтобы обеспечить отказоустойчивость и высокую производительность, команда развернула гибридную инфраструктуру в Selectel — на базе облачных и выделенных серверов, а также Managed Kubernetes. Основную базу данных PostgreSQL разместили в облачных базах данных и на выделенных серверах.
Результаты
1 000
запросов в секунду обрабатывают сервисы XWAY99,98%
уровень SLA управляемых кластеров Kubernetes - Читать кейс
Как банк Хайс сократил time-to-market и реализовал безопасное хранение данных
Банку Хайс требовалось в короткие сроки вывести банковский продукт на рынок и хранить данные с соблюдением стандартов безопасности. Рассказываем, как эти задачи удалось решить при помощи Selectel.
Результаты
58
разных микросервисов и их реплик работают в продакшене2 месяца
удалось сэкономить на развертывании инфраструктуры и запуске продукта
Арендуйте облачный сервер с GPU под свою задачу
Автомасштабируемый бэкенд для ИИ-сервиса
Позволяет автоматически масштабировать STT Whisper, эмбеддинги и небольшие LLM в зависимости от входящего трафика.
| GPU | 2 × RTX 4090 |
| Процессор | 16 vCPU |
| Память | 94 ГБ |
От 210,04
₽/часВысоконагруженный RAG и мультимодальные микросервисы
Подходит для одновременного анализа 100+ ТБ юридических документов, поиска по базам знаний и обслуживания множества корпоративных пользователей.
| GPU | 4 × NVIDIA RTX 6000 PRO |
| Процессор | 96 vCPU |
| Память | 720 ГБ |
От 1 168,26
₽/часEnterprise-инференс моделей 70B+ и мультимодальный AI
Кластер для централизованного обеспечения ИИ-сервисами. Позволяет развернуть флагманские модели уровня GLM 5.1 / Minimax-m2.7 и гибко нарезать кластер под любые задачи.
| GPU | 8 × NVIDIA RTX 6000 PRO |
| Процессор | 240 vCPU |
| Память | 1000 ГБ |
От 2 148,39
₽/часРассчитайте стоимость Inference-ready кластера в Managed Kubernetes Selectel
Чтобы создать инфраструктуру для деплоя приложений, выберите тип кластера, характеристики групп нод и подключите внешний IP-адрес в случае необходимости.
Мы позаботимся о работе вашего кластера.
Мы собрали все самые важные документы и материалы о сервисе, чтобы вам было проще начать работу с Managed Kubernetes with GPU в Selectel.
Подробнее о сервисе
Описание сервисе и главное о проектах, квотах, оплате и обучающем курсе
Быстрый старт
Как начать работу с кластером Managed Kubernetes
Создание кластера
Пошаговые инструкции, как создать кластер Managed Kubernetes
Работа с кластером
Пошаговые инструкции, как работать с кластером Managed Kubernetes
Работа с группами нод
Как создать группу нод, изменить их конфигурацию и размер, настроить автомасштабирование и другое
Работа с сетью
Как настроить балансировщик нагрузки, установить Ingress, использовать PROXY-протокол и другое
Как установить Kubeflow
Пошаговая инструкция для установки
Управление пользователями и ролями
Как добавить пользователя, задать или изменить его роль, удалить пользователя
Как мы создаем безопасную среду для AI/ML-задач в Selectel
Можем хранить банковские данные без ограничений со стороны регуляторов
Заключение по ГОСТ Р 57580 подтверждает, что инфраструктура соответствует требованиям Центрального банка России.
Сертификат PCI DSS говорит о том, что Managed Kubernetes придерживается набора международных требований, который помогает обезопасить данные держателей карт и критичные аутентификационные данные.
Соответствуем 152-ФЗ до УЗ-1
Это значит, что Inference-ready кластер в Managed Kubernetes Selectel можно использовать на проектах, где собираются и обрабатываются персональные данные вплоть до уровня защищённости УЗ-1 — самого высокого требования, предъявляемого к подобным системам.
Работаем в соответствии с регламентами ISO
Соответствие ISO/IEC 27001 гарантирует, что мы эффективно управляем безопасностью информации.
Стандарт ISO/IEC 27017 расширяет предыдущий и регулирует оказание облачных услуг.
ISO/IEC 27018 позволяет обрабатывать персональные данные в облаке.
Помогаем разграничивать доступы с помощью IAM-системы
Вы сможете выделить роли для разных пользователей и управлять правами на создание и управление кластерами Kubernetes, чтобы предотвратить утечку конфиденциальных данных.
Размещаем инфраструктуру в собственных дата-центрах уровня Tier III
Шесть дата-центров расположены в Москве, Санкт-Петербурге и Ленинградской области. Вы также можете арендовать Kubernetes в нашем партнерском дата-центре в Новосибирске.
Группа дата-центров на Цветочной
ул. Цветочная, д. 19

2 564 м²
площадь серверных1 196
стоек50+
продуктовГруппа дата-центров в Дубровке
г. п. Дубровка, ул. Советская, д. 1

2 439 м²
площадь серверных996
стоек50+
продуктовГруппа дата-центров на Берзарина
ул. Берзарина, д. 36 стр. 3

2 777 м²
площадь серверных1 420
стоек50+
продуктовДата-центр на Авиамоторной
ул. Авиамоторная, д. 69

>350
камер видеонаблюдения4/3N
схема резервирования50+
продуктовПартнерский дата-центр на Светлой
д. п. Кудряшовский, ул. Светлая, д. 21

7 кВт
мощность на стойку10+
продуктов2N
резервированиеГотовы начать?
Зарегистрируйтесь в панели управления, чтобы получить доступ ко всем продуктам Selectel и управлять инфраструктурой в едином окне.
консультацию в любое время