Автоматика суперкомпьютера (TOP-500)

Суперкомпьютер — вычислительная система петафлопсного (10¹⁵ FLOPS) или эксафлопсного (10¹⁸ FLOPS) уровня. Применение: научные расчёты (физика элементарных частиц, климат, геномика), оборонка, ИИ-обучение крупнейших моделей.

Крупнейшие суперкомпьютеры (TOP-500, 2025)

Международные

• El Capitan (США, LLNL) — 1,74 эксафлопса, 30 МВт
• Frontier (США, Oak Ridge) — 1,19 эксафлопса, 29 МВт
• Aurora (США, Argonne) — 1,01 эксафлопса, 38 МВт
• Fugaku (Япония, RIKEN) — 442 петафлопса, 30 МВт
• LUMI (Финляндия) — 379 петафлопса, 7 МВт (использует отходящее тепло для города Каяни!)

Россия

• Christofari Neo (Сбер) — 11,95 петафлопса
• Lomonosov-2 (МГУ) — 2,96 петафлопса
• MTS GROM — 2,2 петафлопса (на RTX GPU)
• Планируется Lomonosov-3 на 20-40 петафлопс

Специфика автоматики

Охлаждение

• Жидкостное DLC — все топовые суперкомпьютеры (Frontier, Fugaku, LUMI)
• Иммерсия 2PIC — Aurora (Novec 7100), экспериментальные
• Естественное охлаждение — LUMI использует речную воду озера, Frontier использует градирни
• Температура теплоносителя 35-45°C на выходе — можно использовать для city heating

Утилизация тепла

• LUMI греет город Каяни (10 тыс. жителей) — 20% тепла города от компьютера!
• Frontier — проект использования тепла для теплиц
• Christofari в Калуге — планы на тепличный комплекс рядом

Питание

• Собственная подстанция 110-220 кВ
• Резервирование 2N или 2N+1 для Tier IV
• UPS на флайвилах + дизель-генераторы
• Иногда — связь с ТЭЦ или ГЭС напрямую (LUMI запитан от ГЭС)

Сеть

• Infiniband HDR 200 Гбит/с или NDR 400 Гбит/с
• Для El Capitan — Slingshot-11 Ethernet
• Для Fugaku — проприетарная Tofu-D

Диспетчеризация

• Специализированная SCADA для HPC — zabbix, nagios с плагинами
• Интеграция с планировщиком задач (Slurm, PBS)
• Мониторинг каждого узла (10-100 тыс. узлов на кластер!)
• Предиктивная аналитика отказов

Контроллеры

• Siemens Simatic S7-1500 — для питания и общей инфраструктуры
• Vertiv iCOM — для CDU и охлаждения
• Собственные разработки лабораторий — часто (например, у Oak Ridge)

Отличия от ИИ-кластера

| Параметр | ИИ-кластер (DGX) | Суперкомпьютер | |---------|------------------|----------------| | Масштаб | 100 кВт — 10 МВт | 5-50 МВт | | Количество узлов | 10-256 | 1000-20000 | | Задачи | Обучение LLM, inference | Физика, химия, климат, оборонка | | Простая масштабирование | Да (SuperPOD) | Проектируется индивидуально | | Охлаждение | DLC | DLC + иммерсия + естественное | | Срок проектирования | 6-12 мес | 24-48 мес | | Срок эксплуатации | 4-5 лет | 7-10 лет |

Нормативная база

• ANSI/BICSI 002-2024 — для ЦОД высшего уровня
• ASHRAE TC 9.9 — тепловые режимы
• TIA-942 — классификация центров обработки данных
• Uptime Institute Tier Standard — Tier IV
• ГОСТ Р 58810-2020 — Центры обработки данных (российский)

Нюансы российских суперкомпьютеров

• Санкции 2022 ограничили поставки NVIDIA H100 — переход на отечественные GPU (НТЦ «Модуль», Байкал) и Huawei
• Применение б/у H100 через параллельный импорт
• Собственное охлаждение — отечественные CDU (компания «Пилот», «Крок»)
• Автоматика на отечественных контроллерах (ОВЕН, Segnetics, Elesta) и SCADA (Трейс Моуд, МастерSCADA)

РУБИКОН имеет опыт проектирования автоматики инженерной инфраструктуры HPC-центров 1-50 МВт.