Спросите у пяти поставщиков, где предел воздушного охлаждения, и вы получите пять разных цифр: 15, 20, 40, 50 или даже 80 кВт на стойку. Каждое из этих значений можно обосновать, так как они описывают разные границы: среднее значение для старого зала, изолированный коридор (containment), системы охлаждения, расположенные вплотную к стойкам (close-coupled), или активные задние двери. Путаница исчезает, как только объясняется физика процесса, потому что этот предел — подвижный порог, устанавливаемый тремя измеримыми механизмами, и все три сводятся к одному уравнению. В этом руководстве рассматривается физика предела воздушного охлаждения: почему конвективная теплопередача ограничивает возможности воздуха, где находятся практические пороги для каждой архитектуры, что изменилось со стороны чипов, сделав этот вопрос актуальным, и какие инженерные решения действительно позволяют преодолеть этот барьер. Ответ имеет значение для всех, кто подбирает охлаждение для оборудования ИИ, так как выбор архитектуры означает выбор стороны этого порога.
Единственное уравнение, лежащее в основе каждого решения по охлаждению
Любое конвективное охлаждение, воздушное или жидкостное, подчиняется закону охлаждения Ньютона: Q = h × A × ΔT. Отводимое тепло равно произведению коэффициента конвективной теплопередачи на площадь поверхности и на разницу температур между поверхностью и жидкостью. Из этих трех членов площадь поверхности корпуса чипа фиксирована его размерами, а допустимая разница температур ограничена термическим пределом кремния, оставляя коэффициент 'h' единственным параметром, который инженеры могут изменять на несколько порядков. Принудительное воздушное охлаждение (forced air) обеспечивает значения 'h' примерно от 50 до 250 Вт/м²·К. Движущаяся жидкость обеспечивает от 1000 до 10 000 Вт/м²·К. Замена рабочей среды с воздуха на воду увеличивает конвективную мощность примерно в 100 раз до любых других изменений в конструкции.
В вопросе транспортировки тепла наблюдается такой же разрыв. На единицу объема вода переносит примерно в 3500 раз больше тепла, чем воздух при том же повышении температуры. Для отвода 40 кВт тепла из стойки с помощью воздуха при повышении температуры на 15°C требуется около 2,5 кубических метров воздуха в секунду (почти 8000 CFM) через шкаф шириной 600 мм. Для той же нагрузки при использовании воды требуется всего несколько литров в минуту через шланг толщиной с палец. Проектирование систем воздушного охлаждения — это искусство растягивания этих двух показателей; жидкостное охлаждение начинается там, где это растягивание перестает приносить результат.
Где на самом деле находится предел воздушного охлаждения
Практический потолок зависит от воздушной архитектуры, поэтому публикуемые пределы так разнятся:
| Архитектура | Практический потолок | Что устанавливает границу |
|---|---|---|
| Обычное охлаждение помещения (CRAC/CRAH) | От 15 до 20 кВт на стойку | Длинный общий воздушный путь, потери при смешивании, расчет на средние показатели по помещению |
| Изолированный (Contained) горячий/холодный коридор | От 30 до 40 кВт на стойку | Объем воздушного потока, энергопотребление вентиляторов, акустические пределы |
| Конструкции с близким расположением (Close-coupled) и фанволы (fan-wall) | От 41 до 50 кВт на стойку | Короткий воздушный путь, высокий CFM, контроль температуры подачи |
| Теплообменник на задней двери (жидкостный змеевик) | От 40 до 80 кВт на стойку | Транспортировка тепла уже жидкостная; воздух циркулирует только внутри стойки |
| Direct-to-chip (Прямое охлаждение чипов) и иммерсионное охлаждение | От 100 до 250+ кВт на стойку | Конвективный коэффициент изменен на показатели жидкостей |
Строка с теплообменниками на задних дверях (rear-door) объясняет большую часть путаницы: стойка с активной дверью с жидкостным охлаждением по-прежнему содержит серверы с воздушным охлаждением, но уже перешла на жидкость для транспортировки тепла. Если быть честным, предел воздушного охлаждения означает, что некомпенсированная передача воздуха (unassisted air transport) достигает насыщения при уровне от 35 до 40 кВт на стойку в хорошо спроектированных системах изоляции (containment). Любая архитектура, рассчитанная на мощность выше этой цифры, так или иначе использует жидкость в контуре отвода тепла.
Три механизма, обуславливающих предел
Объем воздушного потока становится физически нецелесообразным
Требуемый воздушный поток масштабируется линейно в зависимости от тепловой нагрузки при фиксированном повышении температуры. Объем в 8000 CFM (кубических футов в минуту), необходимый для стойки на 40 кВт, уже создает нагрузку на воздухозаборники серверов площадью в несколько квадратных дюймов; при 100 кВт этот показатель приближается к 20 000 CFM. В этом случае скорость воздуха, проходящего через шасси, превышает возможности любой конструкции. Задокументированные отказы показывают, насколько тонка эта грань: в одном зафиксированном инциденте температура 250 стоек (всего по 6 кВт каждая) поднялась с 72°F (22°C) до более чем 90°F (32°C) всего за 75 секунд после отключения охлаждения.
Энергопотребление вентиляторов подчиняется закону куба
Мощность вентилятора пропорциональна кубу воздушного потока. Увеличение объема воздуха на 10 процентов требует примерно на 33 процента больше мощности вентилятора, и собственные вентиляторы серверов добавляются к вентиляторам объекта в общем счете. В залах с воздушным охлаждением при высокой плотности накладные расходы на охлаждение приближаются к трети всей энергии объекта, PUE (коэффициент эффективности использования энергии) ухудшается и превышает 1,5, а акустическая обстановка в горячих коридорах (hot aisles) достигает 85–95 дБА, что уже требует использования средств защиты слуха.
Температурные градиенты нарушают равномерность
Даже когда общего потока воздуха достаточно, вертикальный температурный градиент (vertical gradient) внутри плотной стойки создает проблему: серверы в верхней части 40-киловаттной стойки потребляют заметно более теплый воздух, чем серверы внизу, а старение компонентов зависит от температуры. Надежность полупроводников подчиняется правилу десяти градусов (ten-degree rule), согласно которому повышение температуры на 10°C сокращает срок службы компонента примерно вдвое. Полевая статистика связывает около 55 процентов отказов электроники с чрезмерной или неравномерной температурой. Таким образом, предел (стена) — это предел надежности в той же степени, что и предел мощности.
Со стороны чипов воздушное охлаждение отстало много лет назад
Оценка на уровне стойки преуменьшает проблему, потому что основное ограничение формируется на уровне кремния. Принудительное воздушное охлаждение (forced air) достигает предела при плотности теплового потока около 1,6 Вт/см² на поверхности устройства. Современные ускорители превысили эту цифру еще несколько поколений назад: класс H100 работает при мощности около 86 Вт/см² (700 Вт на корпус), B200 удваивает мощность корпуса до 1000 Вт, а план развития (roadmap) для B300 достигает 1400 Вт, при этом тепло концентрируется на зонах чиплетов, которые намного меньше самого корпуса. Никакие радиаторы и вентиляторы не способны преодолеть разрыв такого масштаба; коэффициент конвекции должен измениться, что означает необходимость использования жидкости на поверхности чипа. Холодные пластины (cold plates) достигают этого, подводя поток в микроканалах на расстояние в несколько миллиметров от кремния. В результате тепловое сопротивление снижается до 0,02–0,10°C/Вт, что на порядок превосходит все, что может обеспечить воздух.
Показатели эффективности после перехода
Эксплуатационные показатели дополняют физические обоснования. Объекты с воздушным охлаждением обычно работают с PUE (коэффициент эффективности использования энергии) от 1,4 до 1,8, при этом хорошо оптимизированная изоляция (containment) достигает 1,2–1,3. В то же время залы с жидкостным охлаждением поддерживают PUE от 1,05 до 1,15, что во многом не зависит от климата. Надежность напрямую зависит от температуры: устранение серверных вентиляторов избавляет от класса компонентов, ответственного за значительную долю отказов в эксплуатации. Задокументированные внедрения показывают увеличение среднего времени наработки на отказ (MTBF) примерно с 40 000 до 65 000 часов, при этом срок службы жестких дисков увеличивается примерно на 20 процентов за счет более низких и стабильных температур, которые обеспечивает жидкость. Акустика (уровень шума) следует в том же направлении, снижаясь с 85–95 дБА в горячих коридорах до уровня спокойной беседы. Каждая строчка этого баланса сводится к одному и тому же источнику: изменился коэффициент конвекции, и все, что связано с отводом тепла, стало намного проще.
Преодоление предела: что меняется, а что остается
Путь перехода проходит через узнаваемые этапы. Теплообменники на задних дверях (Rear-door heat exchangers) переводят существующий зал с воздушным охлаждением на жидкостную транспортировку без вмешательства в серверы, обеспечивая от 40 до 80 кВт на стойку, хотя базовая нагрузка требует большего. Холодные пластины прямого охлаждения чипов (Direct-to-chip cold plates) вступают в игру от 35 кВт и выше, доминируя в современных развертываниях ИИ. Они сохраняют стандартные шасси и рабочие процессы обслуживания, в то время как блок распределения охлаждающей жидкости (CDU) управляет контуром; архитектура и ее компоненты рассмотрены в статье что такое блок распределения охлаждающей жидкости (CDU) и как он работает. Иммерсионное охлаждение полностью убирает воздух из пути отвода тепла для обеспечения высочайшей плотности. Неизменным во всех трех вариантах остается потребность в надежной циркуляции жидкости, и именно здесь инженерная беседа переходит к насосам.
Как только вы преодолеваете предел, насос берет на себя риски
Жидкостное охлаждение заменяет ограничения воздушного потока на гидравлические требования: стабильное давление для преодоления сопротивления микроканалов холодных пластин, непрерывная работа с переменной скоростью, химический состав гликолевого хладагента и абсолютная герметичность над работающим оборудованием. Насос становится тем компонентом, который преобразует физическое преимущество в ежедневную надежность. Бессальниковые циркуляционные насосы с магнитным приводом и проточной частью из нержавеющей стали, такие как серия MDW, напрямую отвечают требованиям нулевой утечки и стабильности при низком расходе. Полный алгоритм выбора представлен в руководстве по выбору насосов для жидкостного охлаждения дата-центров ИИ.
Aulank Pump производит бессальниковые вихревые насосы с магнитным приводом для контуров жидкостного охлаждения центров обработки данных. Они рассчитаны на водно-гликолевые среды в диапазоне от -196°C до +400°C с герметичностью, проверенной на утечку гелия. Если ваш проект пересекает границу возможностей воздушного охлаждения, пришлите нам данные о расходе контура и падении давления, и наша команда инженеров предложит вам подходящий насос с расчетом типоразмера. Свяжитесь с нами, чтобы обсудить ваш проект жидкостного охлаждения.