За последние годы ЦОД столкнулись со множеством проблем, вызванных быстрыми изменениями ИТ-технологий и тенденций. ЦОД с высокой плотностью мощности стали задачей, которую компаниям необходимо решать.

Поскольку пользователи сейчас предъявляют более строгие требования к Интернет-услугам, компании должны придумать способы удовлетворения их ожиданий относительно круглосуточной доступности. Число серверов постоянно растет, габариты оборудования уменьшаются, а его вычислительные мощности увеличиваются. Малый форм-фактор, блейд-серверы, гипермасштабируемые серверы, компонуемая инфраструктура — все это было разработано для удовлетворения этой потребности.

Более высокая плотность мощности сервера означает, что его энергопотребление также будет выше. Поскольку мировая общественность уделяет все больше внимания вопросам энергопотребления, бизнес начал относиться к проблемам энергоэффективности и экологической ответственности более серьезно. Технология виртуализации предлагает компаниям решения, которые позволяют каждому серверу работать с большей нагрузкой и по максимуму использовать их потенциал. На текущем этапе развития облачных технологий многие компании уже включили стратегию «Облачные решения на первом месте» в число своих основных стратегий. Все больше компаний вкладывают средства в облачную ИТ-инфраструктуру и программное обеспечение, а некоторые предприятия и поставщики ИТ-оборудования используют в качестве основной стратегии «Только облачные решения». Плотное размещение серверов в облачных ЦОД увеличивает проблемы с их обслуживанием.

С развитием мобильных технологий и социальных сетей быстро выросли объемы данных, которые нужно анализировать и обрабатывать. Продолжающееся развитие технологии Интернета вещей подразумевает отправку собранных датчиками данных в специальные ЦОД, предназначенные для анализа больших объемов данных. Эти изменения побуждают владельцев ЦОД увеличивать плотность мощности. При быстром увеличении плотности оборудования ЦОД, построенных по традиционной концепции, уже будет недостаточно.

Потенциальные проблемы, связанные с высокой плотностью мощности

Согласно данным исследования, проведенного компанией Colocation America (2014), плотность мощности на одну стойку в ЦОД в 2008 г. составляла приблизительно 6 кВт, а в 2016 г. достигла 12 кВт. По прогнозам, к 2020 г. плотность мощности на одну стойку в ЦОД достигнет 16,5 кВт. К примеру, когда компания Intel переоборудовала два завода по производству микросхем в «зеленый» ЦОД высокой плотности мощности, его плотность мощность на стойку составила целых 43 кВт.

Источник: Colocation America, 2014

Учитывая тенденцию быстрого увеличения плотности мощности на стойку в ЦОД, компаниям необходимо искать более эффективные способы решения сопутствующих проблем. Высокая плотность позволяет более эффективно использовать пространство, и время реакции на отказ системы значительно уменьшается. Однако, в случае аварийного отключения питания невозможно будет отвести огромные объемы тепла, генерируемого оборудованием, что неизбежно приводит к отключению сервера.

Кроме того, постоянно увеличивающаяся плотность мощности уже намного превзошла возможности по обработке данных большинства ЦОД прежнего поколения. В предыдущие годы стойки в ЦОД были рассчитаны на плотность мощности 6 кВт. Если приходится иметь дело со стойками с плотностью мощности от 15 кВт, ЦОД просто не соответствуют предъявляемым требованиям. Когда компании используют такие ресурсоемкие технологии, как облачные вычисления или анализ крупных объемов данных, они также сталкиваются с проблемой разницы между доступной и необходимой мощностью. В прошлом конструкция систем охлаждения ЦОД предполагала, что рабочая нагрузка распределяется равномерно, однако сейчас это не так, особенно в стойках с высокой плотностью мощности. Компании начинают осознавать, что в их ЦОД имеется серьезный недостаток холодопроизводительности.

Из-за упомянутого недостатка может исчезнуть традиционный механизм обеспечения резервного питания в ЦОД. Традиционные ИБП и система охлаждения, спроектированные по схеме резервирования N+1, будут вынуждены работать на полную мощность и потеряют функции резервирования. Кроме того, после развертывания решений виртуализации ИТ-специалисты смогут перемещать виртуальные машины динамически. Из-за этого изменится нагрузка ЦОД и горячие участки станут трудноуловимыми. Также изменятся требования к питанию, что может привести к отказам оборудования.

Больше гибкости благодаря новой тенденции модуляризации

ЦОД высокой плотности мощности все еще сталкиваются со множеством потенциальных проблем, а их руководители испытывают растущее давление. Им приходится не только обеспечивать функционирование вычислительной среды с возрастающей плотностью и повышать ее надежность, но и сокращать расходы и повышать эффективность. Позитивным моментом является то, что отраслевые эксперты используют модульный подход в оборудовании и продуктах для ЦОД, который обеспечивает большую гибкость и позволяет подготовиться к возрастанию рабочей нагрузки в будущем.

На текущем этапе основные концепции модуляризации применяются при проектировании помещений и оборудования ЦОД. Модуляризация пространства подразумевает использование модулей ИТ-инфраструктуры, стоек и помещений для размещения ИТ-оборудования. Все модули взаимосвязаны друг с другом. На практике, помещения ЦОД используются для оценки потребности в мощности существующих услуг и требований к будущему расширению. Они подразделяются на более мелкие участки и рассматриваются как модули. Модуляризация оборудования подразумевает использование модулей инфраструктуры, включая системы питания (ИБП), кабинеты распределения питания, устройства межрядного охлаждения, серверные стойки и системы горячих и холодных коридоров.

«ИТ-технологии каждый день меняются, и развитие инфраструктуры движется в сторону архитектуры микросервисов. Проще говоря, архитектура микросервисов означает использование модульного подхода для формирования сложных крупномасштабных систем. Модульные решения для инфраструктуры ЦОД были разработаны несколько лет назад, чтобы предоставить компаниям гибкие возможности для удовлетворения потребностей в расширении, а также решить проблемы с нехваткой пространства и недостатком мощности по питанию и охлаждению», — рассказал д-р Чарльз Цай (Charles Tsai), руководитель подразделения Mission Critical Infrastructure Solutions в компании Delta.

Модуляризация системы ИБП

Согласно результатам исследования, проведенного производителем ИБП, около половины опрошенных считают, что основной причиной перебоев в энергоснабжении ЦОД является отказ ИБП. Это показывает, насколько важны ИБП в работе ЦОД. При повышении плотности мощности ЦОД необходимо заменить старые ИБП, ориентируясь в основном на КПД при выборе нового оборудования. Разработанные 10 лет назад ИБП обычно обладают КПД 85%, обслуживая серверы с двумя блоками питания с нагрузкой 40%. КПД современных ИБП намного выше. Например, ИБП Delta DPH 500 кВА при нагрузке 20% обеспечивает КПД преобразования AC-AC примерно 95%, а его максимальный КПД составляет 96,5%, что позволяет значительно сократить расходы на оплату электроэнергии.

Кроме того, необходимо учитывать эффективность использования пространства в ЦОД. Пусть, например, в зале электропитания планируется установить силовое оборудование, но пространство в зале сильно ограничено. Когда в ЦОД повышается плотность мощности на стойку, необходимо также нарастить мощности по обеспечению резервного питания. Устаревшие ИБП можно заменить на ИБП нового поколения с более высокой мощностью. Например, компания Delta недавно выпустила  модульный ИБП Modulon DPH 500 кВА для крупных ЦОД, который занимает только одну стойку 19” и обеспечивает самую высокую в мире плотность мощности. Кроме того, существует возможность параллельного подключения до 8 ИБП общей мощностью 4 МВА.

Благодаря механизмам самодиагностики и выявления износа ИБП может проверять состояние батарей, вентиляторов, выпрямителя на биполярных транзисторах с изолированным затвором, конденсаторов постоянного и переменного тока, снижая риск возникновения неисправностей и сбоев питания и защищая вложения в приобретенное оборудование.

Еще одно преимущество модульных ИБП — их постоянная готовность к работе. В зависимости от потребностей организации, можно реализовать наращивание мощности как по вертикали (внутри одной стойки), так и по горизонтали (параллельное подключение модулей). Организации могут приобретать ИБП в соответствии с исходными потребностями в мощности и рассчитывать на будущее расширение для снижения капитальных расходов.

Сокращение перебоев питания благодаря размещению систем RowCool около горячих участков

С повышением плотности серверов и ИТ-оборудования требования к обслуживающему оборудованию также становятся строже. Кроме повышения плотности источников питания, в ЦОД возникла также проблема охлаждения. Конструкция систем охлаждения ЦОД предполагает, что рабочая нагрузка распределяется равномерно, однако в реальности возможно неравномерное распределение тепла из-за динамического перемещения виртуальных машин или неправильного развертывания ИТ-оборудования. Недостаточное охлаждение станет общей проблемой всех ЦОД высокой плотности. Преимущество системы RowCool заключается в том, что она размещается вблизи горячих участков и выгодно отличается от систем RoomCool, где имеют место потери при подаче воздуха под фальшполом. Системы RowCool способны обеспечить достаточную холодопроизводительность для устранения горячих участков. В бесщеточных вентиляторах постоянного тока регулируется скорость вращения; тем самым снижается энергопотребление. Уменьшение скорости вращения вентиляторов на 10% позволяет сократить энергопотребление на 27%. Кроме того, резервирование по схеме N+1 и функции группового управления позволяют решать проблемы появления горячих участков при внезапном увеличении нагрузки. Системы RowCool имеют модульную конструкцию. Например, в RowCool 29/43 кВт применены встроенные сдвоенные источники питания, благодаря чему существенно повышается надежность, а также поддерживается горячая замена источников питания и вентиляторов, что значительно сокращает время ремонта. Система позволяет регулировать скорость вращения вентиляторов в соответствии с текущей рабочей нагрузкой. Концепция модуляризации также применима к устройствам RowCool, которые можно добавлять на участки ЦОД при появлении необходимости.

История клиента: сосуществование зон средней и высокой плотности в ЦОД

Согласно определению ассоциации руководителей ЦОД AFCOM, ЦОД относится к категории низкой плотности, когда мощность каждой стойки не превышает 4 кВт, средней плотности — при мощности стойки в диапазоне 5-8 кВт, высокой плотности — 9-15 кВт и экстравысокой плотности — от 16 кВт. Разные ЦОД могут сталкиваться с разными проблемами, связанными с плотностью мощности в стойке. В некоторых ЦОД могут присутствовать стойки с разной плотностью мощности при использовании одинаковых концепций систем питания и охлаждения. Ведущий на Тайване производитель интегральных схем планирует построить новый ЦОД в своем головном офисе, поскольку ему необходимо интегрировать существующее ИТ-оборудование со связанной сетевой и производственной средой. По результатам проверки, в ЦОД компании около 80 стоек средней и ультравысокой плотности (до 25 кВт).

Delta рекомендует компаниям, одновременно использующим стойки низкой и высокой/ультравысокой плотности для различных потребностей, в целях оптимизации выделить в пространстве ЦОД отдельную зону для стоек высокой и ультравысокой плотности. При планировании рабочих помещений необходимо учесть не только общие потребности по питанию и охлаждению, но и использование пространства для развертывания ИТ-систем. Существуют разные варианты использования решений для охлаждения. Например, для эффективного охлаждения стоек с мощностью ниже 4 кВт можно использовать только устройства RoomCool, а стойки с высокой плотностью мощности от 9 до 15 кВт лучше оборудовать кондиционерами RowCool для оптимального устранения излишков тепла.

Специалисты Delta использовали модульный подход для планирования зоны с ультравысокой плотностью мощности для клиента и разместили все стойки с ультравысокой плотностью в одной зоне. Для охлаждения стоек высокой плотности клиент выбрал кондиционер Delta RowCool 95 кВт в стойке шириной 600 мм, обладающий самой высокой холодопроизводительностью в отрасли. Компания Delta также рекомендовала использовать технологию горячих коридоров для предотвращения смешивания холодного и горячего воздуха и обеспечения оптимальной эффективности охлаждения.

Резюме

Технологии развиваются каждый день. Технологии Интернета вещей, искусственного интеллекта, дополненной и виртуальной реальности интегрировались с облачными и мобильными технологиями, технологиями социальных сетей и больших данных. Проблемы, с которыми сталкиваются ЦОД, становятся все более сложными. Тенденция повышения плотности определенно продолжится, и инфраструктура станет самой надежной подстраховкой, когда компании будут продвигать свои инновационные услуги.

Несомненно, развитие ЦОД высокой плотности поставит перед их руководителями больше проблем по эксплуатации и управлению. Серьезными задачами также станут надежность ЦОД, необходимость снижения расходов и повышения эффективности. Использование модульного подхода, в том числе модуляризация пространства, применение технологии холодных и горячих коридоров, систем RowCool и более эффективных ИБП способно повысить надежность ЦОД и гибкость развертывания.