Цод нагрузка на пол

Обновлено: 26.04.2024

16 февраля 2016 г. | Категория: Проектирование ЦОД

На вопросы отвечает Денис Хамитов, технический директор компании Huawei. Продуктовый портфель Huawei включает полный комплекс решений для построения инженерной инфраструктуры центров обработки данных. В структуре компании также есть собственное инженерное подразделение, занимающееся разработкой комплексных решений для дата-центров.

Остаточная распределенная несущая способность перекрытий здания, в котором заказчик планирует разместить дата-центр, составляет 165 кг/м 2 . Этот параметр рассчитан на основе строительной экспертизы, с учетом веса фальшпола и новой стяжки. В ЦОДе планируется размещение шкафов с оборудованием, максимальный вес которых (вес шкафа вместе с оборудованием) составляет 500 кг. ЦОД располагается на втором этаже. В некоторых помещениях, расположенных под ­ЦОДом, размещено технологическое оборудование с непре­­­рывным циклом эксплуатации. Свободные площади второго этажа существенно превышают площадь, необходимую для ЦОДа. Оборудование электроснабжения ЦОДа может быть размещено на первом этаже. Система управления микроклиматом в ЦОДе должна быть выполнена на основе имеющихся у заказчика шести фреоновых кондиционеров с холодопроизводительностью 86 кВт каждый. Возможно ли в этом случае реализовать ЦОД? Какие могут быть варианты?

Данные строительной экспертизы по остаточной несущей способности перекрытий могут свидетельствовать о следующем:

⎯ либо перекрытия здания изначально не были предназначены для размещения тяжелого оборудования ЦОДа,

⎯ либо по полу второго этажа выполнена тяжелая набетонка толщиной более 10 см (удельный вес набетонки пола на 1 кв. м высотой 10 см составляет порядка 250 кг) .

Оценим необходимые нам минимумы по остаточной несущей способности пола, чтобы ЦОД можно было разместить на втором этаже здания:

⎯ вес ИТ-оборудования в стойках — 694 кг/м 2 (в шкафах типоразмера 600 х 1200);

⎯ вес ИТ-оборудования в стойках — 833 кг/м 2 (в шкафах типоразмера 600 х 1000);

⎯ один блок фреонового кондиционера холодопроизводительностью 86 кВт весит примерно 950–1000 кг, что при соответствующих габаритах 2500 х 800 мм составляет порядка 500 кг на 1 кв. м.

Исходя из грубых оценок, без учета дополнительных кратковременных нагрузок (пребывание персонала, доставка и транспортировка оборудования), остаточная несущая способность перекрытия второго этажа недостаточна для размещения ЦОДа.

Учитывая большое количество свободных площадей второго этажа и возможность разместить оборудование системы электроснабжения ЦОДа на первом этаже, имеет смысл рассмотреть комплекс мер по усилению несущих конструкций здания и перекрытия в зоне над помещениями, где установлено оборудование системы электроснабжения. Это необходимо сделать, чтобы разместить над ними серверный зал, но для этого потребуются данные о фундаментах и несущих конструкциях здания, их текущем состоянии, а также выполнение комплексных поверочных расчетов, разработка проекта усиления несущих конструкций и перекрытия.

Выполнить комплекс мер по усилению перекрытия над помещениями с непрерывным производственным процессом не представляется возможным ввиду правил техники безопасности и производства строительных работ: потребовалось бы исключить весь эксплуатирующий данное оборудование персонал и остановить эксплуатацию оборудования первого этажа.

Вариант демонтажа выполненной набетонки по полу второго этажа также невозможен по аналогичным причинам. Помимо этого высока вероятность повреждения самого перекрытия при производстве демонтажных работ.

Здание, в котором должен быть размещен ЦОД, находится в жилом районе. В ста метрах от него расположен детский сад. Холодопроизводительность системы охлаждения составит не менее 430 кВт. Наружные блоки кондиционеров, которые предоставляет заказчик, создают уровень шума 112 Дб. По условиям контракта ЦОД будет принят заказчиком после всех официальных согласований о сдаче объекта в эксплуатацию. В чем заключаются основные риски и что необходимо сделать в текущей ситуации?

Максимально допустимый уровень шума регулируется санитарными нормами СН 2.2.42.1.8.562–96 и для жилой застройки равен 70 дБА (с 07:00 до 23:00) и 60 дБА (с 23:00 до 07:00), а на территории детских и школьных учреждений — 40 дБА.

Поскольку параметры звукового давления внешних блоков заказчика составляют 112 дБ, что по шкале измерения шума сопоставимо с уровнем звука взлетающего вертолета, исполнителю проекта необходимо учесть риск несоответствия системы кондиционирования санитарным нормам. В данной ситуации исполнителю потребуется произвести расчеты по фактору шумового воздействия внешних блоков системы кондиционирования, оценить возможность и разработать проект устроения санитарно-защитной зоны, предусмотреть мероприятия по снижению уровня шума (озеленение, установка шумовых барьеров и т. п.) до разрешенного нормативными документами в зонах жилой застройки вблизи территории детских и школьных учреждений и согласовать разработанный проект в установленном порядке в органах санэпидемнадзора. По результатам расчетов шума исполнитель также может обосновать экономическую целесообразность замены внешних блоков на аналоги с меньшим уровнем звукового давления.

В целях экономии бюджета строительства ЦОДа заказчик настаивает на сокращении большинства некритичных, с его точки зрения, систем, в том числе и системы подготовки воды. В ЦОДе будут установлены пароувлажнители общей производительностью более 120 литров в час. Можно ли соглашаться на сокращение этой системы? Как в этом случае аргументировать свою точку зрения? Оправданно ли будет построить такую систему «бесплатно для заказчика»?

Качество подаваемой к пароувлажителям воды главным образом влияет на срок службы бачков пароувлажнителя, и в представленной ситуации все будет зависеть от типа применяемых пароувлажнителей и соответствующих требований к качеству воды.

Если параметры качества водопроводной воды на объекте не выходят за границы допустимых к применению в пароувлажнителях, то вся система подготовки будет заключаться в установке фильтров очистки от механических частиц. В этом случае бюджет проекта не будет слишком зависеть от системы водоподготовки и вполне возможно реализовать такую систему как за счет заказчика, так и «бесплатно для заказчика».

Если же требования к качеству воды предусматривают систему очистки методом обратного осмоса, то заказчику необходимо рассказать о последствиях отказа от нее, а именно о необходимости частой замены бачков пароувлажнителей во время эксплуатации из-за того, что вода — несоответствующего качества, а это повлечет за собой увеличение эксплуатационных расходов. Это и будет основным аргументом в пользу данной системы. Возможность реализации «бесплатно для заказчика» необходимо оценивать исходя из текущих экономических показателей проекта, степени лояльности или партнерских взаимоотношений с заказчиком.

По исходным требованиям заказчика проектируемый ЦОД общей потребляемой мощностью 7 МВт должен иметь показатели PUE не больше 1,35. ЦОД представляет собой единое здание, состоящее из пяти серверных залов площадью 1000 м 2 каждый, комплекса вспомогательных технологических помещений и административного блока. Площадь вспомогательных помещений — около 4000 м 2 , административного блока — 1200 м 2 . На этапе согласования рабочей документации заказчик потребовал включить в расчет PUE 700 кВт тепловой энергии, получаемой от централизованной сети отопления. Тепловая энергия необходима для отопления административного блока и отдельных серверных залов, пока те не будут заполнены серверным оборудованием. Прав ли заказчик? Каким образом проектировщик может выйти из сложившейся ситуации без существенных затрат на перепроектирование? Проектный PUE без учета тепловой энергии на отопление был 1,34.

В этом примере исполнитель проектирует ЦОД, включая зону административного блока, непосредственно относящегося к ЦОДу, и заказчик прав в своем требовании включить в расчет PUE тепловую энергию, получаемую от централизованной сети для отопления административного блока дата-центра. Но требование включить в расчет PUE также и тепловую энергию централизованной сети для отопления отдельных серверных залов, пока те не будут заполнены серверным оборудованием, некорректно:

⎯ расчет PUE выполняется на 100-процентную или 70-процентную нагрузку ЦОДа, то есть серверные залы в этом случае не могут считаться пустыми;

⎯ если необходим обогрев пустующих серверных залов, то он производится тепловыми пушками или электрокалориферами и потребляемая ими электрическая энергия уже учтена в расчете (70-процентная или 100-процентная нагрузка) .

В данной ситуации проектировщику следует определить долю из предлагаемых к включению в расчет 700 кВт тепловой энергии, необходимую на отопление административного блока ЦОДа, распределить потребление данной тепловой энергии в соответствии с годовым графиком потребления и, приняв поправочный коэффициент для учета тепловой энергии административных блоков ЦОДа, пересчитать PUE.

На начальной стадии обсуждения строительства ЦОДа общей мощностью 12 МВт заказчик настаивает на создании единого серверного помещения и общих инженерных систем без разделения на логические или физические блоки. ЦОД планируется заполнить сразу. Основная аргументация заказчика связана с уверенностью, что на большие объемы будут специальные скидки. Какой вариант построения ЦОДа будет оптимальным с учетом совокупной стоимости владения? Какова основная аргументация в случае, если подход заказчика не совпадает с оптимальным вариантом?

В погоне за потенциальными скидками заказчик явно упускает из виду преимущества последовательного ввода мощностей ЦОДа в эксплуатацию, с разбиением на логические и физические блоки. Доля капитальных затрат при схеме реализации всего ЦОДа ра­зом будет несопоставимо выше в сравнении с вариантом, когда мощности ЦОДа строятся и вводятся в эксплуатацию последовательно. Кроме того, при последовательной реализации часть введенных в эксплуатацию мощностей ЦОДа начнут генерировать операционную прибыль, что положительно скажется на совокупной стоимости владения дата-центром.

С технической точки зрения ввести в эксплуатацию блок ЦОДа мощностью 12 МВт без разбиения на логические и физические модули не представляется возможным в силу того, что на сегодняшний день типовая низковольтная аппаратура рассчитана на максимальный рабочий ток 6300 А; таким образом, единичный блок ЦОДа ограничен мощностью 4,158 МВт. Главный распределительный щит (ГРЩ) единичного блока ЦОДа не может быть выполнен более чем на 4,158 МВт, при этом автоматические выключатели на такую мощность являются мелкосерийными, с длительными сроками поставки и высокой стоимостью.

Оптимальным решением с точки зрения технико-экономических показателей является физический модуль ЦОДа, рассчитанный на мощность 2–2,5 МВт, при этом ГРЩ будет рассчитан на ток 3200–4000 А. Энергоснабжение такого модуля может быть обеспечено трансформаторами и установками ДГУ 1600–2000 кВА, имеющими широкое распространение.

Заказчик принимает решение модернизировать свое серверное помещение без остановки ЦОДа. В нем установлено четыре ряда серверных стоек, образующих два открытых холодных коридора и три горячих. Каждый ряд включает 10 стоек 42U размером 600 х 1100 мм. Ширина холодного коридора 1200 мм, горячего 800 мм. Размеры помещения 10 х 10 метров, высота от фальшпола до основного потолка 3,5 м, высота фальшпола 350 мм. Средняя потребляемая мощность серверной стойки до начала модернизации составляла 3 кВт. Максимальная мощность стойки не превышает 5 кВт. Оборудование охлаждается прецизионными кондиционерами с подачей воздуха под фальшпол. Резервирование по кондиционерам — N+1. Всего установлено четыре шкафных кондиционера, явная холодопроизводительность каждого из них — 50 кВт. ИБП и батареи находятся в отдельном помещении — три ИБП мощностью 100 кВА каждый работают в параллель.

Заказчик планирует поэтапную замену серверов, причем заменять серверные стойки он не собирается. Средняя мощность стойки после модернизации составит 8 кВт, при этом планируется установить ряд стоек с производительностью до 15 кВт на одну стойку. Суммарная потребляемая мощность ИТ-оборудования после модернизации составит не менее 480 кВт.

В ходе работ по модернизации остановка ЦОДа не допускается. У заказчика есть выделенная мощность 1 МВт. Какие возможны варианты по модернизации системы?

В прошлом году мы с коллегами успешно разработали и реализовали аналогичный проект модернизации действующего ЦОДа без останова его работы. Прежде всего хотелось бы отметить, что модернизация действующего ЦОДа — это всегда комплекс взаимосвязанных и взаимовлияющих задач по технологическому обследованию существующей инженерной инфраструктуры ЦОДа и анализу исполнительной документации, по разработке и выбору оптимальных технических решений с обязательной их увязкой как с результатами технологического обследования, так и по технологии и плану модернизации ЦОДа.

При технологическом обследовании существующей инженерной инфраструктуры особое внимание следует уделить тому, чтобы выявить возможные дефекты первичного монтажа, что при дальнейшем производстве работ поможет избежать неприятных сюрпризов.

Для ответа на вопрос о том, какие варианты по модернизации существующего ЦОДа возможны, помимо представленных данных необходима дополнительная информация: по текущей компоновке шкафов и кондиционеров в машинном зале; однолинейная электрическая схема; информация о наличии ДГУ; тип существующей системы кондиционирования и параметры свободных площадей для размещения систем холодоснабжения и электроснабжения; требования заказчика к уровню надежности инженерной инфраструктуры дата-центра. Без учета всех этих данных концепция модернизации ЦОДа не может быть реалистичной.

Если говорить в общем, то из наиболее возможных решений по модернизации системы кондиционирования, в зависимости от компоновки серверных шкафов и кондиционеров в ЦОДе (все кондиционеры установлены в ряд вдоль одной стены или установлены два кондиционера по двум стенам), видятся два варианта:

⎯ установка дополнительной системы кондиционирования (Liebert Hirros XDFN) над серверными шкафами и/или на потолке над холодным коридором;

⎯ изоляция холодных коридоров и установка рядных блоков кондиционеров.

С модернизацией системы электроснабжения ЦОДа все гораздо сложнее, так как вряд ли коммутационная аппаратура и кабельное хозяйство проектировались с учетом последующего роста электрических мощностей. В таком случае возможно единственное решение модернизировать ЦОД без останова — путем создания дополнительной независимой системы бесперебойного электроснабжения с установкой дополнительных блоков распределения электропитания в серверные шкафы.

Денис Хамитов,
Технический директор проектов компании HUAWEI

Работая более 15 лет в отрасли ЦОДов и не владея глубоко приемами проектирования инженерных систем, я вывел для себя ряд эмпирических закономерностей, позволяющих существенно упростить решение данной задачи на уровне руководителя.

Последовательность действий при подобной оценке следующая:

  • определение мощности, требуемой на одну стойку;
  • определение количества стоек, которое можно разместить в выбранных помещениях;
  • определение общей мощности, потребляемой ЦОДом, и номиналов оборудования отдельных инженерных подсистем;
  • определение площадей, требуемых для внешних блоков инженерных систем;
  • и наконец, определение бюджета строительства объекта.

Следует сразу оговорить некоторые детали подобной оценки, особенно ее финансовой составляющей. Стоимость разных моделей инженерного оборудования для дата-центров может существенно различаться в зависимости от бренда, страны производства, применяемых технологий и материалов. Различия могут быть также обусловлены комплектацией и дополнительными опциями. Поэтому точно определить стоимость строительства ЦОДа без разработки технического задания и хотя бы предварительной проработки проектных решений невозможно.

Но если заказчик захочет осуществлять мо­ниторинг каждого блока розеток в каждой стойке, не говоря уже о контроле каждой розетки или управлении ими, то стоимость системы мониторинга может возрасти многократно, поскольку стоимость блока розеток на 20–25 портов с возможностью контроля только общего энергопотребления начинается от 40–60 тыс. руб. А таких блоков розеток нужно 40 штук, общей стоимостью порядка 2 млн руб.

Определение мощности потребления одной серверной стойки

По большому счету этот параметр должен задать заказчик, но нередко он сам не представляет четко, что собирается строить. В таком случае рекомендуется исходить из следующих предпосылок: если заказчик не планирует массово размещать в ЦОДе облачные структуры, виртуальные машины или оборудование для научных исследований, «крутящее» сложные вычисления, а предполагает устанавливать клиентское оборудование или собственные информационные системы, то мощность стойки принимается равной 5 кВт. Целесообразность такого выбора подтверждена многочисленными статистическими данными, полученными от коммерческих дата-центров.

При необходимости увеличить мощность, потребляемую одной стойкой, количество стоек, которые можно разместить в конкретном помещении, и иные характеристики ЦОДа можно будет пересчитать с помощью несложного алгоритма.

Определение количества стоек для размещения в выбранных помещениях


Я неоднократно сталкивался с желанием заказчика создать ЦОД в самых необычных помещениях, например на этажах недостроенной телебашни круглого сечения, в эркерах, подвалах неправильной формы и т.д. Оценивать такие помещения с точки зрения количества устанавливаемых в них серверных стоек существенно сложнее, чем обычные прямоугольные, – здесь нужна немалая инженерная фантазия. Поэтому остановимся на традиционных площадках. Следует только иметь в виду, что вместимость любых помещений неправильной формы будет на 20–50% меньше, нежели обычных.

Рассмотрим планировку типового ЦОДа на 96 стоек размером 600×1000 мм (рис. 1). Помещения для ИБП и АКБ на данном этапе не учитываем.

Для простоты расчетов предположим, что ряды стоек будут располагаться параллельно короткой стороне помещения. Для больших помещений такой подход с высокой долей вероятности приводит к более удобной компоновке оборудования в машинном зале. Кроме того, он облегчает соблюдение ограничения на максимальное расстояние от серверного оборудования до внутренних блоков системы кондиционирования. Для небольших помещений данное ограничение несущественно, и погрешность в оценке количества стоек становится небольшой.


Следующий этап – расположение холодных и горячих коридоров. Расстановка стоек по коридорам ограничивается традиционными размерами выпускаемых плит фальшпола, габаритами стоек и эргономическими требованиями к ширине проходов между рядами. Как правило, размеры плит фальшпола составляют 600×600 мм, габариты (Ш×Г) серверных стоек – 600–800 × 800–1200 мм. Для стоек мощностью до 5–7 кВт ши­рину холодного коридора принимают равной ширине двух рядов вентиляционных плит, а ширину горячего коридора – 1000 мм для стоек глубиной также 1000 мм (рис. 2).

Безусловно, при выборе ширины коридоров между рядами стоек возможна масса вариаций. Можно уменьшить горячий коридор до 800 мм и даже до 600 мм, используя двойные распашные двери и забывая об удобстве обслуживания. Можно устанавливать стойки не по линии стыка двух рядов плит фальшпола. Но все эти варианты стоит рассматривать лишь в ходе детального проектирования, при нехватке пространства для размещения оборудования.

Расположение рядов стоек описывается следующим образом:

  • не менее 3,2 м для одного ряда стоек;
  • не менее 5,2 м для полноценного холодного коридора (т.е. холодный коридор, два ряда стоек и два горячих коридора);
  • каждый следующий холодный коридор (два ряда стоек, холодный коридор и горячий коридор) – плюс 4,2 м;
  • каждый следующий ряд стоек (и холодный коридор) – плюс 2,2 м.


На основании этих данных при первичной оценке вместимости помещения можно рассчитать количество N холодных коридоров (два ряда стоек на коридор), которые можно разместить в помещении заданной длины L, используя формулу:

N = (L – 5,2) / 4,2 + 1.

Например, в помещении длиной 19 м можно сформировать минимум (19 – 5,2) / 4,2 + 1 = 4 холодных коридора (восемь рядов стоек).

Теперь подсчитаем, сколько стоек можно разместить в каждом ряду. Мы приняли, что ширина стойки 600 мм, соответственно ширина каждого ряда будет составлять 0,6×К, где K – количество стоек в ряду. Кроме того, в торце каждого ряда могут быть установлены электрические распреде­лительные щиты глубиной 300–400 мм. Далее нужно предусмотреть коридор для прохода персонала и проноса оборудования шириной не менее 1000–1200 мм и разместить внутренний блок системы кондиционирования глубиной 800–900 мм.


В итоге приблизительно 2–2,4 м по короткой стороне помещения занимают коридор для прохода, кондиционер и электрощит, а остальное пространство можно использовать под установку серверных стоек (рис. 3).

Количество стоек в ряду можно определить по следующей формуле:

K = (S – 2,4) / 0,6,

где S – ширина помещения.

Например, при ширине помещения S = 9,6 м количество стоек в ряду составит (9,6 – 2,4) / 0,6 = 12.

Однако необходимо помнить, что последнюю стойку в ряду рекомендуется располагать не далее 10–12 м от блока кондиционера. Это ограничение обусловлено физическими характеристиками распределения воздуха в подфальшпольном пространстве. Данные цифры не являются константой и зависят от высоты фальшпола, наличия препятствий воздушному потоку, напора кондиционера, но в большинстве типовых случаев их можно брать за основу. При расстоянии между последней стойкой и кондиционером более 10–12 м от следует запастись местом под установку второго ряда кондиционеров (+ 2 м к ширине зала).


В итоге получаем, что в нашем гипотетическом ЦОДе размерами 19×9,6 м можно разместить 12×4×2 = 96 стоек габаритами 600×1000 мм, и этот расчет совпадает с изначальным планировочным решением.

Есть более простой способ оценки вместимости ЦОДа. Он основан на статистических данных, полученных из реализованных проектов (табл. 1), и хотя он менее точен, чем произведенный нами расчет, но его погрешность вполне допустима для приблизительной оценки.

Построенные дата-центры (примеры 1–3) подтверждают статистические данные табл. 1. Однако не следует полагаться на приведенные цифры безоглядно, поскольку геометрия машинного зала – не единственный фактор, определяющий емкость ЦОДа. Нужное место в дата-центре занимает еще целый ряд объектов:

  • пандусы и колонны;
  • ИБП и системы АГПТ;
  • помещения кроссовых;
  • ГРЩ ЦОДа;
  • хладоцентр.

В частности, по грубым прикидкам, площадь, необходимая для размещения ИБП и ГРЩ, составляет до 20% площади машинных залов.


Кроме того, на плотность установки оборудования могут повлиять такие факторы, как увеличение времени автономии ИБП и мощности одной стойки: повышение мощности с 5 до 10 кВт повлечет за собой увеличение площади машинных залов и технических помещений внутри здания на 40–60%.

Оценка общей мощности ЦОДа

Для начала проведем верхнеуровневую оценку общей максимальной мощности потребления ЦОДа исходя из количества стоек, рассчитанного на предыдущем этапе, и средней мощности серверной стойки. Для упрощения расчетов сделаем несколько «директорских» допущений. В частности, примем, что потери на ИБП составляют 8–10%, потребление системы кондиционирования – 35% потребления стоек и ИБП (для фреоновых систем) и 45% – для чиллерных систем. Потребление остальных инженерных систем – 5% потребления стоек и ИБП.

Общее максимальное потребление ЦОДа (Pобщ) рассчитывается по следующей формуле:

Pобщ = количество стоек × мощность стоек + потери на ИБП + потребление системы кондиционирования + потребление остальных систем.

Предположим, что у нас 30 стоек по 6 кВт. В этом случае:


потребление ИТ-оборудования = 30×6 = 180 кВт

потери на ИБП = 1800,08 = 14,4 кВт

общее потребление ИБП + стойки = 180 + 14,4 = 194,4 кВт

потребление фреоновой системы кондиционирования = 194,4×0,35 = 68,04 кВт

потребление остальных систем 194,4 × 0,05 = 9,72 кВт

общее потребление ЦОДа = 194,4 + 68,04 + 9,72 = 272 кВт.

Оценка мощности системы кондиционирования и ее габаритов

Общая мощность охлаждения системы кондиционирования (Pк) рассчитывается по формуле:

Pк = (потребление ИТ-оборудования + потери ИБП)×1,1, где 1,1 – это запас.


При этом следует учитывать, что мощность одного шкафного фреонового кондиционера составляет в среднем 10–90 кВт. Кондиционеры мощностью до 40–50 кВт традиционно выпускаются в одноконтурном исполнении, что означает наличие одного компрессора и соответственно одного внешнего блока. Кондиционеры мощностью более 40–50 кВт – это уже двухконтурные машины (т.е. два компрессора и два внешних блока).

Средние размеры внутренних блоков фреоновых кондиционеров приведены в табл. 2 (у разных производителей эти параметры могут незначительно различаться).

Размер внешнего блока кондиционера мощностью 40–50 кВт составляет порядка 0,8–1×2,0–2,5 м. С учетом зоны обслуживания минимальная площадь, необходимая для установки внешнего блока мощностью 40–50 кВт, – 4 кв. м (2,5×1,5).

Исходя из опыта реализованных проектов (см. примеры 4 и 5), можно принять, что для размещения внешних блоков фреоновых кондиционеров требуется 30–35% площади машинных залов ЦОДа.

Расчет мощности ИБП и ДГУ

При расчете требуемой мощности источников бесперебойного питания (ИБП) и дизель-генераторной установки (ДГУ) будем использовать все те же «директорские» допущения.

Модель ИБП в общем случае подбирается исходя из мощности, потребляемой серверным оборудованием, с учетом параметра cos(f), который в среднем равен 0,85–0,95. Параметр cos(f) варьируется в зависимости от марки и модели оборудования. С мощностью ДГУ ситуация несколько более сложная. Для успешного запуска ДГУ в случае, когда одной из нагрузок является ИБП, следует учитывать коэффициент согласования (множитель), который колеблется в диапазоне 1,2–2. Такое требование обусловлено нелинейностью нагрузки ИБП, которая может оказывать существенное сопротивление запуску дизеля. Современные ИБП, построенные на IGBT-тран­зисторах, сократили необходимый запас мощности при выборе ДГУ, снизив коэффициент согласования до 1,2–1,5. Однако у разных производителей он может различаться. Чтобы уменьшить риск выбора ДГУ недостаточной мощности, в предварительных расчетах я рекомендую принимать коэффициент согласования равным 1,4.

Расчет мощности ИБП проводится по формуле:

Рибп (кВА) = количество стоек×мощность стойки (кВт) / cos(f).

Значение cos(f) выбирается равным 0,9.

Мощность ДГУ рассчитывается по формуле:

Рдгу (кВА) = Рибп (кВА)×1,4 + потребление кондиционеров (кВт) / 0,7.

В данном случае 0,7 – это типичное значение cos(f) кондиционеров.

Площадь, необходимая для размещения ДГУ на прилежащей к ЦОДу территории, зависит от ее мощности (табл. 3).

От того, насколько квалифицированно и тщательно проработана концепция ЦОД, самым непосредственным образом зависит успех проекта и экономическая эффективность ЦОД в период его эксплуатации.


Рис. Планирование ЦОД

Грамотное проектирование и планирование строительства ЦОД — это основной способ снижения затрат на ЦОД. Следует, в первую очередь, выяснить реальную потребность владельца в ресурсах использования определить прогнозы развития ЦОД и, соответственно, этапность его масштабного расширения, а также отстроить четкую политику и структуру службы эксплуатации, которая позволит минимальными превентивными мерами обеспечить непрерывность работы и надежность ЦОД.

Строительство ЦОД: предварительные расчеты

Оценка потребностей бизнеса в информационных сервисах

Чтобы спроектировать инфраструктуру ЦОД, необходимо начать с аудита информационных предприятия, в процессе которого анализируются информационные потоки и структуры данных для построения логических схем взаимодействия приложений и бизнес-информации.

После аудита необходимо:

  • спроектировать базы данных
  • рассчитать объемы информации
  • выбрать программные платформы
  • подготовить необходимые приложения.
Оценка рисков простоев цод и разработка сервисного соглашения

Необходимо провести экспертизу и оценить риски, связанные с простоем или не доступностью информационных бизнес-сервисов.

На этой основе необходимо разработать сервисное соглашение, регламентирующее качество информационных сервисов, в котором задается:

  • необходимый уровень производительности сервисов
  • необходимый уровень доступности
  • регламенты профилактических работ
  • время хранения архивированных данных
  • необходимые условия резервирования данных и сервисов
  • адаптивность систем к возможным изменениям и параметры масштабируемости.

Разрабатывается политика информационной безопасности.


Рис. Оценка потребностей ЦОД в электропитании и охлаждении: последовательность действий

Когда речь идет о выборе подходящего оборудования для важно тщательно рассчитать ожидаемые нагрузки. Для этого необходимы экспертиза и технологическая экспертиза:

  • анализ потребностей в охлаждении
  • анализ потребностей в системах кондиционирования
  • анализ потребностей в резервном электропитании.

Оценка электропитания, необходимого для поддержки критических нагрузок и соответствующего охлаждения, является критически важной для планирования развития объекта в соответствии с ожиданиями Заказчика.

Расчет стоимости проекта создания ЦОД производятся с использованием ключевых критериев проектирования для двух основных областей проекта – Технологической инфраструктуры и сервисов (ИТ) и Вспомогательной инфраструктуры и сервисов (инженерия).


Рис. Ключевые критерии проектирования ЦОД

Термин «отказоустойчивость ЦОД» (fault tolerance) относится или компоненту, спроектированным так, что на случай выхода из строя или необходимости ремонта предусмотрены запасной компонент или процедура, которые немедленно начинают действовать, обеспечивая непрерывность предоставления сервисов. Отказоустойчивость может быть обеспечена с помощью программных, или аппаратных средств, или с помощью их комбинации.

определяет четыре уровня отказоустойчивости ЦОД: базовый (неотказоустойчивый), с резервными компонентами (ЗИП в виде отдельных сменных компонентов), постоянно поддерживаемый (ЗИП в виде заведомо исправных устройств и агрегатов, «холодный» резерв) и отказоустойчивый («горячее» резервирование). ЦОД первого уровня (Tier 1) не имеет резервируемых систем, а потому все плановые и незапланированные работы неминуемо оборачиваются простоями. В ЦОД четвертого уровня (Tier 4) непрерывное функционирование поддерживается автоматически. Разумеется, выбор требуемого уровня на этапе проектирования определяется не только его стоимостью (центр с полным резервированием обходится примерно в два с половиной раза дороже «простого» ЦОД), но и особенностью задач, поставленных заказчиком.

Существуют три группы рисков, которые потенциально могут служить источником несоответствия ЦОД бизнес— пользователей.

Три группы требований к размещению ЦОД
Требования для обеспечения необходимой мощности ЦОД

К таким требованиям относятся все количественные требования к помещению, на основании которых рассчитывается мощность ЦОД.

Обязательные требования

Легитимность сооружения. Прежде всего, следует позаботиться о легитимности сооружения, чтобы только что построенный ЦОД в спешном порядке и с большими затратами не пришлось переносить в другое место. Однако возможность перемещения центра стоит предусмотреть при разработке чрезвычайного плана восстановления после катастроф (Disaster Recovery Planning, DRP). Дополнительно надо изучить требования федеральных, республиканских и местных законов применительно к конкретному населенному пункту.

Расположение. ЦОД должен иметь удобные основные и резервные подъездные пути. Возле здания нужна парковка для доставки оборудования к месту его установки.

Высота помещения. В помещении, предназначенном для ЦОД, для организации фальшпотолков и фальшпола необходимо предусмотреть дополнительное пространство.

Гидроизоляция. Категорически исключено наличие водопроводных труб этажом выше. Если же над помещением проходят транзитные магистрали с водой (водопровод, отопление), то тогда стоит позаботиться о дополнительной гидроизоляции. Кроме того, помещение для ЦОД следует располагать выше уровня грунтовых вод.

Отсутствие излучения. Ни в самом помещении ЦОД, ни поблизости от него не должно быть источников электромагнитного и радиочастотного излучения — радиопередатчиков, рентгеновского оборудования и трансформаторов.

Сейсмоустойчивость. В зависимости от региона приходится учитывать требования сейсмоустойчивости.

Дополнительные требования

Требования к помещениям для серверов. Стойки с серверами должны быть расположены в комнате, у кото¬рой все стены — внутренние. Такие помещения называются «модули» и строятся из специализированных «сэндвич-панелей.

Распределение оборудования по нескольким модулям в здании ЦОД позволяет повысить его физическую защищенность, а следовательно, и надежность предоставляемого сервиса. Модульный подход способствует экономичному использованию ресурсов электроснабжения, кондиционирования, позволяет сократить вложения в дорогостоящие антистатические фальшполы, а также обеспечивает масштабируемость инфраструктуры ЦОД без значительных начальных вложений в инфраструктуру.

«Модули» оборудуются следующими системами:

  • безопасности (охранная сигнализация — сигнал «тревога», система контроля и управления доступом, досмотровая техника, теленаблюдение, системы защиты оборудования и данных)
  • противопожарной защиты (система раннего оповещения о пожаре, автоматическая пожарная сигнализация, газовое пожаротушение, дымоудаление)
  • (HVAC)
  • энергоснабжения

Регламентация доступа. Доступ в помещение должен быть ограничен и строго регламентирован. Для этого желательно предусмотреть два и более периметров охраны. Перемещения людей и любого оборудования необходимо не только контролировать, но и фиксировать в учетных системах или, как минимум, в специальных журналах.

Физическая защита систем энергоснабжения. Для энергоснабжения предпочтительнее подземные магистрали, нежели подвесные, чтобы свести к минимуму влияние неполадок в линиях освещения, перебоев в питании по вине упавших деревьев, дорожных аварий и проявлений вандализма.

Требования к кабельной канализации. В здании надо организовать не менее двух независимых вводов для магистральных линий связи (от разных колодцев кабельной канализации до помещения ЦОД). При этом требуется достаточная свободная емкость до ближних колодцев кабельной канализации. Трассы прокладки не должны пересекаться или проходить в непосредственной близости друг от друга.

Требования к вентиляции. Для систем вентиляции следует оставить определенный резерв, чтобы при необходимости подключить к ним помещения ЦОД. При размещении ЦОД на этажах выше первого надо предусмотреть вентиляционные шахты и возможность дополнительной нагрузки на них, а также раздельные вертикальные подводы для электричества и слаботочных/оптических кабелей, причем желательно иметь два независимых пути подвода.

Требования для доставки и установки оборудования. Мобильный заправщик должен иметь возможность беспрепятственного проезда к месту размещения установки. На всем пути от места разгрузки оборудования до помещения ЦОД проходы должны иметь требуемую высоту и ширину. Стоит помнить о том, что существует оборудование, не допускающее кантование при его транспортировке. Для облегчения работ нужен грузовой лифт требуемой грузоподъемности.

10 января 2019 г. | Категория: Проектирование ЦОД

Пол требует особого внимания при проектировании и возведении практически любого здания. Это утверждение еще более актуально в случае дата-центров, внутри которых могут размещаться оборудование и информация стоимостью в миллионы долларов. Чем следует руководствоваться при выборе напольных покрытий для центров обработки данных?

В течение многих лет фальшпол, являющийся основным элементом большинства серверных комнат и дата-центров, использовался для решения самых разных задач, включая обеспечение необходимого пространства для прохождения потоков охлажденного воздуха, а также для легкого подключения силовых и коммуникационных кабелей к IT-оборудованию внутри серверных стоек.

Однако в последние годы все четче прослеживает тенденция к росту популярности стандартных твердых полов без поднятых элементов, при использовании которых прокладка кабель-каналов и воздуховодов выполняется над серверными стойками.

При выборе напольного покрытия ЦОД рекомендуется учитывать следующие моменты:

• Плотность мощности. Сейчас в условиях высокой плотности мощности IT-оборудования в стойках пространства воздуховодов в фальшполе может не хватать для достаточного охлаждения. И даже при достаточности этого пространства для нагнетания охлажденного воздуха под серверы многие устаревшие системы охлаждения могут быть неэффективными и расточительными. Поэтому в случае высокой плотности мощности IT-оборудования лучше использовать подвесные кабели и сплошные полы.
• Интенсивность перестановок и переукомплектования стоек: В некоторых дата-центрах стоимость прокладки кабелей и воздуховодов над серверными стойками, а также соответствующей перенастройки инфраструктуры с учетом изменений может настолько превышать размер расходов на неэффективное охлаждение с использованием фальшпола, что фальшполы остаются оптимальным вариантом.

Аргументы в пользу фальшпола: он все еще актуален?

Фальшпол был разработан для решения определенных задач при создании самых первых центров обработки данных. Но по мере изменения IT-оборудования менялись и требования к напольному покрытию в ЦОД. Например:

• Распределение холодного воздуха для охлаждения IT оборудования. На раннем этапе оборудование было представлено устройствами самых разных форм и размеров. Сегодня аппаратное обеспечение является в значительной степени стандартизированным, поэтому гораздо проще спланировать, где будет находиться оборудование, и организовать прохождение потоков воздуха, необходимых для его охлаждения. Как следствие, необходимость в создании уникальных маршрутов из воздуховодов под фальшполом значительно уменьшается или устраняется.
• Направляющие, каналы или опоры для сетевых кабелей. В предыдущие десятилетия громоздкие многожильные медные кабели соединяли IT-шкафы. Чтобы избежать ухудшения сигнала, они должны были быть как можно короче. В современных дата-центрах используются оптоволоконные кабели или кабели Ethernet с высокой пропускной способностью. Они могут передавать данные на гораздо более существенные расстояния без потерь и затухания сигнала. Поэтому необходимость в получении доступа к кабель-каналам под фальшполом для оптимизации передачи данных на короткие расстояния при изменении расположения стоек в машзале практически исключена.
• Место для силовых кабелей. Когда отрасль находилась в зачаточном состоянии, IT-оборудование для центров обработки данных часто жестко монтировалось с подключением питания снизу. Съемные плиты фальшпола были необходимы для облегчения доступа к цепям электросети. Современные стоечные системы позволяют легко подключать электропитание через верхнюю часть стойки. Современные блоки PDU и кабель-каналы над стойками обеспечивают намного более легкий доступ к силовым кабелям и являются более удобными, чем магистрали под фальшполом.
• Медная заземляющая сетка для заземления оборудования. Первоначально, заземление в виде сетки между взаимосвязанным оборудованием было необходимо для его защиты. В настоящее время функционирование медных и оптоволоконных систем передачи данных не зависят от заземления между подключенными устройствами. Заземляющий провод обеспечивает безопасность в каждой цепи ответвления. Кроме того, современные рассеивающие электростатику твердые полы без поднятых элементов могут обеспечить дополнительную антистатическую защиту.

Когда следует отдавать предпочтение фальшполу?

Есть еще случаи, когда фальшполы могут быть предпочтительнее:

• Если для работы системы охлаждения требуется распределение охлажденной воды в машзале. Хотя многие из функциональных предпосылок, обуславливающих потребность в фальшполе, благополучно исчезли, некоторые новые конструкции охлаждения все еще требуют, чтобы распределение воды осуществлялось в машзале. В этом случае фальшпол все еще может быть практичным вариантом.
• В дата-центрах с низкой плотностью мощности, где определение местоположения рядов устройств может быть затруднено или невозможно. Например, в машзалах коммерческих дата-центров колокейшн-провайдеров с отдельными клиентскими зонами, отгороженными с помощью решеток.

Ни в том, ни в другом случае в большой глубине фальшпола потребности нет. Тем не менее, системы фальшполов могут быть чрезвычайно дорогими в установке по сравнению с твердыми полами без поднятых элементов. Поэтому проектировщики и строители центров обработки данных должны тщательно оценивать все варианты, используемые сегодня, а не делать свой выбор на основе одних лишь прошлых проектов.

Когда твердые полы без поднятых элементов предпочтительнее?

Конструкции с твердым полом все еще часто применяются в хранилищах данных и серверных комнатах. Примеры, где твердые полы сейчас предпочтительнее, включают следующее:

• Гипермасштабные дата-центры, число которых растет с огромной скоростью благодаря беспрецедентной потребности в хранилищах для огромных объемов данных.
• ЦОД с высокой плотностью мощности, которые могут использовать новые системы приточного воздуха и стратегии изоляции воздуховодов с помощью «горячих» коридоров.
• Малые дата-центры, операторам которых не хватает места, необходимого для строительства пандусов до уровня фальшпола.
• Помещения с низким запасом высоты, в которых пол не может быть поднят достаточно для размещения необходимой плотности мощности.

Благодаря новым технологиям и проектам, а также значительно более низкой стоимости монтажа и обслуживания, твердые полы без поднятых элементов появляются во все большем количестве центров обработки данных.

Дополнительная антистатическая защита в случае твердого пола без поднятых элементов

Полы являются источниками статического электричества в центрах обработки данных и других критически важных объектах отчасти из-за того, что люди просто ходят по комнате. Статика, создаваемая трением между подошвами обуви и поверхностью пола, накапливается на теле человека и снимается только тогда, когда человек касается чего-то, что позволяет переносить заряд в другое место.

Несмотря на усилия производителей оборудования по включению антистатической защиты в электронику, некоторые технологии интегральных микросхем остаются чрезвычайно уязвимыми перед электростатическим разрядом.

Поэтому, когда проектировщики центров обработки данных и руководители работ по их строительству исследуют типы напольных покрытий, они нередко отдают предпочтение системам бесшовных покрытий с их проверенной надежностью, долговечностью и исключительно простым обслуживанием.

Доступные сегодня варианты

Когда дело доходит до проектирования и строительства нового центра обработки данных, фальшпол — некогда столь распространенный — быстро становится исключением из правила. Да, он все еще требуется для определенного типа оборудования. Он также необходим для ремонта устаревших ЦОД.

Но фальшпол быстро вытесняется в критически важных современных серверных фермах твердым полом без поднятых элементов. Использование твердых полов может привести к экономии благодаря дополнительной защите от электростатических разрядов, предлагая отличное соотношение функционала к стоимости.

Чтобы оставить свой отзыв, вам необходимо авторизоваться или зарегистрироваться

Ремонт офисов, спортивных залов, общественных и технических помещений под ключ.
Читать далее

Мы продаем и монтируем качественные подвесные потолки из металла, дерева и минерального волокна. Читать далее

"К ЭНД Р КОНСТРАКШН" это специализированная компания, поставляющая и монтирующая фальшполы из сульфата-кальция, ДСП, металла и стекла. Читать далее

Стеклянные и деревянные межкомнатные перегородки для организации пространства офисных и торговых площадей. Читать далее


Нагрузки на фальшпол

Фальшпол - вид поднятого пола, используется в производственных помещениях, где требуется развод коммуникаций. Таким образом прячут различного рода кабели, трубопроводы систем кондиционирования и охлаждения воздуха. Также фальшпол позволяет выровнять пол без дополнительных нагрузок на перекрытия. Есть фальшполы двух видов: разборные, где снимается каждая отдельно закрепленная панель, и неразборные, где несколько съемных плит установлены в необходимых местах.

Конструкцию фальшпола образует несущий металлический каркас и сьемные панели. Каркас составляют опорные стойки (вертикальный элемент) и балки в виде бруса (горизонтальный элемент) со стрингерами или без. Съемные панели различаются по материалу: могут быть ДСП, алюминиевые, из сульфата кальция, металлические или стеклянные. Их стандартный размер 600х600 мм, специальные размеры изготавливаются по запросу. Поверх панелей можно уложить практически любое напольное покрытие: ковролин, линолеум, ламинат, паркет, натуральный и искусственный камень и другие. Средний срок службы фальшпола в европейских странах - около 30 лет.

Выбор плит фальшпола зависит от расчетной нагрузки. Это зависит от типа помещения, где будет смонтирован фальшпол, а значит от веса устанавливаемого оборудования и людей, которые будут работать в этой комнате. Нагрузка может быть точечная и распределенная. От этого также зависит материал, из которого будут изготовлены плиты фальшпола. Для повышения несущей способности панелей из ДСП или сульфата кальция снизу используют стальной лист. Таким образом укрепленная плита выдерживает распределенную нагрузку более 20 кН/м2, точечную - 2-4 кН/м2. Дополнительно накладывается антистатическое или электропроводное покрытие. Такой фальшпол подойдет для серверной или центра обработки данных.


Нагрузки также бывают статические и динамические. В первом случае это давление определенного веса на пол, например, шкафы в библиотеке, а во втором - этот вес постоянно перемещается, например, в аэропортах люди с багажом ходят из одного зала в другой. Все эти нюансы должны быть учтены при выборе материалов, а затем и протестированы для уверенности в хорошем результате. Обычно проводятся следующие испытания. Для определения максимально возможной статической нагрузки, которую сможет выдержать фальшпол, производится постепенное увеличение нагрузки на элемент, пока он не разрушится. Специальный датчик фиксирует максимальную цифру. Если она не устраивает, ведется поиск более прочного материала. Испытания степени динамической нагрузки проводят на поглощение жестких ударов. Стальной индентор сбрасывается внутри трубки на испытуемую панель с высоты (600 ± 10) мм трижды: на центр панели, центр одного края панели и любое другое слабое место элемента. Результат положительный, если нет трещин и разрушений. Обязательно проводить еще один тест на поглощение мягких ударов. В этом случае заполненный сухим песком холщовый мешок с плоским дном сбрасывают на испытуемую панель с высоты 1 м дважды: в центр панели и центр одного края панели. Панель не должна рухнуть или треснуть. Результат положительный при отсутствии трещин и разрушения.

Если в помещении с фальшполом подразумеваются повышенные нагрузки, необходимо принять меры по усилению конструкции. Для этого применяют стрингеры. Лучшими считаются стрингеры силового класса и из оцинкованной стали. Обычно установка заключается в закреплении их на верхней горизонтальной опоре стойки пола при помощи защелкивания, либо привинчивают специальным винтом для еще большей надежности. Если требуется установка фальшпола высотой 1500-2000 мм или на него действует очень высокая нагрузка различного технического оборудования, для упрочнения конструкции используется C-профиль. Его особенность состоит в том, что он монтируется на пятку опорной стойки сверху, а панели уже непосредственно на профили. С-профили чаще всего изготавливают из гальванизированной стали. Крепление их к верхней горизонтальной опоре стойки осуществляется специальными зажимами или болтами.


Особенное внимание нужно уделить к монтажу фальшпола в помещениях, где подразумеваются высокие нагрузки: банках, офисах, вычислительных центрах, серверных помещениях, помещений ЦОД, аэропортах и больницах. Когда какой либо дефект или поломка могут стать причиной людских жертв.

Если проанализировать вопрос в отношении того, какие стандарты должны соблюдаться, когда российский фальшпол проходит процесс производства и монтажа, то можно заметить, что в нашей стране не предоставляются какие-либо чёткие требования к качеству этой продукции. И, чтобы избежать недоразумений, которые могут возникнуть при сдаче выполненной работы, необходимо воспользоваться наработками ведущих европейских стран. Ассоциация свободной торговли определила стандарты фальшполов и необходимые эксплуатационные характеристики, которые определяют их необходимое качество во время приёмки. Наиболее важные критерии, которыми должен обладать данный продукт - это его прочность и стабильность, которые не приведут к его разрушению или деформации. Именно такими качествами обладает фальшпол K&R Design. Его монтаж производится с помощью зарубежного оборудования в любых технологических помещениях. При этом соблюдаются все необходимые стандарты фальшполов, утверждённые европейской комиссией. Основными показателями при монтаже являются безопасность и нагрузка, которую может выдержать эта конструкция. Укладывается фальшпол K&R Design строго по инструкции, не допуская каких-либо отклонений, на металлические опоры необходимого размера, что снижает риск получения травмы к нулю и соответствует необходимой нагрузке.

Читайте также: