Авторефераты по всем темам >>
Авторефераты по техническим специальностям
на правах рукописи Чернов Андрей Николаевич ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ РАБОТЫ КОНДИЦИОНЕРОВ, ОХЛАЖДАЮЩИХ ОБОРУДОВАНИЕ В ЦЕНТРАХ ОБРАБОТКИ ДАННЫХ
Специальность: 05.23.03 Теплоснабжение, вентиляция, кондиционирование воздуха, газоснабжение и освещение
АВТОРЕФЕРАТ
Диссертации на соискателя ученой степени кандидата технических наук
Тюмень 2012
Работа выполнена на кафедре теплотехнических и энергетических систем Магнитогорского государственного технического университета им. Г.И. Носова
Научный консультант:
МГТУ им. Г.И. Носова, заведующий кафедрой ТиЭС, кандидат технических наук, профессор Агапитов Евгений Борисович
Официальные оппоненты:
ННГАСУ заведующий кафедрой ОВиКВ, доктор технических наук, профессор Бодров Валерий Иосифович МГТУ им. Г.И. Носова, кафедра ТГСВ и ВВ, кандидат технических наук, доцент Старкова Лариса Геннадьевна
Ведущая организация: НПО Надежность
Защита диссертации состоится л25 мая 2012г. в 10:00 часов на заседании диссертационного совета Д212.272.01 при Тюменском государственном архитектурно-строительном университете по адресу: 625001, г. Тюмень, ул. Луначарского, 2. тел./факс (3452) 43-39-27.
С диссертацией можно ознакомиться в библиотеке Тюменского государственного архитектурно-строительного университета.
Автореферат разослан: л апреля 2012г.
Ученый секретарь Диссертационного совета Д212.272.01 к.т.н., доцент Пронозин Я.А.
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы На Центры обработки данных (ЦОД) предприятий обычно возлагается выполнение основных финансовых, корпоративных и управленческих функций. Промышленность имеет тенденцию к повышению требований в части скорости обработки данных, поэтому увеличение с каждым годом объемов обрабатываемой и передаваемой информации требует введения дополнительных мощностей вычислительных машин в ЦОД. Соответственно это приводит к повышению выделяемой удельной тепловой мощности ИТ-оборудования (информационного).
В ЦОД современных предприятий системы кондиционирования воздуха должны обеспечивать работу в режиме 24 часа в сутки, 7 дней в неделю на протяжении 365 дней в году.
Традиционные центры обработки данных тратят на охлаждение оборудования более 60% энергии. Затраты на электропитание и охлаждение ИТ-систем в мире в прошлом году достигли 30 млрд. долларов. В настоящее время на оплату электроэнергии уходит примерно 50% расходов на вычислительное оборудование, а в течение следующих четырех лет, согласно прогнозам, этот показатель увеличится до 70%.
К 2008 г. половина ЦОД, имеющих архитектуру охлаждения на луровне зала (подача охлаждающего воздуха по всему объему помещения), столкнулась с проблемой нехватки энергии и недостаточной эффективности систем охлаждения, отвечающих требованиям оборудования высокой плотности. Если в прошлом тепловая нагрузка вычислительного центра составляла 1-2 кВт/м2, то сегодня шкаф с шестью блейд-серверами выделяет 5-5,5 кВт/м2. Теплоотвод для оборудования с высокой плотностью компоновки требует новых решений в области способа охлаждения. Выделяемые тепловые потоки требуется своевременно и правильно отводить, для того чтобы обеспечить целостное охлаждение электронного оборудования и повысить энергетическую эффективность систем кондиционирования. По статистике до 60% охлаждающей мощности ЦОД теряется из-за неэффективного охлаждения оборудования. Это не только повышает расходы на электроэнергию, но и увеличивает капитальные затраты на приобретение дополнительных охлаждающих систем.
По оценкам аналитиков, в ближайшие годы будет наблюдаться перевооружение ИТ-компаний (компании специализирующиеся на информационных технологиях) на новое вычислительное оборудование с существенно возросшим удельным энергопотреблением, именно поэтому уже, сегодня 70% заказчиков считают своей главной задачей обеспечение оптимального энергопотребления и эффективного охлаждения.
Учитывая тенденции дальнейшего роста удельного энергопотребления по мере прогнозируемого совершенствования средств вычислительной техники, а также неэффективность работы систем кондиционирования, особенно при компоновке на луровне зала, проблема организации энергоэффективного охлаждения ИТоборудования в отраслевых ЦОД является весьма актуальной.
Целью работы является разработка научно-обоснованных энергосберегающих технических решений и методик расчетов систем охлаждения электронного оборудования в ЦОД. Повышение эффективности использования охлаждающих модулей.
Для достижения указанной цели были поставлены следующие основные задачи:
- исследование причин неравномерности температур потоков воздуха во входных зонах шкафов с ИТ-оборудованием (далее шкафов) в зависимости от расположения охлаждающих модулей. Выявление условий, при которых аэродинамика помещения оказывает существенное влияние на энергопотребление системы кондиционирования;
- исследование влияния расположения кондиционеров на потокораспределение в помещении и разработка оценочных критериев, характеризующих эффективность охлаждения;
- исследование полей скоростей и температур в активных зонах шкафов при изменении холодопроизводительности системы кондиционирования и расстояния между шкафами и блоком кондиционера;
- разработка научно-обоснованной методики построения энергоэффективной системы кондиционирования помещения ЦОД с высокими теплотехническими показателями.
Научная новизна 1. Впервые исследованы теплообменные процессы в помещении с ИТоборудованием при условии организации охлаждения на луровне зала и определена связь появления зон с заданными параметрами воздуха перед шкафами с ИТоборудованием с местоположением кондиционера.
2. Впервые предложен критерий, позволяющий количественно оценить загроможденность помещения ИТ-оборудованием в виде коэффициента сложности, который адаптирует стандартную методику расчета гидродинамики воздушных потоков к заданным условиям, что позволяет обеспечить эффективность охлаждения.
3. Создана экспериментальная гидродинамическая модель помещения с ИТ-оборудованием, на которой исследована связь местонахождения кондиционера с эффективностью охлаждения оборудования. Обнаружено, что существует контрольная точка, в которую нужно вводить поток холодного воздуха для обеспечения максимальной эффективности охлаждения. Предложена зависимость для нахождения координат этой точки.
4. Получена экспериментальная зависимость для определения координат установки кондиционера по контрольной точке и коэффициенту сложности размещения ИТ-оборудования, обеспечивающая наилучший охлаждающий эффект при данной мощности кондиционеров.
Практическая ценность работы заключается:
- в возможности использования полученных экспериментальных и теоретических результатов и разработанной методики проектирования расположения охлаждающих модулей для построения оптимальной архитектуры зала ЦОД;
- в разработанных технических решениях по построению энергосберегающей системы, обеспечивающей эффективное охлаждение ИТ-оборудования, которые внедрены в ЦОД ОАО ММК и могут быть использованы при проектировании аналогичных ЦОД на других промышленных предприятиях;
- в практическом использовании разработанной методики при выполнении студентами лабораторного практикума.
Достоверность и обоснованность Достоверность результатов исследований обоснована применением современных контрольно-измерительных приборов. Результаты экспериментов неоднократно проверялись на повторяемость и адекватность. Адекватность численной модели подтверждена сравнением с экспериментальными исследованиями. Все полученные материалы не противоречат известным физическим закономерностям и базируются на современных фундаментальных положениях и законах.
Апробация работы Основные результаты работы были представлены на:
Х конференции молодых специалистов ОАО ММК-2008, г. Магнитогорск;
Х У.М.Н.И.К.-2008, проходящей в рамках 66-й научно-технической конференции МГТУ, г. Магнитогорск;
Х 67-й научно-технической конференции МГТУ, г. Магнитогорск;
Х конференции молодых специалистов ОАО ММК-2009, г. Магнитогорск;
Х конференции молодых специалистов ОАО ММК-2010, г. Магнитогорск.
Х всероссийской научно-технической конференции Системы обеспечения тепловых режимов преобразователей энергии и системы транспортировки теплоты, г. Махачкала 2009г.
Х международной научно-практической конференции Энергосбережение в теплоэлектроэнергетике и теплоэлектротехнологиях, г. Омск, 2010г.
Х международной научно-технической конференции студентов, магистров, аспирантов Энергоэффективность и энергобезопасность производственных процессов, г. Тольятти, 2009г.
Х 12-ой всероссийской научно-практической конференция студентов, аспирантов, специалистов. МГТУ, г. Магнитогорск, 2011г.
Х семинаре Микроклимат ИТ-шкафов и корпусов, Москва, 2011г.
Публикации Основные научные положения и выводы изложены в 10 опубликованных работах, в том числе в двух изданиях рекомендованных ВАК.
Структура и объем работы Диссертация объемом 123 страницы состоит из введения, четырех глав, заключения, списка литературы из 110 источников.
СОДЕРЖАНИЕ РАБОТЫ
Во введении отмечена актуальность работы, сформулированы цель и задачи исследования, дана общая характеристика работы.
В первой главе проведен обзор теории струйных потоков, анализ теоретических и экспериментальных работ, рассматривающих методы и способы охлаждения ИТ-оборудования в центрах обработки данных; рассмотрены тенденции развития систем кондиционирования для технологических процессов, вопросы оценки эффективности систем кондиционирования по коэффициенту полезного действия ЦОД.
Проблему эффективного охлаждения ИТ-оборудования с минимальными затратами на энергетические ресурсы в условиях архитектуры кондиционирования воздуха на луровне зала необходимо рассматривать с точки зрения оптимального размещения блоков систем кондиционирования, поскольку в действующих ЦОД нет возможности изменять местоположение ИТ-оборудования. Анализ литературных источников показал, что эта проблема до сих пор не получила должной научной оценки.
Разработка и совершенствование систем кондиционирования и охлаждения, обусловленная фундаментальным вкладом в теорию и практику ведущих специалистов отрасли, таких как Батурин В.В., Клячко Л.С., Карпис Е.Е., Богословский В.Н., Бахарев В.А., Эльтерман В.М., Участкин Г.В., Стефанов Е.В., Баркалов Б.В., Максимов Г.А., Титов В.П., Шепелев И.А., Гримитлин М.И., и базируется, главным образом, на изучении процессов тепломассопереноса и аэродинамики струйных течений в ограниченном объеме. Развитие системного подхода в решении проблем оптимизации и эффективности теплоснабжения и кондиционирования рассмотрено в трудах Мелентьева Л.А., Рымкевич А.А., Креслинь А.Я., Богословского В.Н., Копонович Ю.В., Пекер Я.Д., Поз М.Я. и др. При этом - при проектировании и реконструкции таких объектов, как ЦОД - не удается пользоваться их теоретическими выкладками, что приводит на практике к температурной асимметрии по помещению.
Наиболее полно проблемы охлаждения электронного оборудования рассмотрены в работах Ловцова В.В. и Хомутецкой Ю.Н., однако и они описывают теплообмен в помещении без учета сложности расположения оборудования.
Вопросы учета характера движения воздуха при решении практических задач вентиляции и кондиционирования освещены в работах Максимова Г.А., где рассмотрены закономерности движения воздуха у вытяжных отверстий и их влияние на общую картину распределения потоков в помещении. Однако эти зависимости имеют ограниченное применение при расчете способов подачи охлаждающего воздуха в помещениях ЦОД. При решении задачи энергоэффективного кондиционирования приходится учитывать факторы, формирующие тепловой режим в помещении, такие как: стесненность, вызванная взаимодействием различных струй, наличием ограждений, архитектурой расположения оборудования; неизотермичность обстановки в помещении. В результате взаимовлияния всех перечисленных факторов в помещении возникает циркуляция воздуха, включающая струйную область и область обратных потоков.
Для поддержания требуемого температурного режима в ЦОД при недостаточном холодообеспечении вводятся в эксплуатацию дополнительные кондиционеры и затрачивается дополнительная электроэнергия. Проблема организации сбалансированного размещения систем кондиционирования с определенной холодопроизводительностью имеет место, поскольку в небольших и средних ЦОД промышленных предприятий шкафы с ИТ-оборудованием располагают без какого-либо плана и учета средств управления циркуляцией воздуха.
Во второй главе приведены аналитические исследования традиционных методик оценки источников тепловыделений ЦОД, анализ неравномерности распределения охлаждающих потоков в объеме помещения, исследована связь параметров охлажденного воздуха в помещении с холодопроизводительностью системы кондиционирования. Приводятся описание теплообменных процессов в помещение ЦОД, результаты исследования действующего (базового) ЦОД ОАО Магнитогорский металлургический комбинат и численное моделирование его теплового режима при кондиционировании на луровне зала.
Архитектура охлаждения на луровне зала является наиболее простым способом охлаждения с точки зрения конструктивных особенностей инфраструктуры, и в то же время наиболее проблемной с точки зрения тепломассопереноса. Этот подход предполагает наличие одной или нескольких параллельно работающих систем кондиционирования воздуха, которые не только обеспечивают охлаждение оборудования, но и выступают в качестве большого смесителя, который перемешивает воздух в зале, чтобы придать ему единую среднюю температуру и не допустить возникновения локальных зон перегрева. В таких условиях струи в основном истекают из плоских и прямоугольных отверстий.
Для плоских струй Шепелев А.И. предлагает определить параметры воздушного потока в любой точки струи по следующим зависимостям.
- скорость движения воздуха в любой точке плоской струи:
1 y - 2 cx u = mu0( 2В / x)e ; (1) - избыточная температура воздуха в произвольной точке плоской струи:
y - 2 cx t = nt0 ( 2В / x )e, (2) где, m = /( c) ; u0 - средняя скорость истеn = (1+ ) /(2 c ) ( /) чения воздуха, определяемая как частное от деления секундного объема истекающего воздуха L0 на площадь приточного отверстия F0; t0 - средняя избыточная температура воздуха в начале истечения, t0 = T0 - T; 2В- ширина отверстия, м; x- расстояние от начала истечения до произвольного поперечного сечения струи, м; y - расстояние от произвольной точки пространства до плоскости симметрии струи, м;
z - расстояние от произвольной точки пространства до плоскости симметрии струи по оси z, м; c - экспериментальная постоянная, вероятное значение которой равно 0,082; - экспериментальная постоянная, вероятное значение которого равно 0,8; - коэффициент, учитывающий неравномерность распределения скорости движения воздуха по площади отверстия, в случае равномерного скорости истечения по площади отверстия, равно 1; - поправочный множитель, учитывающий различие в плотности или температуры истекающего и окружающего воздуха, = (T/T0); T - температура воздуха вне струи; T0 - средняя абсолютная температура воздуха в начале истечения; erf - эрфункция.
Фактическая температура воздуха в произвольной точке плоской струи определяется:
tФ = t + T. (3) Избыточная температура воздуха в произвольной точке прямоугольной струи:
1 + y + A 1 + y - A 1 + z + B 1 + z - B 0,25u t 0 erf 2 cx - erf 2 cx 2 cx - erf 2 cx erf . (4) t = u Приведенные зависимости имеют ограниченное применение для решения задач обеспечения температурного режима в активных зонах, так как каждое помещение ЦОД отличается своими габаритами, предельным насыщением автоматизированной коммутационной аппаратурой, серверами, расположенными в вертикальных шкафах, при произвольном распределении мощности теплоисточников и их многорядно-секционной компоновке.
Для расчета стесненных струй авторы Пеклов А.А. и Степанова Т.А. предлагают для определения экстремальных скоростей и избыточных температур следующие зависимости:
на основном участке всех видов струй:
; (5) ; (6) vX = v0kC kЖ.С tX = t0kCТ kЖ.С на основном участке компактных, веерных струй:
mv0 Fnt0 FkB (8) ; (7) ;
vX = kCkBkH tX = x x kCkH и в частности на основном участке плоских струй:
mv0 b0 nt0 bkB (10), vX = kC kBkH ; (9) tX = kCkH x x где m, n - коэффициенты затухания скорости и избыточной температуры; b0, F0 - расчетные площади, м2, и размер, м, воздухораспределителей; v0 - скорость воздуха в выпускном отверстии воздухораспределителя, м/с; t0 - разность между температурой воздуха при выходе из воздухораспределителя и температурой в обслуживаемой зоне, град; x - полная длина струи, м; kc - коэффициент стеснения струи; kB - коэффициент взаимодействия струи с плоскостью; kH - коэффициент неизотермичности струи; kЖ.С - коэффициент живого сечения воздухораспределителя.
По предложенным методикам произведен расчет избыточной и фактической температуры воздуха в различных точках помещения ЦОД ОАО ММК. По зависимости (4), (3) рассчитана фактическая температура в трех точках по длине струи воздуха прецизионного кондиционера Liebert Hiross холодопроизводительностью 23 кВт: x1=1,6, x2=1, x3=0,5, y=0,2, z=0,1; размеры приточного отверстия:
А=0,3м, В=0,3м.
По методике Пеклова А.А. (8) рассчитана избыточная и фактическая температура на основном участке струи в тех же точках. Определена температура по результатам реальных замеров и численного моделирования.
На рисунке 1 представлены результаты расчетов определения температуры воздуха в точках струи по различным методикам, численного моделирования и реальных замеров.
Рисунок 1. Результаты расчетов определения температуры воздуха в точках плоскости поперечного сечения струи по различным методикам, реальных замеров и численного моделирования гидродинамики.
Анализ рисунка 1 показывает, что существует расхождение в расчетах определения температуры воздуха в точках струи по различным методикам и численного моделирования.
По предложенным классическим методикам, возможно производить расчет параметров воздуха только на начальном и основном участках струи. В современных условиях архитектур расположения ИТ-оборудования и систем кондиционирования в помещениях ЦОД скорости движения воздушного потока очень малы и находятся за пределами точности приборов. Параметры воздушного потока, проходящего вдоль шкафов с ИТ-оборудованием, определить по стандартным методикам не представляется возможным.
Поэтому, исследование эффективности работы системы кондиционирования действующего ЦОД ОАО ММК было выполнено с помощью численного моделирования (рисунок 2). Для этого были рассмотрены теплообменные процессы в помещениях ЦОД.
На тепловую обстановку в помещении ЦОД влияет ряд факторов: температура, подвижность воздуха, наличие струйных течений, различные параметры воздуха в плане и по высоте помещения, теплопередача, а также лучистые потоки тепла, зависящие от температуры, размеров, расположения и радиационных свойств поверхностей, обращенных в помещении.
Мощность, рассеиваемая элементами ИТ-оборудования:
Q = S(tэл - tc ), (11) где Q - рассеиваемая элементом электрическая мощность, Вт; - коэффициент теплоотдачи, Вт/м2К; S - площадь поверхности элемента, м2; tэл - температура элемента С; tс - температура окружающей среды 0С.
окальное значение коэффициента конвективного теплообмена по направлению движения струи описываться по критериальному уравнению:
Nux Nux = 0,104Rex 0,8 (a/x)0,4 ; (12) к =, (13) x где Nux, Rex - соответствующие критерии, определенные для характерного размера x; - коэффициент теплопроводности; a - ширина приточного отверстия.
Обтекание поверхностей воздухом в помещение ЦОД сопровождается конвективным теплообменном, выражающимся законом Ньютона:
Nu Q = F(tп - tс ) ; (14) =, (15) l где tп - температура поверхности; F - площадь поверхности.
В помещениях ЦОД тепловыми источниками служат нагретые вертикальные поверхности шкафов с ИТ-оборудованием. Температура воздуха внутри шкафа с ИТ-оборудованием достигает +50 0С. Тепловой поток от воздуха к стенке шкафа определяется уравнением:
(t1ср - t1) = Q /(1F1), (16) где t1ср - температура воздуха внутри шкафа; t1 - температура внутренней поверхности шкафа; Q - тепловой поток; 1 - коэффициент теплоотдачи на внутренней поверхности шкафа.
Затем от стенки к менее нагретой среде:
(t2 - t2ср ) = Q /(2F2), (17) где t2ср - температура воздуха снаружи шкафа; t2 - температура наружной поверхности шкафа; 2 - коэффициент теплоотдачи на наружной поверхности шкафа;
Уравнение теплового потока проходящего через плоскую стенку шкафа имеет вид:
Q = (t1ср - t2ср )FК ; (18) К = (1/1 + S / +1/2 )-1, (19) где K - коэффициент теплопередачи; S- толщина стенки шкафа.
Конвективная теплопроизводительность источника описывается выражением:
, (20) Q0 = (2с2 ) /(1+ )сP ztz zгде с, - экспериментальные постоянные (с = 0,082, = 0,8); - плотность воздуха вне струи, кг/м3; z - скорость нагретого воздуха на оси конвективного потока, м/с;
tz - абсолютная температура на оси конвективного потока, 0С; z - высота конвективного потока, м.
В общем обмене тепла в помещении ЦОД наряду с конвекцией существенную роль играет излучение. В процессе работы ИТ-оборудования в помещение выбрасывается нагретый воздух, в результате чего происходит теплообмен излучением между газом (воздухом) и окружающими его стенками. Плотность потока результирующего излучения описывается зависимостью:
4 C0 г Т Т г с, (21) Q = - Fc -1 - - 100 100 c с где C0 - коэффициент излучения а.ч.т.; - степень черноты; Tг - температура газа; Tс- температура стенки; Fс - площадь поверхности стенки.
Баланс лучистого теплообмена Лп произвольной поверхности в помещение ЦОД со всеми поверхностями выражается равенством:
п = Епогл = (Еэф - Епад )Fп, (22) где Епогл - поглощенное излучение поверхностью; Еэф - общий поток лучистого тепла, покидающий поверхность (эффективное излучение); Епад - лучистый поток, приходящий на поверхность; Fп - площадь поверхности.
Уравнение теплового баланса воздуха в помещение ЦОД имеет вид:
, (23) ( - tB )Fi QВ = Ki i где к - коэффициент конвективного теплообмена; - температура поверхности; tВ - температура окружающего воздуха; F - площадь поверхности; QВ - количество конвективного тепла, которое непосредственно передается воздуху помещения или забирается из него.
Параметры и характеристики исследуемого объекта:
- архитектура охлаждения на луровне зала.
- электрическая мощность ИТ-оборудования: 25 кВА, тепловыделение 20 кВт.
ИТ-оборудование, размещенное в данном ЦОД отвечает за работу электронной почты предприятия, обеспечивает доступ в корпоративную информационную систему ОАО ММК, ведет учет отгрузки готовой продукции.
Система охлаждения состоит из следующих кондиционеров: системы кондиционирования типа Split (настенного варианта) Daikin холодопроизводительностью 5 кВт; системы кондиционирования напольного типа General холодопроизводительностью 12 кВт; система прецизионного кондиционирования Liebert Hiross холодопроизводительностью 23 кВт.
N1 = 2 кВА N2 = 3 кВА N3 = 5,5 кВА N4 = 5 кВА N5 = 4,5 кВА N6 = 5 кВА Рисунок 2. Помещение действующего ЦОД ОАО ММК с установленным ИТ-оборудованием и системами кондиционирования.
В условиях установившегося температурного режима производились замеры скорости и температуры воздуха на выходе из систем кондиционирования и ИТоборудования. Скорость воздуха измерялась с помощью термоанемометра AR-1816.
Температура воздуха измерялась термопарой ТХА-11-31 (ТУ 4211-530-1711316898) с помощью термоэлектрического преобразователя ТПР-2085 (класс точности по ГОСТ 6616-94 - 2). Термоанемометр AR-1816 был проверен с погрешностью (0,01+5%) м/с при температуре воздуха от 15 до 60 0С.
Эффективность охлаждения воздуха помещения оценивалась при помощи трехмерного моделирования движения воздушных потоков с использованием программного комплекса FlowVision, позволяющего выполнять численное моделирование стационарных и нестационарных течений жидкости и газа.
Введенная в FlowVision трехмерная модель воздушного потока в помещении обрабатывалась с учетом граничных условий, и на выходе программы формировалось поле изотерм и поле скоростей воздуха.
Математическая модель движения жидкости рассматривалась в приближении несжимаемой жидкости, включающей закон сохранения массы, уравнение Навье-Стокса, k--модель турбулентности (рисунок 3).
Уравнение для массовой плотности турбулентной энергии k имеет вид:
(k) t ; (24) + (Vk) = + + tG - t k k уравнение для скорости диссипации турбулентной энергии :
t ( ) ; (25) + (V ) = + + C1 tG - C2 f1 t k k k, (26) t = С где - плотность, кг/м3; k - турбулентная энергия, м2/с2; v - скорость, м/с; t - турбулентная динамическая вязкость, кг/мс; - молекулярная динамическая вязкость, кг/мс; - скорость диссипации турбулентной энергии, м2/с3; G - объемный расход, м3/с; C1, C2, , k, C - постоянные коэффициенты.
Тепловые условия - граничные условия третьего рода:
t , (27) = - (tп - tс ) n П t где Ч градиент температуры у поверхности и по нормали к ней;
n П tп - температура поверхности; tс - температура окружающей среды.
В условии (27) заданы коэффициент теплоотдачи = 14,8 Вт/м2К (расчет по формуле (13)) и температура окружающей тело среды tс.
Математическая модель движения кондиционируемого воздуха рассматривалась как динамика вход-кондиционер-выхода и вход-ИТ оборудование-выход с определенными параметрами на каждом этапе.
Кондиционер выход: T = 15 0С, v = 3,5 м/с (данные замеров).
ИТ-оборудование выход: T = 36 0С, v = 0,5 м/с.
При построении расчетной модели на границах расчетной области w были использованы следующие граничные условия:
значение на стенке (температура) кондиционер-выход задано фиксированное значение Tw:
; (28) Т = Т w w на границе области задана нормальная компонента вектора скорости Vnw:
(29) V = Vnw ;
w если Vnw 0, то граничное условие трактуется как вход;
если Vnw < 0, то граничное условие трактуется как выход.
а б Рисунок 3. Результаты численного моделирования движения воздушных потоков в помещении ЦОД.
а - уровень 0,5 метра;
б - уровень 1,5 метра.
Рассматривались зоны с высоким энергетическим потенциалом в области воздухозаборников электронного оборудования. Для этого было введено понятие лактивная зона, под которым понималась плоскость на расстоянии 100 мм от лицевой стороны шкафа, имеющая размеры: hа/з=hшкафа, bа/з=bшкафа, где hа/з - высота активной зоны; hшкафа - высота шкафа; bа/з - ширина активной зоны; bшкафа - ширина шкафа.
Количественная оценка неравномерности распределения температуры воздуха в активных зонах проводилась с помощью коэффициента неравномерности - Кн, который определялся по значениям температуры в центрах и узлах расчетной сетки в активных зонах.
Коэффициент неравномерности имел вид:
КН = N/n, (30) где N - общее количество температурных точек в активных зонах; n - количество точек, значение которых входит в температурный диапазон, указанный в технических требованиях для ЦОД (202 0С).
Температурная неравномерность активных зон в графическом виде представлена на рисунке 4. Значения температуры фиксировались в узлах расчетной сетки активных зон. В расчетной модели была принята 651 точка.
30.28.26.24.22.20.18.16.Номер точки Рисунок 4.Температурная неравномерность в активной зоне.
В рассматриваемом случае коэффициент неравномерности равен:
.
КН = N/n = 652/369 = 1,Таким образом, существующая система кондиционирования воздуха обеспечивает требуемый температурный режим в активной зоне лишь на 56%.
Ассиметричное и несбалансированное расположение блоков систем кондиционирования влияет на вероятность образования активных зон с проектным температурным градиентом. Исследования изменения температуры воздуха в активных зонах на трех объектах ОАО ММК, имеющих системы кондиционирования различной мощности - от 6 до 18 кВт и расположенные на различном расстоянии до активной зоны подтвердили влияние местоположения кондиционеров на эффективность охлаждения. Температурные датчики располагались в пяти активных зонах (зонах воздухозабора). Замеры температуры в активных зонах ЦОД осуществлялись каждые 5 минут в течение 24 часов.
По полученным данным была определена вероятность появления проектной температуры (T = от 18 до 22 0С) в активных зонах в зависимости от мощности системы кондиционирования и расстояния от точки замера до выхода охлаждающего потока из кондиционера (рисунок 5).
0,0,Q=6 кВт 0,Q=10 кВт 0,Q=18 кВт 0,0,0,0,1,5 3,7 4 4,2 4,Расстояние, м Рисунок 5. Зависимость вероятности появления проектной температуры (T = от 18 до 22 0С) в активной зоне от мощности систем кондиционирования и расстояния до выхода охлаждающего потока.
Вероятность наличия проектной температуры в активной зоне определялась по зависимости: Ра/з = m/n, (31) Температура, С 112233445566Вероятность Р а/з где m - число благоприятствующих событий; n - число всех возможных исходов испытания, равное 289.
По результатам исследования были построены зависимости изменения плотности вероятности Р в характерных точках активных зон (рисунок 6).
Рисунок 6. График плотности вероятности появления проектных значений температуры в активных зонах.
t - температура (значение случайной величины);
- математическое ожидание (среднее значение температуры), равное 21;
- среднеквадратическое отклонение, равное 1=1,84, 2=1,71, 3=1,9.
Вероятность того, что в любой момент времени температура воздуха в активных зонах при существующей компоновке оборудования будет равна 21 0С, составляет от 0,2 до 0,23.
Влияние расстояния от блока подачи охлаждающего воздуха до шкафа на температурный режим в активной зоне подтверждается тепловизионным анализом, рисунок 7.
L=2,8 м L=4,1 м а 4 12 20 28 36 44 52 60 68 76 84 92 1Температурные точки по высоте активной зоны в Рисунок 7. Влияние расстояния от блока подачи охлаждающего воздуха до шкафов с ИТ-оборудованием на температурный режим.
а - расстояние L=2,8 м;
б - расстояние L=4,1 м;
б в - изменение температуры воздуха по высоте активной зоны.
Для исследования асимметрии температур потоков воздуха в помещении и закономерностей связи размещения кондиционеров с температурной неравномерноТемпература в активной зоне С стью в активных зонах было предложено воспользоваться методом физического моделирования.
В третьей главе приводится описание экспериментальной установки по изучению влияния месторасположения кондиционера на температурные неравномерности в активных зонах, методики проведения эксперимента и полученных результатов.
Для проведения исследований была создана экспериментальная установка, моделирующая процесс охлаждения ИТ-оборудования в центрах обработки данных.
В состав установки входили блоки, моделирующие шкафы с ИТ-оборудованием, блок подачи охлаждающего воздуха с возможностью изменения местоположения, аппаратура для измерения и регистрации температуры воздуха. На рисунке 8 представлена схема экспериментальной установки. Установка была создана на основе классической теории моделирования. Соблюдались геометрическое и гидродинамическое подобие. Были определены основные пять критериев подобия:
число Рейнольдса (Re=50000); число Прандтля (Pr=0,703); число Архимеда (Ar=0,14); геометрические критерии подобия (kC=0,03 - коэффициент стеснения струи, KV=0,007 - коэффициент отношения объема шкафа с ИТ-оборудованием к объему помещения).
В измерительную базу установки входили: система измерения координат подвижных блоков, анемометр AR-1816, термометры сопротивления класса точности 0,5.
Рисунок 8. Схема и пространственная компоновка оборудования в экспериментальной установке.
В качестве устройства подачи охлаждающего воздуха использовался моноблочный кондиционер оконного типа. В качестве модельных шкафов с ИТоборудованием использовались блоки с перфорированной стенкой и встроенными компьютерными вентиляторами. Источники тепловыделения моделировались лампами накаливания, мощностью 21 Вт. Общие технические характеристики установки: электрическая мощность активного оборудования - 225,6 ВА, тепловыделение - 200 Вт, холодопроизводительность - 220-180 Вт.
Измерения температуры воздушного потока в активных зонах проводились после изменения координат расположения блока подачи охлаждающего воздуха при заданном расположении шкафов (активных зон) (рисунок 9). Площадь пола модельного помещения ЦОД была разделена на условные единицы. Одна условная единица была равна 1 дм. В таблице 1 приведены изменяемые координаты ввода охлаждающего потока. За координаты активных зон шкафов принимались координаты проекции центров активных зон на плоскость пола.
Таблица 1 - Изменяемые координаты точек ввода охлаждающего потока.
Координаты по Координаты по № оси X оси Y 1 0 2 0 3 2 4 4 5 6 6 8 7 8 8 6 9 4 10 2 Рисунок 9. Варианты расположения зон подачи охлаждающего потока.
Каждому шкафу была присвоен порядковый номер от 1 до 10. Для обобщения результатов была оценена связь факторов и откликов эксперимента.
Факторы эксперимента:
- координаты расположения блока кондиционера, (x;y);
- координаты активных зон (расположение шкафа с ИТ-оборудованием) (x;y).
Отклики эксперимента:
- температура в активных зонах (в центральной точке);
- температура в контрольной точке центральной области помещения.
Температура в активных зонах и центре помещения фиксировалась одиннадцатью цифровыми термометрами, десять из которых были подсоединены к шкафам.
Поскольку рассматривался процесс охлаждения на луровне зала, то контролировался температурный режим в контрольной точке центральной области помещения ЦОД. Для этого было предложено определить координаты контрольной точки по значениям координат активных зон шкафов с ИТ-оборудованием:
, (32) CК /Т = (X ;Y ) n где - среднее значение координат центров активных зон по оси х;
Х = X n i i=n - среднее значение координат центров активных зон по оси y.
Y = n Yi i=При заданном расположении шкафов рассматривались десять вариантов расположения блока подачи воздуха (рисунок 9). Для поиска зависимости, между координатами блока подачи охлаждающего потока и температурой в центрах активных зонах определяли величину:
(33) d = (x2 - x1)2 + ( y2 - y1)2, где x1, y1 - координаты положения контрольной точки; x2, y2 - координаты расположения блока подачи охлаждающего воздуха.
Нестандартное и ассиметричное размещение шкафов с ИТ-оборудованием и блока подачи воздуха приводит к неравномерности температуры воздуха в активных зонах. Для оценки неравномерности было предложено определять значения среднеквадратического отклонения температуры по активным зонам при заданном расположении блока:
n, (34) = -Tср )2 / n (Ti i=где Ti - температура воздуха в активной зоне i-го шкафа, 0С;
Tср - среднее значение температуры, 0С;
n - объем выборки.
Таблица 2 - Результаты обработки данных по влиянию координат блока подачи охлаждающего воздуха на температурную асимметрию в активных зонах.
Фактор Отклик Результаты обработки данных Температура в СреднеквадратиКоординаты актив- Температура в № Расположение блока центре ческое Расстояние, ных зон (x;y) активных кондиционера (x;y) помещения, отклонение, d зонах, 0С С X Y 6.5 4.4 18.6.5 1.2 19.5.3 4.4 18.2.8 4.4 19.1.2 4.9 20.1 0;4 18.8 1.25 3.1.2 3.9 21.1.2 2.9 20.1.2 1 21.3.2 1.4 20.6.5 2.2 19.5.8 4.4 20.6.5 2 17.4.8 4.4 19.3.8 4.4 16.2.8 4.4 16.2 2;6 17.4 1.44 3.1.3 4.3 19.1.3 3.3 20.1.6 1.4 18.3.3 1.4 18.6.5 3 20.Анализ полученных результатов показал, что при каждой конфигурации расположения шкафов с ИТ-оборудованием существует положение блока подачи охлаждающего воздуха, обеспечивающее минимальный разброс значений температуры воздуха в активных зонах от проектных.
В четвертой главе приведено описание разработанной методики размещения охлаждающих модулей в центрах обработки данных для энергоэффективного обеспечения заданных температурных параметров воздуха в активных зонах, созданной на основе результатов физического моделирования; результаты проверки на адекватность разработанной методики в промышленных условиях.
Компоновка шкафов в помещении оценивалась с помощью коэффициента сложности, за который принималось значение корня квадратного из суммы квадратов средних квадратических отклонений величин координат центров активных зон X, Y (одна из характеристик рассеивания):
2 (35) КС = + Y, X n где - среднеквадратическое отклонение величин координат = - Xср )2 / n X (Xi i=n центров активных зон по оси X; Y = -Yср )2 / n - среднеквадратическое от(Yi i=клонение величин координат центров активных зон по оси Y; Xi - координата активной зоны по оси х i-го шкафа; Yi - координата активной зоны по оси y i-го шкафа;
n - количество активных зон.
Тогда n n - X )2 - Yср )(X i ср (Yi i=1 i=1. (36) КС = + n n По результатам эксперимента были отобраны случаи расположения шкафов и блока подачи охлаждающего воздуха, при которых значение среднеквадратического отклонения температуры по активным зонам было минимальным. Расстояние между контрольной точкой центральной области CК/Т и точкой подачи воздуха для выбранных архитектур рассчитывалось по формуле (33).
По рассчитанным данным была построена зависимость (рисунок 10) связи расстояния между контрольной точкой и рекомендуемой точкой подачи воздуха от коэффициента сложности распределения шкафов с ИТ-оборудованием (значения координат переведены с учетом масштаба моделирования в единицы измерения - метры).
Алгоритм методики размещения блока (блоков) подачи воздуха на заданном объекте имеющего архитектуру охлаждения на уровне зала состоит из следующих этапов:
1. Координирование пола помещения, на котором размещены шкафы с ИТоборудованием по осям X, Y (в метрах).
2. Расчет коэффициента сложности размещения шкафов с ИТоборудованием по формуле (36).
3. Расчет координат контрольной точки центральной области помещения по формуле (32).
4. Определение положения блока подачи охлаждающего воздуха по графику зависимости (рисунок 10) по рассчитанному коэффициенту KC.
Рисунок 10. Зависимость расстояния между контрольной точкой среднего значения координат и точкой подачи воздуха от степени сложности распределения шкафов с ИТ-оборудованием.
Проверка на адекватность разработанной методики была выполнена для серверного помещения (рисунок 11) центрального комплекса ОАО ММК. Мощность электронного оборудования составляла 17,8 кВт. В помещении было расположено шесть шкафов с ИТ-оборудованием. Центры активных зон имели следующие координаты (таблица 3):
Таблица 3 - Координаты активных зон серверного помещения ОАО ММК.
№ активной Координаты по Координаты по зоны оси X (м) оси Y(м) 1 3.9 1.2 3.7 2.3 3.7 3.4 3.7 3.5 1.9 2.6 1.9 2. Рисунок 11. Схема расположения шкафов с ИТ-оборудованием и блоков кондиционеров в серверном помещении ОАО ММК.
Системы кондиционирования имели общую холодопроизводительность кВт. Блоки систем кондиционирования первоначально располагались без учета архитектуры расположения ИТ-оборудования и характера циркуляции воздушных потоков.
Первоначальные значения температур воздуха в центрах активных зон представлены в таблице 4.
Коэффициент полезного действия серверноТаблица 4 - Значения темпераго помещения был равен:
туры воздуха в активных зонах.
№ активной зоны Температура, 0С 1 24., (37) КЦОД = NИТ / NЦОД 2 24.3 24.где NИТ - мощность, потребляемая ИТ4 24.оборудованием, кВт; NЦОД - общая мощность ЦОД, 5 25.кВт; КЦОД - коэффициент полезного действия ЦОД 6 25.или серверного помещения;
.
КЦОД = (17,8/ 26,8) 100 = 66% Для определения энергоэффективного размещения блока систем кондиционирования по разработанной методике использовался предложенный алгоритм.
Координаты контрольной точки центральной области помещения:
, CК / Т.
CК /Т = (X;Y ) = (3.2;2.6) Коэффициент сложности распределения шкафов с ИТ-оборудованием определялся по формуле (36):
КС = 0,7.
Холодопроизводительность системы кондиционирования рассчитывалась по стандартной методике:
QИТ = NП, (38) где NП - полезная выходная мощность ИТ-оборудования, Вт;
QИТ = 17,8 кВт.
Был выбран кондиционер Liebert Hiross HPM S20 холодопроизводительностью 19 кВт. По графику (рисунок 10) было определено положение блока подачи охлаждающего воздуха. Расстояние от контрольной точки до блока подачи охлаждающего воздуха составило 2 м. Значения температуры воздуха в активных зонах при новом расположении блока кондиционера представлены в таблице 5.
В результате построения новой архитектуры Таблица 5 - Значения темпераохлаждения мощность системы кондиционирования туры воздуха в активных зонах.
удалось уменьшить на 8 кВт (27-19).
№ активной зоны Температура, 0С 1 19.Коэффициент полезного действия серверно2 18.го помещения составил:
3 18..
4 19.5 КЦОД = (17,8/ 24,1)100 = 74% 5 19.Таким образом, практическое применение 6 19.разработанной методики доказало, что данная инженерная методика расчета энергоэффективной технологии охлаждения позволяет максимально использовать энергетический потенциал систем кондиционирования и обеспечить требуемый температурный режим для ИТ-оборудования.
ВЫВОДЫ 1. Проведенные исследования в промышленных условиях ЦОД, позволили определить факторы, влияющие на температурную асимметрию по залу. Обнаружено, что расположение блоков подачи охлаждающего воздуха относительно шкафов с ИТ-оборудованием является более значимым фактором для температурной асимметрии, чем их холодопроизводительность. Выявлено, что при неравномерном и несбалансированном расположение блоков систем кондиционирования в помещениях ЦОД имеющих архитектуру охлаждения на луровне зала вероятность того, что в любой момент времени температура воздуха в активных зонах будет равна проектному значению (202 0С), составляет около 0,2.
2. Разработаны численные модели исследования гидродинамики ЦОД, позволяющие оценивать эффективность охлаждения ИТ-оборудования при его размещении в произвольной конфигурации.
3. Создана экспериментальная физическая модель для изучения гидродинамики ЦОД и на основе её исследования разработаны критерии оценки эффективности охлаждения ИТ-оборудования при различном местоположении выхода охлаждающего потока воздуха. Разработанные критерии позволяют оценивать эффективность охлаждения ИТ-оборудования в действующих ЦОД имеющих архитектуру охлаждения на луровне зала.
4. Разработана инженерная методика расчета энергоэффективной технологии охлаждения оборудования, позволяющая максимально использовать энергетический потенциал систем кондиционирования и обеспечить требуемый температурный режим для ИТ-оборудования, при использовании понятия контрольной точки. Загроможденность помещения ЦОД ИТ-оборудованием предложено оценивать коэффициентом сложности, численного значения от 0,7 до 4,5.
5. Адекватность предложенной методики подтверждена успешным внедрением в промышленных условиях в одном из серверных помещениях ОАО ММК. Применение методики позволило уменьшить мощность системы кондиционирования 30%.
6. С учетом планов реконструкции в ближайшие 2-3 года нескольких сотен ЦОД в России, разработанная методика позволит по предварительным оценкам значительно снизить энергетические затраты на их эксплуатацию, что согласовывается с программой энергосбережения до 2020 года.
ОСНОВНЫЕ ПУБЛИКАЦИИ 1. Чернов А.Н. Охлаждение масштабируемого ЦОД. Журнал Технологии и средства связи// №2 2010 г. С.22-26 (издание перечня ВАК).
2. Чернов А.Н., Агапитов Е.Б. Методика размещения кондиционеров в центрах обработки данных для обеспечения эффективного охлаждения ИТоборудования. Журнал Естественные и технические науки. Строительство и архитектура// №6 2011 г. - С.611-613 (издание перечня ВАК).
3. Чернов А.Н. Разработка энергоэффективной системы обеспечения заданного температурного режима в серверном помещении с помощью охлаждающих моделей// Сборник докладов 66-й научно-технической конференции МГТУ, г.
Магнитогорск, 2008 г. - С.124-128.
4. Чернов А.Н. Совершенствование системы управления кондиционирования воздуха в машинных залах на примере главного вычислительного центра ОАО ММК// Тезисы докладов международной научно-технической конференции молодых специалистов, г. Магнитогорск, 2008 г. - С.141-142.
5. Чернов А.Н., Агапитов Е.Б. Оценка эффективности тепломассообмена при кондиционировании воздуха в помещениях центров обработки данных// Труды всероссийской научно-технической конференции, г. Махачкала, 2009 г. - С.6668.
6. Чернов А.Н., Агапитов Е.Б. Разработка энергоэффективной системы обеспечения заданного температурного режима в серверном помещении с помощью охлаждающих моделей// Материалы 67-й научно-технической конференции МГТУ, г. Магнитогорск, 2009 г. - С.80-81.
7. Чернов А.Н. Разработка энергоэффективной системы обеспечения заданного температурного режима в центрах обработки данных// Материалы Международной научно-практической конференции, г. Омск, 2010 г. - С.146-147.
8. Чернов А.Н. Проблема поддержания температурного режима в центрах обработки данных при расширении состава оборудования// Международная научнотехническая конференция студентов, магистров, аспирантов Энергоэффективность и энергобезопасность производственных процессов, г. Тольятти, 2009 г.
- С.90-91.
9. Чернов А.Н. Проблема эффективности охлаждения ИТ-оборудования в центрах обработки данных. Журнал Энерго-Block// №1 (01)-2010.
10. Чернов А.Н., Павлов Г.А. Моделирование температурного режима центра обработки данных// Материалы 12-й Всероссийской научно-практической конференции студентов, аспирантов и специалистов, г. Магнитогорск, 2011 г. - С.120121.
Авторефераты по всем темам >>
Авторефераты по техническим специальностям