Лига Сисадминов

Сначала разберемся, что такое ЦОД, и какие они бывают.
Если максимально упрощать, то ЦОД – это любое помещение, бетонная коробка (в РФ. В США может быть и жестяной ангар), в которую поставили какое-то количество компьютеров. Без всяких стоек. Можно даже «домашних». Охапка дров кабелей и ЦОД готов. Ничего плохого в такой конструкции нет, даже на такое есть спрос. Но так, обычно, не делают – кроме майнинг ферм, которые именно так и делали. И делают. Даже в подвале, как на УАЗ и ВАЗ. Но лучше на суперкомпьютере.

Коммерческий, или внутренний, ЦОД, обычно, делают все же чуть надежнее и чуть закрытее.
Это вся та же бетонная коробка, но с нюансами.
Компьютерное оборудование стараются ставить в стойки. Современный стандарт 19-дюймовых стоек был установлен AT & T для поддержки своих стоек телефонных реле в 1922 году, сейчас это стандарты ANSI/EIA-310-D и CEA-310-E. Это просто удобнее. Есть еще стандарт Open Compute Project (OCP) - Open Rack v3 / ORv3.

Каждая стойка весит, с оборудованием, до 1.5 тонн. Стойки для удобства ставят в ряды, ряды собирают в машинный зал. Система зародилась еще во времена телефонных станций, так и осталась. В том числе поэтому часть ЦОД размещена в зданиях бывших АТС.

У ЦОД есть своя система сертификации «по категориям», но эти детали сейчас не так важны.

Главным является то, что внутри ЦОД может быть:
1) Чужое оборудование. Фирма арендует от места в стойке до части машинного зала (огораживая его отдельной клеткой). От ЦОД приходит электричество, сигнализация, холодный воздух, доступ к десятку провайдеров интернет, и услуги «умные руки». Остальное – свое.
2) Свое оборудование. Когда ЦОД работает или на нужды организации, или как поставщик сервисов (облако, или только виртуальные машины). На одной площадке часто несколько разных машзалов, или даже внутри одного машзала может стоять и «чужое» и «свое» оборудование.

Как легко понять, если в ЦОД стоит «чужое» оборудование, то такой ЦОД должен быть достаточно приближен к заказчику. Зачем? Чтобы инженеры заказчика могли в разумное время туда приехать для регламентных работ, которые по каким-то причинам не могут сделать инженеры ЦОД.
Можно ли, чтобы все работы проводили инженеры ЦОД ? Технически возможно, но организационно может быть запрещено – в ЦОД иногда стоит оборудование с печатями чистоты, запретом доступа кому попало, кто кровью не подписался, что никогда не будет грязными руками трогать святое порождение  машинного духа.
В части ЦОД все слишком хорошо с очисткой – туда можно попасть, но после этого пять лет ты будешь отдыхать только в Сочи.

Если же оборудование «только свое», то есть туда доступ разрешен только своим инженерам, и инженерам вендора (часть оборудования можно трогать только людям с личной печатью чистоты), то его можно ставить «где удобно». Удобно его ставить там, где про него или знает людей поменьше, или рядом есть дешевое электричество. Например, Ростелеком договорился с Росатомом и построил ЦОД Удомля, около Калининской АЭС.

Сколько ЦОД в Москве и Подмосковье?

Много. Ведомственные на учет не встают, а коммерческих – 52 % от всей РФ

Москва, 3 сентября 2025 г. Москва продолжает уверенно удерживать лидирующие позиции на рынке коммерческих дата-центров России, концентрируя 52% действующих объектов страны. По данным Nikoliers, в настоящий момент общая площадь существующих ЦОД в Московском регионе составляет 477 415 кв. м, где размещено 86 230 серверных стоек с общей мощностью 760 МВт
https://nikoliers.ru/media/news/moskovskiy-region-ostaetsya-liderom-rynka-kommercheskikh-tsod-52-ot-obshchego-kolichestva-v-strane/

Можно ли построить ЦОД где-то, где зимой холодно, и сэкономить?

Простой ответ: Построить можно. Сэкономить - нет.

Регионы Дальнего Востока подтвердили поддержку проекта создания центра обработки данных (ЦОД) для развития технологий искусственного интеллекта в Якутии на межрегиональном совещании с участием представителей Якутии, Еврейской автономной области, Забайкальского, Хабаровского и Камчатского краев, а также Чукотского автономного округа. Об этом CNews сообщили представители пресс-центра Республики Саха (Якутия) в Москве.
https://www.cnews.ru/news/line/2026-11-05_regiony_dalnego_vostoka

«Слишком холодно» это тоже нехорошо. В машинный зал должен приходить воздух заданной температуры, и заданной влажности. Будет слишком холодно и сухо – будет сохнуть пластик схем, конденсаторы, и резина на виброгасителях. Будет слишком жарко – техника будет перегреваться, плюс все вышеперечисленное. Это не приведет к мгновенному отказу, только к сокращению среднего срока службы с 5 лет до 2.
Самим кондиционерам тоже нужен оптимальный температурный режим – не слишком холодно, а то их самих придется подогревать.
Если делать воздухоподготовку зимой на теплообменниках горячего (выходящего) и холодного воздуха, то в системе нужно будет постоянно шевелить задвижками - то открывать, то закрывать. Лишняя механика в системе может замерзнуть, заклинить, и так далее. И еще, в тех регионах, где «зимой холодно», зачастую летом комаров столько, что придется ставить фильтры.
Сделать можно, и так делают, но на общем фоне сложности инженерного комплекса ЦОД каждый раз нужно отдельно считать, будет ли тут экономия, или будет только лишняя железка, которую надо проверять и чинить.

Бетон

Как уже сказано, сама бетонная коробка ЦОД ничего особо сложного из себя не представляет – железобетон, пеноблоки, лифты, коридоры. Требований по запылению, вибрациям, и прочей технической магии почти нет. Видел я как-то, в 2015 году, технику из ЦОД "около завода". В масле.

Кроме бетона

Сложное начинается с той части, которая скрыта за бетоном. Это:
Воздухоподготовка. Чтобы в залах было ровно столько градусов, и ровно той влажности, сколько надо.
Для систем воздухоподготовки надо фреон и этиленгликоль, и еще фреон про запас. Немного – тонн 10 - 20. И есть нюанс: если фреон или гликоль при аварии вытечет, то надо срочно где-то найти еще тонн 10.
2017 год:

Однако, по одной из версий, которая активно обсуждается в социальных сетях, в связи с понижением температур до -30 °С и ниже в системе охлаждения замерз хладагент, что привело к повреждению труб и утечке этиленгликоля. Из-за длительных новогодних праздников сотрудникам дата-центра не удалось оперативно получить около 30 тонн хладоносителя, чтобы заправить систему. Служба эксплуатации организовала импровизированный фрикулинг, и в процессе была обесточена часть серверных стоек.
https://alldc.ru/documentation/document/5289.html

Можно делать системы как на мясокомбинатах, на аммиаке. Со всеми последующими проблемами.
Система пожаротушения. Она нужна. Вы, может, лично, и не видели, но в ЦОД бывают пожары. На слуху был только мелкий пожар в Даталайне, но их было чуть больше. Вроде все без жертв, кроме ложной сработки системы пожаротушения с трупом в 2010. Можно делать на азоте, но азотная система (тушения) очень шумная, и от этого шума выходит из строя «до трети» жестких дисков. Для SSD проблем меньше, но механических дисков все равно до сих пор много. Можно делать на фторкетоне 1230, но это дороже азота и углекислоты.

Москва. 25 августа (2010). INTERFAX.RU – В одном из банковских отделений в подмосковном Подольске произошел выброс газа. Погиб один человек, 13 пострадали – все они находятся в реанимации
https://www.interfax.ru/russia/151226

Для систем электроснабжения нужно притащить несколько десятков тонн свинцовых аккумуляторов, чтобы снабжать ЦОД в те 10 минут, пока стартует резервная система. Или притащить динамический ИБП. И дизели тоже нужны. И солярка к ним. И система пожаротушения дизелей.
Можно ставить не дизель, а газовую или газопоршневую установку, тоже то еще приключение.
Линии связи. Как без них. Нужно заводить всех возможных провайдеров, то есть тянуть от их узлов связи, или сразу от точек обмена трафиком, километры и тысячи жил оптики. Желательно разными маршрутами.
СКУД и периметр. Чтобы не ходили, кто попало. И даже если кому-то очень надо, и у него есть технические средства, чтобы тоже не ходили без справки.
За всем этим нужно следить, то есть нужен обученный персонал инженерной части.
Для всего этого нужна логистика инженерных запчастей.
Конечно, нужна внутренняя электрика – система электрического распределения. Современная ИИ стойка «в сборе» потребляет до 150-195 киловатт мощности. GB300 NVL72 тащемта. Не 5 (пять) киловатт, как предлагают в "среднем в РФ". Значит, нужны трансформаторы, всякие шины, и прочее электрическое и кабельное хозяйство.

The rack’s TDP (thermal design power) is 132 kW nominal with a EDPp (electrical design power – peak) of 1.5x TDP or approximately 192 kW

NVIDIA GB200 NVL72 by HPE QuickSpecs

Что там сверху фундаметра, стен, и инженерных систем

Поверх фундамента, то есть инженерной части, строится остальной ЦОД. Тут и метрокластер, и разные вариации отказоустойчивых схем – от защиты на аппаратном уровне до системы «умер контейнер и ладно, пользователь потерпит». Про каждый из этих уровней написаны трактаты, начиная от бесконечно (нет) увлекательного занятия по контролю уровню сигнала в оптике и мультиплексорах (MUX / DEMUX), заканчивая буферными кредитами (buffer-to-buffer credits, BBC) и того, с чего началось - HPE Synchronous Long Distance (SLD)

Конфигурация синхронного удаленного копирования (Synchronous Long Distance, SLD) состоит из трех систем: одной первичной и двух отдельных вторичных систем.
Группы удаленного копирования (Remote Copy groups) с первичной системы реплицируются на обе вторичные системы одновременно. На одну из вторичных систем данные реплицируются в синхронном режиме, а на другую — в асинхронном периодическом режиме.

И это только проход к лифту в веселый мир сервисов внутри ЦОД и внутри облаков.

На фоне всех прочих затрат , на логистику «всего» , от кранов до кабелей, возможная экономия «на эксплуатации» может совсем отсутствовать

Заходим в систему пока через старый winbox, открываем терминал и вводим:

/file remove [find name~"\\.npk"]
Эта команда поможет удалить старые файлы пакетов (.npk).

/file remove [find name~"autosupout"]
Удалит отчеты о сбоях. Если вы не планируете отправлять их в поддержку MikroTik, они вам не нужны.

/system package uninstall wireless
Удалит пакет wireless. Все ваши настройки Wi-Fi (SSID, пароли, профили безопасности) сохранятся в конфигурации. После перезагрузки Wi-Fi временно перестанет работать.

Перезагружаем маршрутизатор.

После перезагрузки заходим в Quick set, жмём Check For Updates и Download & Install. Железяка обновится, со старым winbox пускать перестанет. Запускаем недавно скачанный новый winbox, прописываем туда логин/пароль и входим в систему. Далее System -> RouterBOARD -> Upgrade, мышкой перетаскиваем ранее скачанный файл wireless-7.*-smips.npk в окно winbox и ждём загрузки или же Files -> Upload -> выбираем wireless-7.*-smips.npk . Идём в System -> Packages -> жмём Enable для пакета wireless, перегружаем роутер.

Всё, в Files можно удалить всё лишнее.