Куда использовать 1000 SSD?
Без особой надежды, кидаю вопрос в интернет)))
У меня имеется больше 1000 SSD объемами 240, 480, 960 гигабайт.
Продать их не вариант, даже не просите.
Вопрос: как их можно использовать?
В течение ближайшего десятилетия потребление электроэнергии центрами обработки данных и кондиционерами во всем мире утроится, что станет серьезным испытанием для коммунальных служб, которые и так испытывают нагрузку из-за стареющих сетей и длительных задержек с поставками новой электроэнергии. Кстати, эта проблема актуальна и для России.
По прогнозам Международного энергетического агентства (МЭА), спрос на электроэнергию со стороны центров обработки данных к 2035 году вырастет примерно на 800 тераватт-часов (ТВт·ч) по сравнению с примерно 416 ТВт·ч в 2024 году.
По данным Управления энергетической информации США (EIA), этого достаточно для обеспечения электроэнергией около 75 миллионов американских домов в течение года.
Однако, по данным Think Thank Ember, к 2035 году мировой спрос на системы охлаждения вырастет примерно на 1200 ТВт-ч, что почти равно объему электроэнергии, например, потребляемой всем Ближним Востоком в год.
Обозреватель «Рейтерс» Гэвин Магуайр: «Большая часть расширений центров обработки данных будет осуществляться в странах с развитой экономикой, где имеются современные электросети, а рост спроса будет в первую очередь обусловлен обработкой поисковых запросов для предприятий и приложений социальных сетей.
Напротив, большая часть роста спроса на кондиционирование воздуха придется на развивающиеся экономики, где многие сообщества уже сталкиваются с перспективой смертей и заболеваний, связанных с жарой, в и без того хрупких энергетических системах».
Изменение климата приводит к более частым, интенсивным и продолжительным волнам высоких температур по всему миру, но особенно в развивающихся регионах, таких как Южная и Юго-Восточная Азия, где высокий уровень влажности может усилить воздействие теплового стресса.
Чтобы бороться с последствиями, в новых домах и офисах в странах с теплым климатом увеличивают количество устанавливаемых в них кондиционеров. И во многих из этих регионов во всю идет строительный бум, в результате чего увеличиваются площади, требующие охлаждения.
Мир безвольно вступает в глобальное потепление. «В США повышение температуры может привести к увеличению спроса на природный газ, поскольку люди включают кондиционеры, что приведет к росту цен. За последние 30 лет июль стал жарче на 20 HDD+CDD единиц», - резюмирует в обзоре на ЕnergyСentral руководитель аналитического центра Mind Money Игорь Исаев.
И это подсказывает, что инвестировать в энергетику и энергосервисы сейчас самое время.
Всем привет!
Продолжаю делиться знаниями и т.к. сейчас моя работа связана с поставками серверов из реестра минпромторга, то будем говорить про них.
Информация будет полезна системным администраторам из госсектора(и не только), менеджерам по продажам такого рода оборудования.
В каждом вендоре, интеграторе или поставщике серверного оборудования есть позиция, которая называется "Технический пресейл инженер".
Этот человек занимается подбором оборудования по критериям (дайте сервер на 12 дисков, дайте сервер чтобы было 40 ядер или 512гб RAM и т.д) или техническому заданию от заказчика (Количество ядер каждого установленного процессора, Базовая частота каждого установленного процессора (без учета технологии динамического изменения частоты) и т.д.).
Чтобы начать разбираться в этом, нужно сначала хотя бы собрать сервер (виртуально), чем мы и займёмся.
Т.к. нас не интересует физическая сборка, а только проектирование будующей системы, то идём связанными "блоками":
Корпус - дисковая корзина - блок питания - вентиляторный модуль
Материнская плата - процессор - радиатор на процессор - оперативная память - порты на материнской плате
Вуяла, наш сервер готов (естественно нет). Есть огромное количество нюансов, которые я постараюсь описать про каждую составляющую нашего сервера.
Корпус: Есть несколько параметров (стандартов) которые использует каждый производитель.
Высота (измеряется в юнитах: 1-2-3-4-6-10U), монтажная ширина 19 дюймов (99% серверов, будем всегда использовать её) и 21 дюйм (специализированные или кастомные решения), глубина (зависит от серверной стойки, которая у вас есть в наличии).
Дисковая корзина: Диски бывают 2.5" и 3.5" (у них разная длина, высота, ширина), интерфейс подключения SATA, SAS, U.2(3). Исходя из этих параметров, подбирается корзина. Ну выбрали мы диски, допустим SAS, а как подключить?
Тут есть 2 варианта, прямое подключение (1 кабель - 4 или 8 дисков) или через дополнительный элемент, который называется бэкплейн (это плата, которая обеспечивает физическое подключение дисков и соединяет их с дисковым контроллером).
А как быть, если на дисковом контроллере не хватает портов? То выбор будет идти в пользу бэкплейна с экспандером (отдельный чип, который позволяет подключить всю дисковую корзину с бэкплейном одним кабелем к дисковому контроллеру).
Блок питания: Не будем сильно углубляться в КПД (стандарты platinum, gold, plus), а остановимся на самом важном параметре, это - количество блоков питания и их мощность. Сервер является ядром организации (программа, база данных) и простой может стоить денег или времени. Поэтому в нём установлено 2 блока питания.
Один работает, второй ожидает в резерве. Эта схема называется N+1, где N - это количество блоков, а +1, это тот самый блок, который ожидает в резерве. Теперь про мощность, она подбирается исходя из общего количества компонентов (процессоры (их потребление), оперативная память, вентиляторы, видеокарты, сетевые карты и т.д.).
Тот самый пресейл инженер исходя из общего количества компонентов и выбирает блок питания. Я в своей практике всегда руководствуюсь +30%, чтобы при подключении доп. устройств (которые не были учтены при проектировании), у заказчика не случился коллапс.
Вентиляторный модуль: В зависимости от высоты корпуса используется разное количество вентиляторов. Не будем глубоко лезть в эту тему, но тут важно знать, что они горячей замены (допустим, один вентилятор вышел из строя, мы просто достаём неисправный и на его место опускаем новый).
Надеюсь этот блок я объяснил понятно, а если нет, то напишите в комментарии, постараюсь ответить (всякие душнили и токсики мимо)
Переходим ко второй важной части, тут будет посложнее.
Материнская плата и основные параметры: 1. Бывает разных форм-факторов, но не будем уходить глубоко, т.к. в теме серверов это не имеет никакого смысла (кроме конкурсных процерур, где важно количество портов для соответствия) поэтому оставим просто, материнская плата)).
2. Количество сокетов для процессоров. Бывают платы с 1-2-4 сокетами (самое частое серверное решение, это 2 сокета). 3. Количество слотов под оперативную память, бывают решения на 8-16-24-32 слотов для модулей RAM. 4. Тип поддерживаемой оперативной памяти DDR4 или DDR5 (бывают динозавры с DDR3, но с ними в "нормальной" практите уже вряд ли столкнётесь).
Тут важно добавить, что серверная память всегда идёт с коррекцией ошибок (ECC). 5. Частота работы оперативной памяти, она измеряется в МГц. Для серверов "свежего поколения", данный параметр будет 2933 или 3200 МГц (для типа DD4) и от 4400 МГц (для типа DDR5). 6. Стандарт PCIe. Бывает 3.0, 4.0 и самый новый 5.0. От поколения этого параметра, зависит скорость данного порта.
Процессор: Можно выделить несколько главных особенностей, это количество ядер - потоков, базовая тактовая частота и в режиме TURBO Boost, кэш память L3, TDP.
Данные параметры определяет системный архитектор исходя из задач, которые будет решать сервер, а в проектирование вычислительных комплексов нам ещё рано, оставим это просто как параметры сервера.
Радиатор на процессор: Этот пункт комплектующих подбирается исходя из процессора, а точнее его параметра TDP. Чем мощнее процессор, тем выше у него TDP и тем производительней нам нужен радиатор. Они бывают пассивные, а бывают активные (с вентилятором).
При подборе, смотрим на TDP процессора, затем выбираем модель радиатора исходя из её характеристик.
Оперативная память: Ещё раз повторюсь, тип памяти (ddr4-ddr5), частота в МГц, ECC.
Порты на материнской плате: Мы подошли к завершающему пункту в этом блоке. Я напишу про порты, которые используются на современных материнских платах. Про всякие power-reset, даже не буду писать, остановимся на портах для подключения доп. оборудования.
OCP 3.0 - это порт PCIe x16, только другого форм-фактора и с возможностью горячей замены оборудования. Как правило, в него подключают OCP - сетевые адаптеры.
SFF8643 - это разъём для подключения SAS/SATA дисков, RAID-контроллера, бэкплейна. Данный разъём так же способен проводить 4 линии PCIe 3.0. С помощью специального провода, позволяет подключить 1 диск стандарта NVMe.
SFF8654-8i - это разъём для подключения SAS/SATA/NVMe дисков. Он обладает 8-ю линиями PCIe и 1 кабель может подключить 2 накопителя формата U.2, либо 8 SATA/SAS 12g
SFF8654-4i - это в половину урезанный порт, тут 4 линии PCIe. Можно подключить 1 диск U.2 или 4 SATA/SAS 12g.
MCIO x8 - это порт с высокой пропускной способностью, 8 линий PCIe 5.0 - 6.0. С помощью него уже можно подключать видеокарты, высокоскоростные диски NVMe или любое оборудование, где требуется шина PCIe.
MCIO x4 - это в половину урезанный порт, тут 4 линии PCIe 5.0 - 6.0. Он также позволяет подключить видеокарты, высокоскоростные диски NVMe или PCIe устройства.
OCuLink x8 - высокоскоростной порт который проводит 8 линий PCIe 4.0. Позволяет подключать U.2 и M.2 диски. Встречается очень редко.
OCuLink x4 - это высокоскоростной порт способный проводить 4 линии PCIe 4.0. Позволяет подключать U.2 и M.2 диски. Достаточно распространённый порт в серверах.
PCIe x16, x8, x4 - чаще всего на материнских платах есть 2 порта PCIe x32, из которых с помощью специальных райзеров (переходников) делают 1 порт x16 и 2 порта x8. В некоторых серверах, где материнская плата квадратного форм фактора, данные разъёмы имеют привычный вид. То есть, не требуется переходник.
Хоть и кратко, но я постарался описать и систематизировать информацию про такое сложное устройство как сервер.
P.S. В следующем посте я буду давать информацию про сетевые карты, raid и hba контроллеры, средства доверенной загрузки.
P.S.S. потом будут схд, коммутаторы, небольшой обзор рынка и много чего ещё, подписывайтесь, чтобы не пропустить.
Если кому-то пригодилась информация, то поставьте лайк и подпишитесь на паблик.
Инженерная часть
Всем привет!
Тут многие пишут про работу, вот и я решил начать писать небольшие посты. Я занимаюсь серверным оборудованием (проектирование систем, помощь с ТЗ, поставка). Данный блог будет полезен системным администраторам из госсектора(и не только), менеджерам по продажам такого рода оборудования. Тут буду делиться опытом, писать про ошибки(смешные и не очень).
Начну свой первый пост с обучения основам, погнали:
Первое и самое главное: работа любого оборудования связана с электричеством, поэтому при построении вычислительных систем первым делом мы о чём думаем? Правильно, сколько у нас есть кВт- на сколько Ампер стоит автомат и какого сечения провод идёт до него. Был случай, когда до заказчика приехал сервер, смонтирован в стойку, а при включении вырубает автомат, поэтому первым делом смотрим электрическую линию.
А что идёт вторым пунктом, кто ответит? Естественно охлаждение! Ну заходит много электричества в помещение, допустим у нас там есть много места для размещения стоек, закупили оборудование, включили и попадаем в сауну (просим начальника принести квас или чай, чтобы отдохнуть с коллегами). Конечно подбор охлаждения это не мой конёк, тут всё-таки к профильному инженеру, но не забываем одно самое важное правило: охлаждение всегда должно быть продублировано! Если охлаждение помещения идёт с помощью кондиционеров, то нужно позаботиться о том, чтобы они были запитаны от разных линий питания (такое бывает очень редко, но слышал пару историй от инженеров, про выход автомата из строя, а следовательно помещение оставалось без охлаждения).
Третьим пунктом у нас идёт две взаимосвязанные вещи, это вычислительная мощность и место размещения. Допустим требуется много ядер-памяти, а помещение ограничено, следовательно что? Правильно, делаем подбор конфигурации по этим параметрам. Конечно, процессоры линейки silver будут гораздо дешевле в цене, но когда у нас ограничено пространство и место в стойке, то тут уже без вариантов, придётся платить за процессоры линейки gold или даже platinum, для того, чтобы получить требуемое количество вычислительной мощности и забить стойку оборудованием.
Четвертый пункт и заключительный в данной статье будет про что? Вот мы разобрались с электричеством, включили охлаждение помещения, сервера загудели - пошла работа... Но тут, что-то произошло на электроподстанции и всё отключилось. Тут речь про источник резервного питания. Это обязательный элемент в любой вычислительной инсталляции, будь то один или много серверов. Как понять сколько или какое ИБП нужно? Всё очень просто, мы берём номинальную мощность блока питания, складываем эти показатели на всех серверах и получаем количество кВт. Исходя из полученного количества, мы и подбираем ИБП по мощности.
Пожалуй, на этом проектирование инженерной части заканчивается.
Краткий итог:
1. Уточняем количество мощности подаваемого в помещение (сколько заходит кВт), на сколько ампер автоматы и сечение провода до них;
2. Всегда планируем охлаждение и его дублирование;
3. Составляем ТЗ на количество вычислительной мощности, исходя из размера помещения (количества стоек и места в них), планируем количество серверов.
4. Рассчитываем мощность ИБП по блокам питания всех серверов (если в сервере стоит 2 блока питания, то помним, что второй для отказоустойчивости и его номинал не считаем)
Я намерено пропустил такие темы, как пожаротушение, безопасность (доступ в помещение определённых лиц), СКС. Это всё отдельные темы, что и без того бы увеличило размер статьи.
В следующей статье мы перейдём к оборудованию. Зачем нужен сервер, какие они бывают, чем отличаются.
P.S. Прошу строго не судить, опыта в написании статей нет, но конструктивную критику обязательно приму к сведениям.
P.S.S. Если потребуется помощь в проектировании, подборе оборудования, поставке по конкурсной процедуре, то напишите в личку, постараюсь помочь.
Всем добра и до новых встреч!
Я создал телеграмм канал, чтобы давать там больше информации: https://t.me/+2MZIBMEBfcMxZmIy
На Восточной верфи состоялась торжественная церемония спуска на воду нового краболовного судна «Аурум» проекта 03141. Судно оборудовано ловушками для промысла краба и креветки, а также способно выполнять ярусный лов рыбы. Проект 03141 имеет высокую скорость и мореходные качества, необходимые для работы в сложных метеоусловиях бассейнов Охотского и Берингова морей.
Космические войска провели успешный пуск ракеты-носителя "Ангара-А5" с космодрома Плесецк с аппаратами на борту в интересах Минобороны России. "Ангара" - семейство российских ракет-носителей от легкого класса до тяжелого. В их топливе используются керосин и жидкий кислород - экологически чистые компоненты, в отличии от топлива "Протона-М", который "Ангара" заменит в ближайшей перспективе.
На строительной площадке завода ДГП-2 компании СИБУР начался монтаж реакторов дегидрирования пропана. Уже установлено 42 единицы крупнотоннажного оборудования, включая четыре реактора высотой более 17 метров и весом свыше ста тонн каждый. Реакторы поднимаются на высоту более 30 метров — это сопоставимо с высотой 10-этажного жилого дома.
«Северсталь» приступила к реконструкции роликовой печи №1 для производства толстолистового и высокопрочного проката стоимостью 1,4 миллиарда рублей. Модернизация агрегата позволит увеличить объемы производства. В том числе высокопрочных продуктов для тяжелого автомобилестроения, производства подъемной, дорожно-строительной и другой спецтехники.
АО "СУЭК-Кузбасс" ввело в эксплуатацию на шахте им. Рубана лаву с запасами 2,9 млн тонн угля энергетической марки Д. Ожидается, что ежемесячно из лавы будет добываться не менее 300 тыс. тонн угля. Забой оборудован 175 секциями крепи. Крепь отличает высокая несущая способность, небольшой вес, возможность использования в том числе при вынимаемой мощности пласта до 5,5 метров.
ГК «Синтез ОКА» запустила производство диметилэтаноламина. Диметилэтаноламин является сырьём для производства катионных флокулянтов для водоочистки, используется в качестве катализатора для производства пенополиуретанов, линолеума, теплоизоляционных материалов, ионообменных смол, применяется в лакокрасочной, фармацевтической и текстильной промышленностях. Компания является единственным в России производителем ДМЭА.
«Мегафон» завершает строительство крупнейшего в Сибири центра обработки данных. Мощность дата-центра — 5МВт с возможностью дальнейшего масштабирования до 20 МВт. Он включает пять залов, которые планируется запускать поэтапно, первый рассчитан на 50 стойко-мест.
Ростсельмаш разработал самый мощный в стране кормоуборочный комбайн F 2750. F 2750 создан специально для работы на высокоурожайных полях и позволяет крупным животноводческим хозяйствам оперативно заготавливать большие объемы качественных кормов, максимально сохраняя их питательные свойства. Двигатель мощностью 770 л.с. позволяет комбайну демонстрировать высокую производительность (до 280 тонн кукурузы в час), обеспечивая заготовку до 30 000 тонн зеленой массы за сезон.
Компания АвтоВАЗ представила Lada Azimut — это первый кроссовер в истории марки. Разработку автомобиля выполнили исключительно российские специалисты - от концепции, компоновки и дизайна до производства и настройки всех систем и функций. Автомобиль отличают высокая линия капота, покатая линия крыши, "динамичный" наклон задней стойки, 18-дюймовые колесные диски, короткие свесы и высокий дорожный просвет 208 мм.
В России началось клиническое исследование новой отечественной онколитической вакцины "Энтеромикс". Препарат основан на сочетании четырех непатогенных вирусов, обладающих способностью уничтожать злокачественные клетки и одновременно активировать противоопухолевый иммунитет пациента. Противоопухолевый эффект варьируется от замедления роста опухоли до ее полного уничтожения.
Ну что, встретимся через неделю? Не предложение. Реально вопрос встал.
#поравалить #всепропало
Наверное каждый из нас имеет неприятный опыт поступков, совершив которые мы искренне раскаиваемся в своей глупости, невнимательности, самонадеянности, но изменить уже что-то поздно. В наше время технологий цена самой простой ошибки оператора на производстве, оплошности инженера-монтажника, игнорирования элементарных правил безопасности линейным персоналом может быть грандиозна. Кроме того, что под угрозой может оказаться корректное функционирование производства, но куда более важнее и персональная безопасность людей. Дата-центры тут не являются исключением из правил, даже скорее наоборот. Если классические предприятия: заводы, электростанции работают десятилетиями, и на них уже выработаны писанные и неписаные правила поведения персонала, то с дата-центрами, массово возводимыми в последнем десятилетии, не все так гладко. Отсутствие, либо недостаточное понимание элементарных норм поведения нередко приводит к выходу из строя дорогостоящего оборудования, утери данных и другим малоприятным казусам. Далее в статье пойдет разговор на тему самых распространенных причин по которым в ЦОД возникают нештатные ситуации и как с этим можно бороться.
1. Укладка кабелей
Проблема корректной укладки кабелей в серверных залах является лидером по нанесению ущерба информационной безопасности ЦОД. Применение слишком коротких кабелей — в погоне за экономией, применение слишком длинных кабелей — результат лени, нарушение кабельной маркировки, а то и полное ее отсутствие, ну и конечно же временные перемычки — недаром у нас принято говорить, нет ничего более постоянного чем временное. Все эти факторы могут существенно подорвать безопасность размещенного в серверных стойках оборудования. Кроме проблем с логическим построением соединений, разбросанные по серверной кабели могут нести и чисто физическую угрозу, путаясь под ногами и руками у инженера, плохо уложенные кабели могут существенно нарушить вентиляцию стойки. Кроме того, что инженеру придется тратить кучу времени «разгадывая кабельную головоломку», серверное оборудование может выйти из строя от перегрева, а в самых печальных случаях еще и стать причиной настоящего пожара.
2. Посторонние предметы в серверной
Также одной из основных причин выхода серверного оборудования из строя является присутствие посторонних предметов в серверной. Это могут быть предметы забытые в зале: инструменты, личные вещи, либо предметы вообще неправомерно туда занесенные. Безоговорочным лидером среди таких предметов является еда, а если быть более точным — напитки. Часто сотрудники дата-центров, особенно молодые, забывают, что они имеют дело с плохо защищенным от внешних факторов воздействия оборудованием. Кофе, чай, или любая газировка являются чудесными проводниками электричества. Пролив тот же чай на свой дорогущий ноутбук, вы рискуете получить всего лишь счет из мастерской за его восстановление, пролив жидкость на 10 кВт серверную стойку, вы уже рискуете не только вывести ее из строя, но и также получить серьезную травму.
3. Сбои в электросети
Электропитание это одно из потенциально слабых мест любого дата-центра. Точный расчет нагрузки, которую может создать прожорливое оборудование, и резервирование источников питания — это те опоры на которых стоит безопасность функционирования ЦОД. Чем более крупный ЦОД, тем большей проблемой может стать полноценное резервирование питания. Если речь идет о небольших «офисных» дата-центрах, то тут может быть достаточным банального «бесперебойниках», если обратить внимание на гигантские ЦОДы, что сооружают такие компании как Google, Facebook, Amazon то все гораздо серьезней. Для резервирования электроснабжения вышеупомянутые компании, зачастую не только запитывают свои детища с разных подстанций, но порою и возводят персональные электростанции. Эти источники должны гарантировать не только более дешевую либо экологичную энергию, но в первую очередь именно бесперебойность электроснабжения. Уровень безопасности дата-центра в приведенном контексте, чаще всего, прямо пропорционален средствам вложенным в нее.
4. Проблемы службы безопасности
Это огромная проблема равно как для маленьких дата-центров так и для их больших собратьев. Промышленный шпионаж, месть недовольного сотрудника, воровство дорогого серверного оборудования, бесконтрольный доступ неосведомленных во всех нюансах функционирования оборудования случайных людей — все это лишь малый список рисков связанных с несанкционированным доступом. Именно по этой причине абсолютное большинство успешных дата-центров вкладывают существенный средства в физическую безопасность своего оборудования. Тут перечень инструментов защиты крайне широк, от видеонаблюдение и пропускного режима с разными уровнями аккредитации, до банальных решеток на окнах и амбарного замка на серверном шкафе. Порою желание обезопаситься набирает воистину экстремальных форм, и становится уже сложно провести четкую границу между удачным маркетинговым ходом и банальной паранойей.
5. Дисциплина сотрудников
Банальная халатность и расхлябанность сотрудников могут привести к самого рода ужасным последствиям в дата-центре. Отсутствие дисциплины в коллективе, отсутствие должного внимания управленцев к исполнителям как правило приводит к бедам. Утративший стимулы работник — недовольный уровнем оплаты своего труда, либо долгим отсутствием карьерного роста, будь он даже хорошо подготовлен технически, может нанести ущерб, пусть и не специально, самому технически продуманному и безопасному ЦОД. К сожалению, такого рода риски сложно описать каким-то математическим уравнением, по этой причине они такие не предсказуемые и соответственно опасные.
6. Документирование работы ЦОД
Немало важным фактором успешного ЦОД является качественное ведение внутренней документации. Тут речь идет не только о регистрации оперативной информации, но и о создании полноценного архива. Кроме того что грамотно оформленная документация дает возможность производить без особых последствий ротацию персонала, также существующий архив позволяет подготавливать полноценную статистику без которой просто невозможно осуществлять корректное планирование работы всего дата-центра.
7. Использования рабочих станций не по назначению
Несмотря на тот факт, что большая часть оборудования в ЦОД подключена к сети, инфраструктура дата-центра организована таким образом чтобы было возможным избежать инфицирования, попавшим в эту сеть вирусом, всего оборудования. Для этого существует целый ряд предосторожностей, нарушение которых может повлечь за собою самые печальные последствия. Хорошо отлаженная система безопасности против локально размещенного на серверах потенциально небезопасного ПО, может стать малоэффективной если такого рода ПО попадет на рабочие станции сотрудников дата-центра вместе с принесенной ими зараженной «флешкой». Офисные «десктопы» зачастую используются сотрудниками не по их прямому назначению, кроме решения своих рабочих обязанностей, длинными рабочими сменами с помощью рабочих станций «серфится» интернет, скачиваются самого разного рода файлы. Чего уже говорит о сетевых играх (Counter-Strike, CoD, StarCraft и тд.), которые кроме всего другого являются существенным фактором заражения и распространения вирусов по всему ЦОД.
8. Доверяй — но проверяй
Автоматизация производств в наше время достигла больших высот, это дало возможность минимизировать траты на персонал, а также избавить серверное оборудования от «человеческого» фактора. Но не стоить забывать, что все автоматические системы также разработаны и установлены человеком, и этот пресловутый «человеческий» фактор далее висит над ними как Дамоклов меч. Как часто инженеры ЦОД отрываются от своих уютных кресел и проводят физический мониторинг вверенного им хозяйства? Слепо доверяя датчикам и системам мониторинга, персонал рискует упустить из виду как малую так и большую угрозу функционированию всего серверного оборудования в ЦОД.
9. Искушение туристами
У вас прекрасный ЦОД — современное оборудование, отлично подготовленные сотрудники да и само сооружение исполнено в стиле хай-тек, и вы хотите, чтоб плод ваших усилий увидело как можно больше людей — потенциальных партнеров. Именно тут вас и ожидает самая что не на есть опасность. Порою отсутствие элементарных знаний техники безопасности, плюс искренняя заинтересованность посетителей разноцветными мигающими огоньками может привести к разного рода непредсказуемым ситуациям, непосредственного физического влияния посетителями на оборудование. Еще более эффект может усугубится в том случае, если на самом деле ваш ЦОД не такой уж идеальный да и квалификация сотрудников оставляет желать лучшего. Как результат, вместо счастливых потенциальных клиентов вы рискуете получите перебои в работе для уже существующих.
10. Полуночный аврал
Вы высококвалифицированный и сознательный инженер дата-центра, отработав честно свою смену, без серьезных происшествий, под «занавес» рабочего дня сталкиваетесь с крупным падением сети. Уверен у каждого из нас бывали такие ситуации, когда мы вынуждены были оставаться в нерабочее время решать внезапно возникшую проблему, в которой кроме всего прочего для начала еще и разобраться надо. Отработав уже 10 часов, даже самый опытный и квалифицированный сотрудник рискует вместо того чтоб решить проблему усугубить ее еще больше. Чрезмерная сознательность уставшего физически и морально сотрудника может сыграть с ним злую шутку, именно по этой причине очень важно грамотно организовать рабочие смены и не перегружать сотрудников. Все глобальные работы, проводимые в ЦОД, должны планировался заранее и на начало заступаемой смены. Желание руководства максимально эффективно использовать оплаченное сотрудникам рабочее время может привести к самым неожиданным последствиям и как результат к серьезным убыткам, которые в первую очередь понесет сам владелец дата-центра.
P/S
Кому интересно. Некоторые регламенты и стандарты, касающиеся построения и эксплуатации центров обработки данных (ЦОД):
ГОСТ Р 58811-2020 «Центры обработки данных. Инженерная инфраструктура. Стадии создания». Стандарт определяет этапы создания инженерной инфраструктуры ЦОД и перечень работ на каждом этапе.
ГОСТ Р 58812-2020 «Центры обработки данных. Инженерная инфраструктура. Операционная модель эксплуатации. Спецификация». Стандарт формулирует требования к эксплуатации инженерных систем ЦОДов для предоставления услуг высокого качества.
ГОСТ Р ИСО/МЭК 30134-2-2018. Стандарт вводит систему оценок ключевых показателей эффективности ЦОД.
ГОСТ Р 70139–2022 «Центры обработки данных. Инженерная инфраструктура. Классификация».
ГОСТ Р 70627–2023 «Центры обработки данных. Инженерная инфраструктура. Документация. Техническая концепция. Требования к составу и содержанию».
Представьте: вы спроектировали идеальную магистраль, выбрали "качественные" компоненты, смонтировали... И линк не поднимается. Или работает, но с ошибками. Или стабилен сегодня, но "падает" при нагреве летом. Часто корень зла кроется в нарушении оптического бюджета мощности (Optical Power Budget - OPB). Это не абстрактная цифра из даташита – это фундаментальный закон сохранения энергии в мире оптики. Игнорируете его – гарантируете себе головную боль. Сегодня, с ростом скоростей (100G, 400G, 800G) и плотности в ЦОД, понимание и точный расчет OPB критичны как никогда. Давайте разберемся, что это, из чего складывается, где поджидают ловушки и как избежать фатальных ошибок.
1. Суть Оптического Бюджета: Проще, Чем Кажется (На Словах)
По сути, OPB – это разница между мощностью, которую передатчик (Tx) излучает в волокно, и минимальной мощностью, необходимой приемнику (Rx) для корректной работы (чувствительностью) с учетом требуемого запаса (System Margin).
Упрощенная формула:
OPB = P_Tx_min - P_Rx_min - System_Margin
Где:
P_Tx_min – Минимальная выходная мощность передатчика (дБм)
P_Rx_min – Максимальная (наихудшая) чувствительность приемника (дБм)
System_Margin – Запас на старение компонентов, температурные колебания, ремонтные работы (обычно 3-6 дБ)
Важно: Все величины в дБм (децибелы относительно 1 милливатта)! Работать с дБм и дБ (децибелами "по мощности") – must-have навык проектировщика ВОЛС.
2. "Пожиратели" Бюджета: Не Только Затухание
Классическая ошибка – считать, что враг номер один – это затухание в волокне (α * L). Да, это основной фактор для магистралей, но в современных реалиях, особенно в ЦОД и агрегации, вклад пассивных компонентов и эффектов дисперсии становится сопоставимым, а иногда и критически превосходящим!
Основные "пожиратели" бюджета:
Затухание в оптическом волокне (α * L): Зависит от типа волокна (G.652.D, G.657.A1, OM3/4/5) и длины волны. Значения α обычно 0.22-0.36 дБ/км на 1310нм, 0.15-0.25 дБ/км на 1550нм для SM; выше для MM.
Потери на разъемах (Connector Loss): Каждое соединение (розетка-коннектор) вносит потери. 0.5 дБ – это уже много для современных высокоскоростных систем! Современные стандарты (TIA-568, ISO/IEC) требуют < 0.3 дБ на соединение для MM и < 0.5 дБ для SM (а лучше стремиться к < 0.35 дБ). Помните: в высокоплотной полке (Alfa HD/UHD) у вас десятки соединений на одном линке!
Потери на сварках (Fusion Splice Loss): Обычно < 0.1 дБ на стык при качественной сварке. Но количество стыков может быть значительным.
Потери в пассивных компонентах:
WDM-мультиплексоры/демультиплексоры: Могут "съедать" 1-5 дБ и более на канал.
Оптические разветвители (Splitter Loss): Основной потребитель бюджета в PON. Потеря = 10*Log10(N), где N – число выходов (для 1:8 это ~9 дБ, для 1:64 ~18 дБ).
Коммутационные панели и кассеты: Каждый "проход" через адаптер (даже в претерминированной кассете) – это потери. Качественная конструкция минимизирует их, но игнорировать нельзя.
Дисперсия (Dispersion): Главный невидимый враг на высоких скоростях (10G+). Это "расплывание" импульса по мере распространения. Бывает:
Хроматическая дисперсия (CD): Зависит от длины волны и длины волокна. Особенно критична на 1550нм в SMF. Вызывает межсимвольную интерференцию (ISI). Компенсируется дисперсионно-компенсирующими модулями (DCM) или использованием ненулевой смещенной дисперсии (NZDSF) волокон на длинных линиях.
Поляризационная модовая дисперсия (PMD): Зависит от неидеальности волокна и внешних воздействий (вибрации, изгибы). Крайне коварна, так как может меняться со временем. На скоростях 40G/100G и выше ее влияние резко возрастает. Не компенсируется легко! Требует использования волокон с низким PMD и аккуратного монтажа/эксплуатации.
Потери на изгибах (Macro/Microbend Loss): Особенно критично для чувствительного волокна G.657 (хоть оно и более устойчиво к изгибам, чем G.652, но при радиусах меньше минимально допустимого потери резко растут). Кабели в высокоплотных кроссах (типа Alfa UHD) требуют особо тщательной укладки.
3. Почему Старые Подходы Не Работают? Вызовы Современности
Скорости 100G, 400G, 800G: Приемники становятся менее чувствительными (P_Rx_min ухудшается, т.е. требует большей мощности для работы)! Одновременно требования к дисперсии (CD, PMD) ужесточаются экспоненциально. Запас по мощности (OPB) сужается, а влияние каждого децибела потерь или единицы пс/нм дисперсии – возрастает катастрофически.
Плотность в ЦОД: Короткие линки (десятки-сотни метров), но огромное количество соединений (разъемы в патч-панелях, кассетах). Потери на разъемах становятся доминирующим фактором потребления бюджета, а не затухание в волокне. Качество каждого коннектора (чистота, полировка, тип – UPC/APC) и каждой адаптерной пары выходит на первый план. Старые допуски в 0.75 дБ на соединение – неприемлемы.
Претерминированные системы (AlfaDC и аналоги): Хотя они обеспечивают предсказуемость и снижают потери на сварках, точность расчета потерь на заводских разъемах и адаптерах внутри системы становится ключевой. Нельзя просто брать "средние" значения из интернета – нужны точные данные от производителя для конкретнойконфигурации.
Температурная зависимость: Мощность лазера (P_Tx) и чувствительность приемника (P_Rx) зависят от температуры. System Margin должен учитывать рабочий диапазон температур объекта (от -40°C на улице до +70°C в горячем коридоре ЦОД).
4. Стратегия Победы: Как Рассчитать и Не Ошибиться
Точные Данные – Основа Всего: Не пользуйтесь "примерными" значениями из интернета. Берите реальные минимальные/максимальные характеристики для:
Передатчиков (P_Tx_min/max) и приемников (P_Rx_min) конкретных SFP+/QSFP28/OSFP и т.д. модулей для вашей скорости и расстояния. Смотрите даташиты!
Волокна (коэф. затухания α на рабочей длине волны, дисперсия CD, PMD-коэффициент).
Каждого типа разъемов, адаптеров, мультиплексоров, разветвителей – от производителя пассивных компонентов. Требуйте данные!
Конфигурации претерминированных решений – сколько адаптеров проходит сигнал?
Считайте Наихудший Сценарий (Worst Case):
Используйте P_Tx_min (наименьшая мощность, которую может выдать Tx).
Используйте P_Rx_min (наихудшая чувствительность Rx).
Используйте максимальные заявленные потери для каждого типа компонента (разъем, сварка, WDM и т.д.).
Используйте максимальную длину волокна с максимальным коэффициентом затухания.
Заложите адекватный System_Margin (3-6 дБ – стандарт, но для критичных линий или сложных условий может быть больше).
Учитывайте Дисперсию! Для скоростей 10G+ и длин > 2 км на SMF:
Рассчитайте CD для длины линка и длины волны. Сравните с допуском дисперсии (Dispersion Limit) для вашего типа приемопередатчика (есть в даташите!). Если превышен – нужна компенсация (DCM) или другой тип волокна/длины волны.
Оцените PMD (PMD-коэффициент волокна * sqrt(длина)). Сравните с допуском по PMDприемопередатчика. Волокна с PMD > 0.1 пс/sqrt(км) могут стать проблемой для 40G/100G на больших расстояниях.
Картирование Потерь (Loss Budget Allocation): Разбейте общий допустимый бюджет (OPB - System_Margin) на сегменты:
Потери в волокне: α * L
Потери на разъемах: кол-во_пар * потери_на_пару
Потери на сварках: кол-во_стыков * потери_на_стык
Потери в пассивных устройствах (WDM, сплиттеры и т.д.)
Убедитесь, что сумма потерь во всех сегментах строго меньше выделенного бюджета.
Используйте Специализированное ПО: Для сложных проектов (особенно с WDM, компенсацией дисперсии) ручной расчет становится громоздким и чреват ошибками. Профессиональные инструменты проектирования ВОЛС – необходимость.
5. Новые Горизонты и Предостережения
Coherent (Когерентные) Технологии (100G+ DWDM, 400G ZR): Манипулируют не только мощностью, но и фазой/поляризацией света. Их устойчивость к дисперсии (CD, PMD) значительно выше, чем у прямого детектирования (OOK). НО! Требования к OSNR (отношение сигнал/шум) и нелинейным эффектам становятся крайне жесткими. Расчет бюджета переходит в плоскость OSNR и нелинейностей.
Коротковолновое Деление (SWDM) и OM5: В многомодовых системах для 40G/100G SWDM использует несколько длин волн в одном волокне. Учет затухания и дисперсии (хоть и меньшей, чем в SM) на каждой длине волны обязателен. Волокно OM5 оптимизировано для SWDM.
Чистота – Залог Успеха: На высоких скоростях и с минимальными запасами бюджета загрязненные разъемы – гарантированная причина отказов или повышенной ошибчности (BER). Протоколы чистки – must have.
Оптический бюджет – это не просто формальность для отчетности. Это физический закон, определяющий жизнеспособность вашей оптической линии. Пренебрежение точным расчетом Worst Case Scenario – прямой путь к нестабильной работе, дорогостоящим переделкам и ночным вызовам на объект. Инвестируйте время в грамотное проектирование бюджета – это окупится сторицей стабильностью вашей сети. Делитесь своими подводными камнями в комментариях!
Поговорим о трех проблемах, связанных с работой дата-центров. Посмотрим, какие решения могут предложить технологические стартапы.
Управлять сетевой инфраструктурой дата-центра сложно. На то есть несколько причин: высокая плотность размещения серверов и систем хранения данных и чуть ли не «доисторические» способы оценки состояния инфраструктуры. Одним из самых популярных инструментов для управления ЦОД по-прежнему остаются таблицы Excel, в которых администраторы отслеживают, какую железку нужно настроить или заменить.
Подобное «ручное управление» приводит к сбоям. По статистике, в 80% сбоев сетевой инфраструктуры виноват человек. В среднем, такая ошибка обходится в 140 тыс. долларов. Восстановление — это еще и время.
По этим причинам IT-индустрия старается автоматизировать настройку сетей и исключить человеческий фактор. В этой области есть много различных разработок. Одной из них является технология intent-based networking (IBN). В переводе это означает «сети, управляемые на основе намерений».
«Намерения» — это модель поведения сети (шаблон), которую задает системный администратор. Она формулируется в виде бизнес-требований, а сеть самостоятельно определяет, что нужно делать. Например, если дать системе установку: «Нужно расширить базу данных для приложения», то она сама выделит и подключит дополнительные вычислительные мощности в дата-центре. Если сказать: «Нужно развернуть приложение для обеспечения безопасности», система составит правила для файрвола и маршрутизаторов.
Одним из первых разрабатывать IBN-системы стал стартап Apstra. Их сервис называется Apstra Operating System (AOS). Администратор задает количество серверов, прописывает политики доступа, число компьютеров в сети и другие требования. После сервис сам строит схему инфраструктуры, в которой назначает устройствам в сети роли, например сервер или роутер. Сисадмину остается лишь утвердить её — настройка произойдет автоматически.
Похожий IBN-сервис разработан и ИТ-гигантом Cisco — система называется DNA Center. Один из кейсов использования — сеть в детском госпитале Лос-Анджелеса. Система ускорила настройку сетевой инфраструктуры на 50–90% и вполовину снизила количество сбоев в работе IT-инфраструктуры больницы. На основе таких показателей аналитики Gartner прогнозируют, что IBN-технологиями будут пользоваться тысячи компаний по всему миру.
Ранее на долю ЦОД приходились 2% всей потребляемой электроэнергии в мире. Ожидается, что к 2020 году эта цифра «скакнет» до 5%, а к 2025 уже достигнет небывалых 10%. Вместе с этим вырастет количество выбросов CO2 в атмосферу. Ухудшающаяся экология и увеличивающиеся счета за электричество — два главных драйвера появления «зеленых» технологий в дата-центрах.
Компании, которые работают в этой сфере, стремятся оптимизировать процессы управления электропитанием в ЦОД также за счет автоматизации. Одну из таких систем предлагает стартап Virtual Power Systems (VPS). Он помогает перераспределять энергию между оборудованием в дата-центре.
Решение компании состоит из аккумуляторов, датчиков, собирающих информацию о расходе электричества, и ПО для анализа данных — ICE Console. Когда система обнаруживает, что какому-то серверу требуется большая мощность (например, на него выросла нагрузка), она задействует доп. аккумуляторы. Если же сервер находится в «режиме ожидания», то его энергопотребление снижается. ICE повышает процент эффективного использования электричества до 80%. Обычно он составляет лишь 20–50%.
Отметим, что такие решения окажутся неэффективны, если при выборе «железа» дата-центр допустил серьёзные просчеты. Например, было куплено слишком мощное железо или недостаточное количество блоков питания. По статистике почти 80% компаний не знает, сколько потребляют их серверы, потому нерационально использует электроэнергию.
Есть и более «разумные» системы управления электропитанием, работа которых базируется на машинном обучении (МО). Такими системами чаще всего занимаются IT-гиганты вроде Google. Например, они запустили интеллектуальную систему для управления кондиционированием в ЦОД.
IT-инфраструктуру компании мониторит несколько тысяч сенсоров. Они учитывают множество параметров: начиная от нагрузки на серверы и заканчивая скоростью ветра на улице. Все эти данные поступают на вход системы искусственного интеллекта, которую компания размещает в облаке.
Эта система составляет список действий (например, ускорить вентиляторы кондиционера или перенаправить потоки воздуха), которые повлияют на энергопотребление. Затем выбирает из них наиболее эффективное.
Однажды алгоритм МО сам «догадался», что холодный воздух с улицы в зимнее время эффективнее охлаждает помещение и использовал это знание, чтобы на треть сократить энергозатраты на системы кондиционирования.
По данным экспертов, объемы информации в мире достигнут 163 зеттабайт к 2025 году. Свой вклад в это вносит развивающаяся индустрия интернета вещей (IoT). Ожидается, что число умных гаджетов к тому же 2025 году вырастет до 75 млрд. Сейчас их число едва превышает 23 млрд.
Чтобы смарт-гаджеты работали в режиме реального времени эффективнее, компании разрабатывают системы, которые бы «перенесли» вычислительные возможности ЦОД ближе к конечному пользователю.
Одним из таких стартапов является Vapor IO. Дата-центры компании — небольшие контейнеры с оборудованием, которые устанавливаются в основании вышек сотовой связи и подключаются к мобильной сети.
Каждый такой дата-центр способен принять и обработать данные от пользователей в радиусе 10–20 километров. ЦОД соединены в единую структуру, и при сбоях в одном из них трафик перераспределяется между «соседями». Американские компании воспользуются технологией уже скоро: к 2020 году Vapor IO планирует развернуть сеть в 20 крупных городах США.
Подобные технологии должны помочь компаниям не отставать от прогресса в области строительства дата-центров и обеспечить подключение для грядущей флотилии дронов и автономных роботов. Они подтолкнут развитие всех сфер деятельности: начиная от беспилотных автомобилей и заканчивая медициной с умными девайсами для мониторинга здоровья пациентов.