Mmmo

Фактически, это четыре одинаковых сервера, объединённых на одном двухюнитовом шасси. То есть, четыре сервера в одной большой железке.

Эти сервера как раз не оборудованы штатным ipmi, который позволил бы, как я описал выше, удалённо управлять сервером, если с ним что-то случилось.

По закону Мёрфи на одном из блейдов этого сервера случилась внештатная ситуация, которая потребовала моего вмешательства. Дело было то ли в субботу, то ли в воскресенье. Написал соответствующую заявку в ТП ЦОД'a и делаю контрольный звонок. Трубку взял дежурный сис.админ, назовём его, допустим, Васей.

Здесь нужно сделать ещё одно небольшое отступление и рассказать о Васе. Вася, судя по его внешности, достаточно усердно занимается тяганием различных железок в тренажёрном зале. Ещё когда в первый раз его увидел, был удивлён. У всех такое бывает, когда первый раз в жизни встречаешь айтишника-качка. Плюс-минус это выглядит так:

Не имею представления, какое у него образование, но работу на этом месте он работает по принципу "моя хата скраю; а если не скраю, то нужна подробная инструкция, что от меня нужно". То есть, скорее всего, работа выбрана потому как "что-то платят, обязанностей не очень много, ходить в качалку четыре раза в неделю позволяет". Подчеркну, я, вероятно, заблуждаюсь, и Васян - отличный специалист, хотя и очень умело это скрывает, но за Васей в нашей компании закрепилась репутация косипора: почти каждое наше с ним общение и запрос помощи заканчивались не так, как того хотелось бы. В лучшем случае достаточно было позвонить в ЦОД снова и объяснить Васе, что он сделал не так и как это переделать. В худшем - приходилось ехать в ЦОД самостоятельно и устранять возникшую ситуацию своими руками. А это драгоценное время простоя в работе сервисов.

Вернёмся к моменту, когда трубку взял Вася. Я сразу понял, что сформулированную перед звонком в голове и в письме просьбу "задержать кнопку питания на 15 секунд, подождать 5 секунд и ещё раз нажать кнопку питания на этот раз на одну секунду" нужно менять, т.к. однажды такая операция, выполненная Васей, стоила нам перегрузки не того сервера (даже с учётом того, что все сервера в наших стойках проименованы специальными стикерами). В итоге попросил его подключить к проблемному серверу ЦОД'овский KVM - устройство, позволяющее получить удалённый доступ к серверной консоли внутри ОС. То есть, работаешь с командной строкой сервера, как будто на своей машине. Это не даст возможности перегрузить сервер, но так я бы визуально понял, что Вася правильно определил машину. После чего можно уже с более-менее спокойной совестью просить отключить KVM и следом перегрузить эту машину по питанию.

Василий, наученный горьким опытом перезагрузки не того сервера, несколько раз уточнил, к какому именно серверу нужен KVM. На что получил мои чёткие указания: "Сервер с именем %%SERVERNAME%% стоит в стойке N, которая находится в ряду M. Визуально: сервер на два юнита и четыре блейда, два в одном юните сверху, два во втором юните - снизу. Нужный блейд - правый верхний, если смотреть на лицевую часть сервера." На эти пояснения я услышал что-то вроде: "Всё понял. Ждите доступы к KVM на вашем email через 10 минут".

По пришедшим через обещанные 10 минут креденшелам захожу в KVM и вижу сервер в полном здравии. Секунд 10 понадобилось невнимательному мне, чтобы понять, что KVM подключен не к тому серверу (на это намекнул hostname, видимый в моём шелле на каждом сервере по умолчанию). Звонок в ЦОД. Примерный диалог (я и В - Василий):

Я: Васлилий, это снова Mmmo. КVM подключили не к той машине.

В: Я подключил квм к тому серверу, который вы описали.

Я: Подойдите к стойке.

В: Я у неё.

Я: Видите этот сервер? Два юнита. Четыре блейда. Нужная нода справа сверху.

В: Да, всё так.

Я: Обходите стойку. Идите к тыльной стороне сервера.

В: Тут.

Я: Нашли сервер?

В: Да, вот он, перед глазами. KVM подключен в нужную ноду.

Я: В какую именно?

В: В правую верхнюю.