DmitriitheFals

Ждем второго сервис пака.

S2D и работа с NVME.
Судя по внутренним тестам, работу с локальными NVME ускорили раза в полтора. При блоке 4к и очереди 16, на чтение на 2-3 Тб тестовом файле выдает 300+к IOPS без репликации на каждый NVME SSD, а их в корзинах пока по 4 штуки. Дорогие они, даже не в рублях.
Для нормальной отладки и тестов репликации коллеги ждут, когда уже купят везде 25G SFP28 и 100G коммутатор настроят под DCBX. Хотя тут некоторые несознательные товарищи и пишут, что RDMA сложно, не понятно, и не нужно, просто купите 2х200G. Пишут в чем-то правильно, учитывая, что RDMA принципиально не совместим с LACP, кроме как последних извращений от nVidia, а 100G стоит относительно недорого.

Проблемы с настройками NVME SSD.
На одном из серверов у коллег начались странные проблемы – в DiskSPD тесты дают какой-то огромный разброс. Похоже, что-то или с режимами энергоэффективности (БИОС не настроили или ОС не настроили), и с тем как 2025 сервер распределяет задачи по ядрам.
SQLIOSim пока не проверяли.
Но, хотя бы сеть не отваливается от дисковой нагрузки, как на KVM.

Логи и метрики.
Логи стали побогаче, но все равно не дотягивают до esxtop по наполнению
Метрик стало больше.

Прочие функции, в том числе Hyper-V.
IPSEC Offloading и large send offload по прежнему работают отвратительно, вызывая какие то рандомные глюки. И по умолчанию они включены. Причем, глюки видны в некоторых сценариях, с высокой (20 гбит из 2 по 25G карт) сетевой нагрузкой, на некоторых драйверах.
TCP Chimney Offload как выпилили, так лучше не стало, да и он работал как г.

Dynamic processor compatibility mode тоже работает с какими-то непонятными глюками. То работает, то не работает, то работает между 2019 и 2022 и не работает между 2022 и 2025. Какой-то зависимости пока не видно, надо включать отладочные логи Hyper-V, а всем лень. Мне тоже. Собирайте кластера из одинаковых серверов с одинаковыми процессорами, обновляйте BIOS и да пребудет с вами шворц.

Известные глюки с SQL time при разных процессорах пока не проверяли.

ReFS MAP говном был, говном остался. Хотя, может, тестируем неправильно, не прочитав сноску:
We recommend placing write-heavy VHDs in different subdirectories. This is because ReFS writes metadata changes at the level of a directory and its files. So if you distribute write-heavy files across directories, metadata operations are smaller and run in parallel, reducing latency for apps.

Или надо сделать 30/70.

WinRM.
После последних патчей наблюдаются непонятные глюки с сборкой пачки 2019-2022-2025 в одном админ центре. Сервер сообщает too beaucoup, но, как говорят американские коллеги, it ain't too goddamned beaucoup.

Безопасность.
После торжественного выступления CrowdStrike Falcon, все рассказы из РФ, что аналоговнетные антивирусы и прочие говны не работают нормально, и только все портят, кажутся фигней.
Везде по миру разноплановое говно вместо безопасности.

Итого.
В основном безвреден.
И, похоже, это единственный доступный в РФ продукт, который будет обновляться, и будет нормально работать в гиперскейлерах – на своих 5-10 миллионах IOPS, а не на 5-10 тысячах, как недавно показанный одним облаком Ceph .

Broadcom MegaRAID 9670W-16i RAID Card
4KB Random Reads (IOPs) - 7,006,027 ; 4KB Random Writes (IOPs) - 2,167,101
NVME Raid – We Need To Go Deeper, или что там на глубине. GPU over NVME, с водяным охлаждением
Xinnor xiRAID 4.1 уже дает 65 миллионов IOPS на чтение, и поддерживает HA.

Еще в 2017 году для Microsoft Ignite – Micron собрал кластер на почти миллион IOPS - Microsoft storage spaces direct is an IO performance beast.

Что Microsoft S2D, что Broadcom vSAN, что Nutanix – все они, на самом обычном железе, уже несколько лет выдают 5-10 миллионов IOPS.
СХД Huawei на том же самом железе от Intel выдает от 5 до 20 миллионов IOPS, в зависимости от модели.

С чем бы это еще сравнить? Azure managed disk types:
Azure Premium SSD v2 - 80,000 IOPS
Azure Ultra Disk  - 400,000 IOPS
И это с репликацией в соседний ЦОД, а не «без репликации».

Концовка.

Я не понимаю, как в российских облаках умудряются терять скорость локальных дисков с пары миллионов до пары десятков тысяч IOPS.На точно таком же железе, с тем же самым Intel Inside. Это же не рокет сайнс и не AI-accelerated cloud на чипах Ascend.
Точно так же не понимаю, как можно строить такие конструкции, где шансы получить кашу вместо данных значимо растут.
Может и понимаю. Осенью 2024 году баг «viostor Reset to device» из апреля 2022 – в российских облаках у коллег воспроизводился на отлично. Российская техподдержка только мычала «попробуйте включить и выключить».
И, какие они российские. Китайские или корейские сервера, американские Cisco и Arista в сети, и американская VMware Cloud Foundation – для тех, кому надо чтобы работало. Или то, что описано сверху – для всех остальных.
Колокол уже прозвонил, Broadcom уже объявил конец эпохи - Announcing the VMware Cloud Foundation 9.0 Beta Program. Еще год-два и российским облакам придется слезать с VCF 8, а на VCF 9 уже будет совсем другая цена, и лицензии.
Reminder: vSphere 7 to reach End of Service on Oct 2, 2025
VMware ESXi 8.0 will reach the end of general support on October 11, 2027

Качество техники
На ИТ в регионах очень часто экономили (кроме филиалов чего-то очень, очень толстого). Экономили оправданно – если все работает, то зачем в 2020 году переходить с техники 2010 года? Поэтому в регионах до сих пор встречаются требования «давайте поставим 10к диски, а еще лучше 15к, а ваши SSD – дорого и ломается». Максимально урезанные капитальные затраты. Никакого обучения, слабое понимание «зачем вот так» и от ИТ, и от бизнеса. При этом, вопреки ранее высказанному экспертному мнению в комментариях, полно внедрений того или иного сервиса под Linux:
- удаленный доступ, потому что Cisco anyconnect плюс Cisco Identity Services Engine (ISE), Palo Alto GlobalProtect, FortiNAC – дорого. Зато можно увидеть труп Cisco Access Control Server (ACS), или даже RAS Gateway.
- Базы данных – Maria, MySQL и так далее – даже в кластерах. Потому что кто-то его внедрил с 2010 по 2020, и потом уволился, а сервис работает.
- Proxmox в количестве, и так далее.
Но крутится все это на 10-15 летних серверах. Потому что в 2020 начался ковид, потом Волан-де-морт, и потом денег нет, но вы держитесь. Держатся.

Организацию покупает Маааасква
Зажравшиеся москвичи приезжают посмотреть, поговорить «как дела». Изначально менять людей на месте никто особо не хочет – работает же как-то, давайте посмотрим как, чего. Новые кадры искать, их еще поищи. То, что закупка идет как-то не так, как в Москве, беспокоит финансы и прочие отделы невзаимного коитуса комплаинса.
Мааааасквичи приезжают, и сходу отправляются «вон туда». Потому что кто вы такие, я вас не знаю, идите.
Ничего не покажу, ничего не расскажу, никак вы меня не уволите, я тут власть.
Фоном идет искреннее непонимание – как же так. Я тут 5-10-15 лет все подматываю изолентой, каждый костыль знаю как родной, а мне говорят – что это за ужас, почему тут сплошные костыли и изолента, почему изолента не подписана? Так зачем мне ее подписывать, я и так ее всю помню, вот этот слой намотан в 2018 году особой желтой изолентой.

Некоторые люди искренне верят в свое бессмертие, отличную память и роль хранителя тайного знания, которое передается от сотрудника к сотруднику при уходе на пенсию.
Ничему людей не учат истории, когда кто-то попадает под машину, кого-то внезапно в 35 лет накрывает инсульт. Нет, со мной такого не будет, и все тут. 
Растет эта модель передачи знаний, на мой взгляд, тоже из СССР – когда ЭВМ покупали на завод раз в 10-15 лет, и стоили они дорого, очень дорого.

Причем люди, возможно, 10-20 лет назад и были и активные, и в теме. Но попали в цикл «работа-дом», с постоянными переработками,и,  это самое важное:
– с отсутствием обучения
- с постановкой интересов фирмы и кабанчика выше своих.
Итог? СХД ? Нафиг не нужно, локальный RAID сила, СХД могила, для нее надо обязательно FC, и ДОРОГО.
RAIN/RAIS - не, не слышали, не знаем, не существуют. Даже если и слышали, то на уровне «есть такая магия, работает везде».
Автоматизация в зачаточном состоянии. То есть, если есть «программа, которая делает что-то» - то программу установят. Если программы нет, то написать больше 3-5 строк кода по образцу – уже невыполнимая задача.
То есть, человек интегрирован в фирму в ее текущем состоянии, и у него все работает. И работает так, как считает достаточным бизнес.
Но при этом, действительно бизнес критикал задачи – оплата интернета, подключение к гос.услугам для организаций, сертификаты банков, обновления 1с вместе с тайм-бомбами от 1с, обновление антивирусов, закупка картриджей, какой-то ремонт – это все делается. Как и ритуальные задачи – подача и согласование бюджета, который потом все равно урежут, митинги, планы развития, личностного роста, планы повышения повышаемости и улучшения улучшаемости. Система, в целом, работает. Только работает как говно. Но, именно этот уровень работы и устраивает текущий бизнес.
Бизнес можно понять – получает в регионе человек, скажем, 175к рублей. Огромные денжищщи для региона. Фонд заработной платы примерно 260к. Два человека при работе «на износ» обойдутся за год в 6.3 миллиона. Кластер из двух новых серверов в нормальной комплектации обойдется миллионов в 15, без софта. Что выгоднее – брать легко заменяемых людей и вкладываться в операционные расходы (Operating expense,OPEX) или сразу потратиться еще и на сервера (Capital Expenditure, CAPEX) ?  Люди будут нужны и там, и там – только в одном случае затраты пойдут только на рабочее время сотрудников.

Дальше?
Дальше все намного проще, чем кажется. В организацию заходит внешний аудит, причем комплексный – сразу с сбором нужной статистики, автоматическим сбором типовых костылей в систему учета костылей. Внедряется, с криками, система учета рабочего времени, задач, итд. Это дорого. Но это дешевле, чем иметь неуправлямый отдел, и не документированные системы. По результатам аудита, уже бывший ИТ-отдел, отправляется в отдел кадров, писать заявления по собственному желанию.
Или не отправляется, или отправляется, но не весь. Все индивидуально.

Финал

Где-то люди готовы идти на сотрудничество, и у них, в целом, кроме бюджета, все и так неплохо. Где-то наоборот. Потом удивляются, а нас то за что.

Другой финал

Я у себя тоже неоднократно ловил симптом «хорошего сотрудника» – что сначала я сделаю что-то для фирмы, разово починю, меня заметят, потом будет все нормально.
Мне неоднократно пытались продать идею – что надо пару лет поработать, проявить себя как работник - без повышения, без обучения, давай-давай, и тогда мне попрет карьера, зарплата, итд.
Ни разу такого, конечно же, не произошло. То кризис, то кто-то заболел, то денег нет.
При этом, сама идея «лучше и эффективнее работать» работает, 1-2 грейда поднять можно, но - больше всех в колхозе работала лошадь, но председателем она так и не стала.

приведенный единственный пример
.. с хауавеем не делают процессоры
Показывает, что автор комментария действительно ничего не знает, но мнение имеет.
Huawei давно разрабатывает свои процессоры общего назначения, не только мобильные– фирма разработчик HiSilicon, процессоры Kunpeng 916, Kunpeng 920. И даже, с недавних пор, производит - процессоры Huawei Kirin X90, производство SMIC (Semiconductor Manufacturing International Corporation), и продвигает их поддержку.
И не только проектирует и производит, но и ставит их в сервера TaiShan и СХД Oceanstor Dorado v6. Но это же читать надо, а не рассказывать "покажите, кто свое делает".

Как же Эльбрус? Ведь есть же ..
Что есть?
Из линейки «Эльбрус» в России выпускался только Эльбрус-2СМ, и то, пока что-то не пошло не так, и пока на Микроне не остановился выпуск чего-то сложного на линии 90 нм от STMicroelectronics.
Эльбрус-4С заявлен с 2014 года, но отгружать его стали только в 2015, открытое тестирование прошло только в конце 2015. Производство – Тайвань.
Эльбрус-8С. Заявлен с 2015, тестов раньше 2020 года не было. Производство – Тайвань.
Эльбрус-8СВ. Заявлен с 2020, тестов раньше 2023 года не было. Производство – Тайвань.
Эльбрус-16СВ. Заявлен с 2022, есть тесты инженерного (не серийного), не очень исправного, образца. Производство – Тайвань.

Поэтому внезапно эксперты почти не врут - процессор есть. Возможно, есть даже не один процессор, а два, пять, десять, и даже, может, пятьдесят – сколько штук заказали на Тайване, сколько успели привезти, и сколько из них оказалось исправными, цитата:

На конференции Elbrus Partner Day, которая прошла 13 декабря 2021 г., Трушкин в своем выступлении сообщил, что к тому моменту первая крупная серийная партия «Эльбрусов-8СВ» в 10 тыс. штук уже оказалась на российской таможне. «Мы надеемся до конца года получить их и начать разбраковывать», — добавил он.

Можно ли его купить в розницу, или оптом, 2.5 российским облакам – Яндексу, ВК, и всем остальным? Нет.

Замечу, что в интернете присутствует копиум «снова начат выпуск Эльбрус-2СМ - 1891ВМ9Я», причем присутствует копиум только в одном интервью, цитата:

— Девяностонанометровый двухъядерный «Эльбрус» производится на «Микроне». Конечно, когда-то была возможность производить их за рубежом и по 14-нанометровой топологии, и ниже, но сегодня с этим сложнее. Когда ситуация изменилась, мы внимательно посмотрели, будет ли нам достаточно 90-нанометровой топологии, и поняли, что пока этого хватает. Глава РАН Красников рассказал о двух направлениях развития Академии наук

Производится ли он на самом деле, или, как обычно, девочка секретарь подвел – не известно. Точно секретарь подвел в технической части - Эльбрусы 8 делали на TSMC по 28 нм, а не по заявленным 14 нм.
Но в интернете есть отчет «Публичного акционерного общество "Микрон"», где производство Эльбрус-2СМ упомянуто ровно 1 (один) раз – «запущен в опытное производство в 2014». С того же 2014 года нет ни новостей про серийное гражданское производство на Микроне, ни про серийное гражданское производство плат Монокуб-М.
Рядом в интернете лежит отчет про применение Эльбрус-2СМ в других системах. Но, сами понимаете, минус 500 градусов, танк секретный.

СХД на Эльбрусе, говорите? Да пожалуйста.
Находите где-то процессор. Пересобираете, если получится, ядро  Linux с DRBD 9, пересобираете linstor, прикручиваете Zettabyte File System – разработки, кстати, Sun Microsystems, Inc – и вот вам система хранения данных.
Можно даже не linstor собрать, а Vitastor или Ceph или RAIDIX. Работать будет.

Финал
Вопрос «как будет работать тот же ERA Engine на Эльбрусе» - ответа не имеет.
Да и не требуется – нет товара в наличии, чтобы интересоваться его характеристиками.