DmitriitheFals

Блок 4к, зеркало, очередь 16 , 100% чтение – 1600к IOPS
Блок 4к, зеркало, очередь 16 , 70/30 чтение – 850k IOPS на чтение, 350k IOPS на запись
Блок 64к, зеркало, очередь 16 , 100% чтение – 650к IOPS
Блок 64к, зеркало, очередь 16 , 70/30 – 250k / 100 k IOPS
Блок 64к, зеркало, очередь 16 , 100% запись – 150 k IOPS

Результаты, конечно, не показательны - разве что для того, чтобы было с чего разговор начинать. Значимо (в 1.5 раза) влияет и число потоков на файл (точнее, соотношение числа ядер процессоров и потоков на файл – как пишут в руководствах, In general it is recommended to use 1 CPU for testing and use the same number of threads), и количество файлов, точнее используемых в тесте разделов, и тонкие или толстые диски, и так далее.
В тестах выше был MS Server 2019, это тоже имеет значение – в MS Server 2025 обещали улучшить работу с NVME

Чтение по теме:
Use DISKSPD to test workload storage performance
Windows Server 2025 Storage Performance with Diskspd
Command line and parameters
Customizing tests
Best Practices Guide for Using the DiskSpd Performance Test Tool
Performance benchmarking with Microsoft Diskspd on Nutanix

На все это намазывается не только размер блоков, но и число выделяемых дескрипторов\очередей \прочего (внутри СХД, внутри системы, внутри везде, как тех же буферных кредитов – от которых можно получить Slow-Drain), особенно если у вас не локальные диски, а СХД.
И все равно в реальном мире можно нарваться на, цитата:

Setup: Dorado 18000, iSCSI, ESXi 7.0.3 (2x25Gb)

На виртуальном диске 100 ГБ запускаю нагрузку FIO 70% read, IO Size 32 KB, вижу на datastore и на dorado одинаковый Read IO Request Size 32 KB.

На виртуальном диске 1024 ГБ тот же тест, та же нагрузка. На ВМ вижу 32 KB, на Datastore уже 25-26 KB на чтение. Запись идёт так же 32 KB. На Dorado соответственно тоже видно на чтение блок стал 25-26 KB.

Решение:
Причина мультипликации IO и несоответствия размеров блоков установлена!

Проблема возникает при превышении объёма в 32 ТБ открытых VMDK файлов на хосте.

Накладные IO вызваны нехваткой кэша указателей блоков для открытых vmdk файлов.

Этот кэш необходим для быстрого обращения к открытым блокам VMFS без  дополнительного доступа к метаданным из файловой системы.

При утилизации кэша больше 80% включается механизм вытеснения блоков указателей.

Вытесняются наименее активные блоки указатели и включаются (с чтением метаданных с vmfs) новые блоки. Отсюда возникает полученный нами overhead, т.к. нагрузочное тестирование, что FIO, что vdbench запрашивает блоки хаотично и по всему объёму.

Размер кэша задаётся advanced параметром:

VMFS3.MaxAddressableSpaceTB = 32 - Maximum size of all open files that VMFS cache will support before eviction mechanisms kick in

Его максимальное значение 128. При установке 128 - проблема с накладными IO в тестах уходит. Можно для целей тестирования выставить его в 128.

Увеличение кэша ведёт к накладным расходам по памяти, при значении по умолчанию 32 используется 128 МБ памяти. При максимальном значении 128 используется 512 МБ оперативной памяти.

В прод нагрузке вряд ли стоит увеличивать этот кэш, но посмотреть по хостам можно занятые объёмы кэшей командой:

esxcli storage vmfs pbcache get

В реальной жизни нет нагрузки со 100% активными блоками, как в синтетических тестах. Если, к примеру, активны только 20% всех блоков открытых VMDK и их указатели, соответственно попадают в кэш, то мы сможем иметь 160 ТБ открытых VMDK на хосте, при этом активные блоки указателей по-прежнему кэшируются без особого снижения производительности.

Поэтому ответ на исходный вопрос
«Но хотя-бы 400k IOPS почему никак не вытаскиваются из одного сервера с 10 дисков-то?» -
простой.
Наймите специалиста, если сами не можете. Все вытаскивается.

Дальше мне стало интересно, что же используют чуть более богатые фирмы, которые могут себе позволить потратить денег.
Оказалось, достаточно много всего, но, как всегда – есть нюансы.

Пропустим ту часть, где обсуждается «зачем столько». Сын маминой подруги сказал что можно, и дальше по классике -
НЕТ ДЕНЕГ НЕТ
@
НЕТ Я АДМИН
@
Я НИЧЕГО В ЭТОМ НЕ ПОНИМАЮ
@
ЭТО ГОСКОНТОРА ВЗЯЛИ МЕНЯ

Проблема применимости, про нее не стоит забывать.
Если у вас хотя бы 3-4 сервера с дисками, то зачем вам локальный RAID при наличии S2D и vSAN? Что с S2D, что с vSAN на 6-8 серверов можно получить 1-5 миллионов IOPS на чтение блоком 4к, при этом имея (с оговорками) и erasure coding, и, для S2D, ReFS Mirror-accelerated parity, и Data Deduplication, и в vSAN тоже много чего есть, и будет больше.

Но, к делу.

Что может выдать контроллер Broadcom MegaRAID 9670W-16i ? Посмотрим.
Broadcom MegaRAID 9670W-16i RAID Card Review.
Выглядит неплохо – до 240 SAS/SATA, до 32 NVME. Но, как только дело доходит до записи, все становится не так неплохо: для RAID 10 – Optimal
4KB Random Reads (IOPs) - 7,006,027
4KB Random Writes (IOPs) - 2,167,101

Но, есть нюанс.
Broadcom MegaRAID 9670W-16i - Storage controller (RAID) - 16 Channel - SATA 6Gb/s / SAS 24Gb/s / PCIe 4.0 (NVMe) 05-50113-00 – 1500$.

В соседнем тексте упомянули
Adaptec 3258upc32ix2s Cc 3258upc32ix2s Smartraid - 2000$. Тоже не очень дешевое решение для старого сервера.

Хотите быстрее? Нет препятствий патриотам. Только отечество не наше:

With a single SupremeRAID™ card, users can achieve extraordinary results, boasting up to 28M IOPS and 260GB/s. Supporting up to 32 native NVMe drives, it empowers exceptional NVMe/NVMeoF performance while enhancing scalability, server lifespan, and cost-effectiveness.
Supermicro and SupremeRAID™ Data Protection Solution

Performance results with SupremeRAID™ software version 1.5 on SupremeRAID™ SR-1010
2 миллиона IOPS в R5 на запись, пожалуйста.

Но, есть нюанс.
Graid SupremeRAID GRAID-1000 - 2600 $.
Graid SupremeRAID SR-1010 - 4000 $.

Не хотите карту? Нет проблем, Xinnor xiRAID.

Производительности это решение дает достаточно – до 65/8 миллионов IOPS (Xinnor xiRAID установил новый рекорд производительности среди NVMe-массивов с PCIe 5.0 SSD от Kioxia).

Говорившие «врети!» Graid даже убрали свой отчет с сайта – вот он был:
A Comparative Analysis: SupremeRAID™ NVMe® & NVMe-oF™ RAID vs Xinnor xiRAID Software RAID,
и вот его не стало.
Однако, забрать его успели сюда - Graid GPU-powered RAID card outperforms Xinnor software, картинки сами смотрите, читайте. И читайте, если интересно:
https://xinnor.io/blog/performance-guide-pt-1-performance-ch...
https://xinnor.io/blog/performance-guide-pt-2-hardware-and-s...
https://xinnor.io/blog/performance-guide-pt-3-setting-up-and-testing-raid/

Причем тут GPU?

Да при том. Graid SupremeRAID™ SR-1010 – это RTX A2000 (Ampere), и ее еще 70 ватт сверху, к и так не холодным NVME и CPU.

Вы, конечно, спросите, зачем это все?

И правильно сделаете. Идут такие решения, и подобное для тех, кому слишком дорого взять Nvidia DGX (Deep GPU Xceleration).
Дело не только в «дорого».
Набор для начинающих «по взрослому» - Nvidia DGX GB200 NVL72:
120 киловатт.
1.4 тонны.
Водяное охлаждение.
На 1 (одну) стойку.
Поэтому Equinix уже год рассказывает, какие они молодцы, и они на самом деле молодцы – столько электричества подвести, и столько тепла вывести, это вам не стойки по 5 киловатт на луч продавать.

У кого же денег не просто много, а неприлично много, и так знают те три слова, что я узнал в сегодня лет: weka, vastdata, vast.ai.

WEKA Data Platform for NVIDIA DGX BasePOD with H100
WEKA NVIDIA DGX A100 Systems (BasePOD)
The VAST Data Platform

Теперь там еще и Cosmos.

Концовка.

Тут должна быть какая-то не скомканная концовка, но я ее так и не придумал.

Для 6.5 и 6.7 обновлений ESXi давно не было, для vCenter были, но давно:
6.7 / Build Number 24337536 - 2024-10-28
6.5 / Build Number 24045034 - 2024-07-04

Как и ранее, все обновления пока свободно доступны для скачивания на Broadcom Support Portal, за исключением того, что сам портал стал еще более кривым. С каждым разом все кривее и кривее.
И, как уже написал - Release notes переехали на https://techdocs.broadcom.com

В остальном у Broadcom все по прежнему – удаляют и удаляют старое.
Перед новым годом прислали сообщение про переактивацию аккаунта для Broadcom Support Portal с 21 января 2025.
Сейчас удаляют материалы по не поддерживаемым 6.5 и 6.7 – что то остается, что-то уже нет.
Удалили часть HCL / compatibilityguide, как будет работать [Skyline] Health Hardware compatibility для старого железа - не понятно (скорее всего – никак). Может, это и к лучшему – спасибо Linux community за удаление API vmklinux и переход на Native Device Driver.
Те, кому надо, и без меня знают про USB Network Native Driver for ESXi и Nested ESXi Virtual Appliance & USB Network Native Driver for ESXi for vSphere 8.0 Update 3.

У MS наконец-то (не следил, когда, может и очень давно) поменялись дистрибутивы для скачивания 2025 сервера без регистрации и смс.

Было 26100.1.240331-1435.ge_release_SERVER_EVAL_x64FRE_en-us.iso
MD5 8286AE65AB4D6FF2430B914D7901427B

Стало 26100.1742.240906-0331.ge_release_svc_refresh_SERVER_EVAL_x64FRE_en-us.iso
MD5 52D37544CA98287DD2B15F526EBFAFA5
SHA256 D0EF4502E350E3C6C53C15B1B3020D38A5DED011BF04998E950720AC8579B23D

Было 26100.1.240331-1435.ge_release_SERVER_EVAL_x64FRE_ru-ru.iso
MD5 CE0F3B7BD4B1E11A2D158B27E29DCD99

Стало 26100.1742.240906-0331.ge_release_svc_refresh_SERVER_...
MD5 3A2CBDB4FE9E7C0A7C530CD1AE732C0F
SHA256 15F31D0E4F7C5337732BA9629008E99501AAA5007D81A267A1D04F6DEB5571A6

Внутри  sources\install.wim\ - 4 дистрибутива, с обновлениями от сентября 2024, так что все равно надо обновляться.

Обещанную мега-скорость работы на NVME пока не проверял, еще не купил на домашний стенд.
Сразу отвечу на простой вопрос, как так, prox, windows, esxi ? Очень даже так, ESXi 7 и 8 по прежнему отлично загружается с USB флешки.

На рабочих стендах до нового года (с 28 января 2025), скорее всего, коллеги проверить "как стало" не успеют.

Чем еще запомнился 2024 год, так это переходом в Ubuntu 22 и Ubuntu 24.04 server на netplan, и этот его
/etc/netplan/99_config.yaml

Зачем так было делать, я так и не понял, и не я один.
Пришлось переписать много букв, и придется переписать еще больше.
Отдельно хотелось бы отметить по прежнему не очень хорошую работу и CFS, и EEVDF, особенно если у тебя 200+ ядер на хост. Что с этим делать, как нормально настроить Sub-NUMA, Hemisphere and Quadrant Modes, и EEVDF, пока никто не сознается, придется опять идти за советами на stack overflow и reddit.

Поплакал и хватит, за работу.

Концовка

Тут должна быть какая-то не скомканная концовка, но я ее так и не придумал.

Эффективность: есть, но.
НО.
Работает только в сочетании со спортзалом, бассейном, или хотя бы прогулками 2 раза по 5 километров в день. На сидячей работе, просто сидя за компом, НЕ РАБОТАЕТ в любой дозировке.
Эффективность надо бы мерять в процентах \ килограммах, но скажу так – у меня было, упрощая, ушло 5 килограмм в первый месяц, 2.5 килограмма во второй, и по килограмму дальше. Точные цифры я раньше писал.
То есть, это НЕ препарат для сброса веса, а препарат, чтобы было легче это делать.

Побочные эффекты.
Дозировка.
10 мг – это на примерно 100 кг мужскую тушку, и такая масса это переносит.
15 мг на мужскую 100 кг тушку уже переносятся плохо, начинается тревога на ровном месте при первой фазе – у препарата странноватая биодоступность, то есть он дает два метаболита, М1 и М2, первый начинает работать через 0.5, второй вроде 6 и 12 часов, пиками. Сами гуглите фармокинетику и полувыведение, все уже написано.
20 мг в сутки с перерывом  в 12 часов – это абзац. Паника спустя полчаса, то жар то холод, короче - не передозируйте ни в коем случае. Известного мне антидота нет, разве что форсировать работу почек – то есть поллитра теплого слабого черного чая, или малинового компота.
Токсичность: Rat acute toxicity, 2.9056 LD50, mol/kg, LD50: 200 mg/kg.
https://go.drugbank.com/drugs/DB01105
https://bioinformatics.charite.de/withdrawn_3/subpages/drug_info.php?id=w139
https://pubmed.ncbi.nlm.nih.gov/5050908/

Так что умереть не умрете, но будет неприятно и страшно. Поэтому не делайте так.

Эффект отмены.
Эта штука вызывает легкое привыкание, потому что смотри механизм действия ниже. Не то чтобы очень страшно, но неприятно. Плохое, скорее «никакое» настроение вам обеспечено.

Рост давления.
У меня давление на фоне выросло со стандартных 115/75 до 135/90. Глазное давление не мерял, но, по ощущениям, тоже выросло.

Прочие побочки.
У меня не было, но список «что может пойти не так» - очень длинный, читайте инструкцию.

Что еще было.
На фоне сибутрамина я у себя отметил эффект проблем с краткосрочной памятью. Пошел в ванную зубы чистить, по дороге увидел сообщение в чате, отвлекся на полчаса и забыл, зачем шел.
Фокус внимания начинает плавать. Не критично, но все же, и вредно для работы.

Обязательно. Съедать  200-500 грамм сырых (можно тушеных) овощей и выпивать 2 стакана (400 мл) воды после приема, 2 в обед и 2 перед сном. Чтобы желудок и кишечник работали.

Причина - сибутрамин не является препаратом для похудения.
Оригинал:
Sibutramine produces its therapeutic effects by inhibition of norepinephrine (NE), serotonin (5-hydroxytryptamine, 5-HT), and to a lesser extent, dopamine reuptake at the neuronal synapse. By inhibiting the reuptake of these neurotransmitters, sibutramine promotes a sense of satiety and decrease in appetite, thereby reducing food intake. Data from animal studies also suggest that sibutramine may also increase energy expenditure through thermogenic effects in both the basal and fed states, but this has not been confirmed in humans.

Перевод:
Сибутрамин оказывает свое терапевтическое действие путем ингибирования норадреналина (НЭ), серотонина (5-гидрокситриптамина, 5-НТ) и, в меньшей степени, обратного захвата дофамина в синапсах нейронов. Ингибируя обратный захват этих нейротрансмиттеров, сибутрамин способствует возникновению чувства сытости и снижению аппетита, тем самым снижая потребление пищи. Данные исследований на животных также позволяют предположить, что сибутрамин также может увеличивать расход энергии за счет термогенных эффектов как в базальном, так и в сытом состоянии, но это не было подтверждено у людей.

Переводя на общий с высокого готика научного – вам будет чуть лучше, и вы будете чуть-чуть бодрее.
Еще раз: без спорта работать не будет.
Еще раз: давление вырастет, соответственно растет риск инсульта.
Еще раз: вредно влияет на сердце, запрещен не просто так, растет риск инфаркта и прочих.

Оземпик (семаглутид)

Первым делом прочитать:
https://www.ema.europa.eu/en/documents/assessment-report/oze...

Уколы. Подкожные, автоматический шприц с дозатором, на 2 мл, и одноразовые супер тонкие иглы.
Укол раз в неделю, первый месяц (4 укола) по 0.25, затем по 0.5.
Хранить в холодильнике! Строго при нужной температуре, так что купите термометр в холодильник.
Температура строго от +2 до +8. Кратковременно вынимать можно, для укола. Перевозить пару часов при температуре до +25 можно. Читайте инструкцию по хранению.
Значимый эффект начинается через 1.5 – 2 месяца. Рекомендаций по длительности курса я не нашел, но, похоже, надо планировать от 9 месяцев до года.

Первые два раза колоть себя очень страшно. То есть процедура простая, не могу сказать, чтобы болезненная, потому что оригинальные иглы супер острые, ультра тонкие, и короткие. Но адреналина в организме столько, что полчаса потом страаааааааашно. В первые два раза. То есть, это не эффект от укола, а эффект от страха. Я такой эффект у себя знаю, давно с ним знаком, но у кого не было – можете выпить заранее (за 5-15 минут) теплого сладкого чая или кофе.

Сама процедура очень простая – взял пластырь, спиртовую салфетку, иглу с колпачком, автошприц .
Накрутил и защелкнул иглу, спустил штаны (закатал шорты), снял колпачок с иглы, взвел шприц (покрутил дозатор), увидел появление микрокапли (значит, поставил иглу правильно), протер место укола, засадил (медленно и печально), нажал кнопку, шприц сделал щелк, под кожу влилось 0.25 \ 0.5.
Еще раз: шприц лежит в холодильнике (смотрите, чтобы дети не стащили), поэтому укол – холодный.
Если засадили в подкожный капилляр, такое бывает, то заклеили пластырем, чтобы кровью все не измазать. Только за этим.

Выглядит сложно, фактически очень просто. Самое сложное – иглу нормально защелкнуть.

Дозировка.
Внимательно читайте инструкцию! Обязательно сначала сдайте анализы и поговорите с вменяемым врачом, если найдете такого конечно. Потому что в РФ уже могут, и советуют, сразу ставить свечку, и вовсе не медицинскую.
Первый месяц \ 4 укола – по 0.25. Если нет побочек, то увеличивайте дозу до 0.5. Если есть – или продолжайте по 0.25, или прекращайте процесс.

Место укола первый день лучше не мочить, не чесать, не натирать. Не то, чтобы это было критично, но все же лучше перебдеть.

Передозировка, когда вколол еще раз 0.25 через 2-4 дня, не страшна, но побочки индивидуальные.

Побочки.

Индивидуальные, встречаются редко.
Кого-то подташнивает первые разы на 0.25 . Кого-то на 0.50 начинает. Кто-то плохо переносит жирное.
У меня вообще побочек не было, но я и до того сало не ел, и в процессе не ел. На алкоголь у меня реакции не было. Если у вас в процессе возникли побочки на жирное и алкоголь – бегом к врачу, проверять поджелудочную и прочие панкреатиты, может с ними и раньше было нехорошо.

Эффективность есть, но желательно сочетать со спортом, режимом питания.

Обязательно. Съедать  200-500 грамм сырых (можно тушеных) овощей и выпивать 2 стакана (400 мл) воды после приема, 2 в обед и 2 перед сном. Чтобы желудок и кишечник работали.

Эффект отмены.
Не замечен.

Итог:

Округляя, 15 килограмм (с 95 до 80 при росте 175) я скинул на оземпике за 3 месяца, потом был период стабильности, и с уколов я слез.
Затем случилось очень неприятное закрытие года, 2.5 месяца по 10-12 часов работы, включая субботы, так что 5 килограмм я обратно наел. Через месяц начинаю второй курс оземпика.

В РФ в рознице оземпика я не искал, плачут что оригинального не найти даже в Москве.
Не в РФ свободно доступен.
Эффективность и побочки импортозаместительного состава, его чистоту и качество, оценивать не могу. Как говорится, раньше только бензин ослиной мочой разбавляли, а сейчас - ну вы знаете.

Например:
14th Gen Intel® Core™ Desktop Processors
CPU PCIe 5.0 Lanes  Up to 16
CPU PCIe 4.0 Lanes  4

Intel® Xeon® Gold 5515+
PCI Express Revision 5.0
Max # of PCI Express Lanes 80

AMD EPYC™ 9005
Up to 160 PCIe® 5.0 lanes

Затем у вас возникает NVM Express (NVMe) или Non-Volatile Memory Host Controller Interface Specification (NVMHCIS) – это интерфейс передачи данных «до устройства хранения». Устройство хранения, в свою очередь, это сейчас какая-то NAND память. Раньше была еще память 3D XPoint, более известная как Optane, но ее выпуск прекращен, хотя она и обгоняла варианты NAND. Устройство хранения – NAND SSD, может быть в формате BGA, M.2 2230 \ 2280 \ 22110 и так далее, может быть в виде 2.5 SSD с интерфейсами M.2, U.2 (SFF-8639), U.3, EDSFF или даже L3-NVMe-3840 - NVMe Palm. Вариантов много. Сам физический разъем может быть SFF-8643, SFF-8639 и так далее.

При этом, никто не мешает включать NAND SSD через AHCI \ SATA \ SAS – и все будет работать, но есть нюансы по скорости, горячей замене, задержкам, пропускной способности и так далее.

Отличия AHCI \ SATA  и NVMe можно посмотреть тут - Understanding SSD Technology: NVMe, SATA, M.2 или на русском - Понимание SSD-технологии: NVMe, SATA, M.2

Почему это нужно и важно знать.

Потому что в головах у людей опилки происходит смешение IDE, ATA, SCSI и serial attached scsi (SAS).
На IDE контроллер можно было поставить 2 (два) устройства – master и slave.
На Ultra2 Wide SCSI – до 16 устройств.
SAS поддерживает до 65535 устройств.
Как следствие, даже в простые старые сервера (не рассматривая старые СХД) уже давно можно было ставить по 16 дисков (тогда еще дисков, сейчас уже драйвов \ приводов \ устройств хранения) на SCSI или SAS RAID контроллер, и проблем с этим не было. Наоборот, RAID контроллер за счет своей памяти, и батарейки к нему, ускорял работу, частично снимая проблему RAID write penalty, в том числе за счет всяких фокусов.
НО.

С 2012 - 2015 года, в массы пошли SSD диски, и появился стандарт NVMe 1.1b (история тут), и высокоскоростные жесткие диски (15к оборотов, 10к оборотов) стали уходить на второй план. К 2020 примерно, году, умерли и те и другие. Не нужны – цена SSD NAND упала настолько, что тот же объем памяти будет стоить уже сравнимо с дисков на 7.2к оборотов, а скорость выше в разы.
НО.

С 2012 – 2014 года началось умирание русскоязычного комьюнити, и революция с переходом на SSD прошла мимо масс. До сих пор люди пишут в спецификации 10к диски, RAID контроллеры итд. Но все, 10к дисков больше нет.

То есть, куча людей остановилась в развитии на уровне знаний где-то 2012 – 2015 года, когда RAID контроллеры уже были, а NVMe еще не было.

Где тут подвох?

Подвох в том, что существуют RAID 3-Mode (SATA/SAS/NVMe), и, естественно, возникает простое желание – взять и собрать NVMe RAID. Технически это возможно, он соберется.
Практически SCSI \ NVMe команды, приходя на контроллер, будут попадать в очередь контроллера (или не будут - потому что в документации этот вопрос написан крайне мутно), а там глубина очереди всего 64, может 128, может 256. Глубину очереди в обзорах порой просто не затрагивают (пример). И в спецификации этого параметра нет. И в ОС этот параметр настраивается, до определенных пределов.
При том, что у Dell PERC H755N front NVMe - Controller queue depth - 5120, но не указано, на контроллер или на IO target.
При том, что в тестах типа Partner Blog: Boston Limited | Elevate Your NVMe Performance with SupremeRAID™ Next Generation GPU-based RAID - результаты очень неплохие.
У NVMe диска, подключенного напрямую, глубина очереди 2046 и выше. Итог – система в целом будет работать медленнее, и, что еще хуже, с непредсказуемым поведением дисков. Операционная система может в какой-то момент посчитать, что исправный NVMe диск работает слишком медленно, по ее представлению, и пометить его как неисправный. И вы скажете ШТОООА? А вот.

Поэтому: пока что никаких NVMe RAID. Еще раз:

Queue depth is extremely important, as issues have been observed with controllers that have very small queue depths. In particular, controllers with small queue depths (less than 256) can impact virtual machine I/O performance when vSAN is rebuilding components, either due to a failure or when requested to do so when entering maintenance mode.

Design Decision : Choose storage I/O controllers that have as large a queue depth as possible. While 256 are the minimum, the recommendation would be to choose a controller with a much larger queue depth where possible. (Цитата стянута из вот этой, полезной в целом, статьи)

Где тут подвох еще раз?

Подвох в том, что у вас на серверной материнской плате может оказаться 2-4-6, ну может 8, разъемов под NVMe. На передней панели слоты есть, а на дисковом бекплейне – нет. И как хотите. Поэтому нужно очень, очень внимательно читать спецификацию на все.

И при этом, вы все равно не можете нормально собрать аппаратный NVMe RAID на простом серверном железе. Что делать и как это обходят прочие производители? Для СХД давным давно, со времен первых HPE 3PAR, используется динамический рейд, с чанками \ чанклетами, только называется у всех по разному – Lenovo draid, Huawei raid 2.0, Netapp Dynamic disk pools (DDP), и так далее.
Для всего остального есть программный RAID, только вот загрузиться с такого зеркала, без плясок и кучи ручных операций, нельзя.

Прочие больные места -1. На старых серверах, где-то до 2020 года выпуска, в BIOS нет интегрированного NVMe драйвера. Иногда можно разобрать старый образ BIOS, вручную добавить драйвер, собрать обратно и обновить систему, иногда нет. В итоге, устройство есть и работает, как и положено PCIe устройству, а как загрузочный диск данное устройство не определяется. И все. Сам не сталкивался, дальние знакомые на какой-то распродаже купили старые Supermicro и поели с этим, большой ложкой.

Прочие больные места -2. Некоторые SSD NVMe домашнего сегмента работают только в режиме PCIe4. Некоторые при этом могут работать с некоторыми материнскими платами с какой-то версией BIOS в режиме автоопределения, а некоторым надо ставить режим вручную.

Поэтому, когда кто-то необученный переносит свой домашний опыт «воткнул и заработало» на работу с серверами, может быть больно тут, там, везде. И еще в паре десятков мест это может выстрелить в ногу, но про это позже.

Обманчивая простота современной виртуализации и соблазны перейти на SDS и HCI

Снова – сначала термины

HA: VMware vSphere High Availability: средство отказоустойчивости виртуальных машин, позволяющее в случае отказа физического хост-сервера автоматически перезапустить его виртуальные машины с общего хранилища

Аналог: Hyper-V High Availability (в составе Hyper-V failover cluster)

VMware Fault Tolerance (FT): средство непрерывной доступности виртуальных машин, позволяющее поддерживать резервную работающую копию виртуальной машины на другом сервере.

Аналоги – так сразу и не скажу. Если смотреть на уровень выше или дороже, то это что-то типа 4* BullSequana S200 – то есть BullSequana S800. И то, такое определение сошло бы для контингента хабра, потому что это совсем другое.

Software-defined storage (SDS) – в какой-то степени маркетинговый термин, потому что туда попадает и Gluster, и S2D, и даже XPenology, ScaleIO и RAIDIX. Возникает соблазн сказать, что «если что-то ставится на обычное железо и получается СХД (Storage system \ Data Storage), то это SDS. Но это не совсем так – в современных СХД стоят почти те же самые Intel или что-то из arm, специализированные контроллеры для ускорения операций остались где-то на рубеже 2015-2018 годов, и на некоторых СХД возможен запуск виртуальных машин для каких-то очень небольших задач.
Чуть проще различать SDS и HCI.
SDS занимается почти только обработкой данных.
HCI (Hyper-converged infrastructure) занимается и виртуализацией, и хранением, и сетью.

Причем, сказать «занимается сетью», обсуждая HCI, можно только с перепоя. Это тоже очень непростая тема для обсуждения, потому что существует и активно применяется Azure SmartNIC/DPU/IPU / Azure Boost – FPGA модуль ускорения для сети. Или, те же настройки VMware VeloCloud SD-WAN и NSX Data Center – это вещь «очень в себе». Как и Hyper-V Network Virtualization с VXLAN. Как и OpenStack Networking Open vSwitch (OVS), Open Virtual Network (OVN) и так далее.

В чем кажущиеся плюсы HCI?

С первого взгляда кажется, что это просто. Можно собрать почти любой HCI на почти любом железе из соседнего ларька с бу, и это запустится, вот примеры конфигурации для сборки домашней лаборатории.

Система будет ругаться, кричать ужасными алертами, что так делать нельзя, не надо так, но разве это кого-то остановит, запустилось же.

Можно даже собрать сеть так, как собирали деды – на LACP, наплевав на то, что уже больше 10 лет существует и active – active, и Switch Embedded Teaming с его Dynamic VMMQ, и даже божественный и неповторимый Network Air Gaps.

Читать алерты не нужно, все же не взорвалось сразу, значит ок.

Если вам безразлична остановка на неделю, если у вас нет и не было проверенного плана восстановления – то смело делайте. Если же вам критична остановка, то не нанимайте на работу идиотов, которые запускают сервисы на чем попало.

Тем не менее, экономные начальники, которые нанимают на работу людей, который собирают HCI системы на SATA , или ставят NVMe в RAID, или строят системы на 2 серверах не из HCL – были, есть, и будут. С последующим «ой кто же это сделал».

То есть, для учебы, тестов, стендов, прочих систем которые совсем не жалко – сколько угодно делайте, и из чего угодно. Хоть стройте систему на shotgun mode. Учиться –можно, работать нет.

В реальной жизни все иначе

Если у вас нет опыта работы в инфраструктуре с хотя бы 2-3 хотя бы MSA 2060 и аналогами (Synology и TrueNas не считаются), то даже не смотрите в сторону HCI. HCI имеет смысл, когда у вас есть опыт работы с классическим хранилищем, и вы понимаете их плюсы и минусы. Иначе любая HCI будет источником сплошной и бесконечной боли, причем в самый неудобный и неприятный момент.
Да, есть варианты типа ROBO на 3 сервера, и даже 2-node cluster, но
минимальное число серверов в инфраструктуре HCI – 4, но надо 6, лучше 10:
vSAN: To use RAID-6, you must have at least six hosts in the cluster.
S2D – можно начать с 4, но лучше 10-12: Dual parity efficiency for hybrid deployments, Dual parity efficiency for all-flash deployments.

HCI крайне, бесконечно капризен к используемому оборудованию и его конфигурации.

То есть, если вы хотите зачем-то внедрить HCI И спать спокойно, то вам придется покупать исключительно сертифицированное оборудование, и внимательно следить за рекомендациями связки драйвер + прошивка. Это еще если у производителя HCI есть такие рекомендации, иначе все на свой страх и риск.
Еще раз повторю: запуск системы и ее работа во время тестов – 1,2, 3 дня, неделя – не означает, что система не упадет просто так через 32 тысячи минут. Или через 200 дней. Или еще как-то. Это не говоря про проблемы с зависимостями, где обновление какой-то одной библиотеки может положить весь кластер.

Комплексная литература на русском по HCI отсутствует, и почти отсутствует русскоязычная экспертиза

По простым задачам вам, может, и помогут – советами типа «перезагрузи все». Совет плохой.
По сложным задачам помогать вам будет некому. То есть, может да, может нет – но это не та система, и не то сообщество, где люди вообще склонны помогать, и тем более бесплатно.
Но, и за деньги помогать зачастую, некому. Все сами.

Да, есть много англоязычной литературы -
vSAN Planning and Deployment
vSAN Network Design
Designing and Sizing vSAN Storage

Storage Spaces Direct overview
Storage Spaces Direct hardware requirements
Identify and verify the status of tested products for Windows Server

Compute Starter Kit
Learning OpenStack Networking - Third Edition
OpenStack Cloud Computing Cookbook: Over 100 practical recipes to help you build and operate OpenStack cloud computing, storage, networking, and automation, 4th Edition – 2018

Вам не поможет набраться опыта падение этой системы.

Есть старое и ошибочное мнение – профессионал это тот, кто наступал на грабли много раз.
Это не так.
Профессионал – это человек, который наступал на грабли мало раз, потому что про основной объем граблей он узнал заранее, предусмотрел эти сценарий отказа, проработал их на стенде и при пилоте, и потом бил по рукам тех, кто говорил «давайте сразу в прод,  я сто раз так делал».

Концовка

Тут должна быть какая-то не скомканная концовка, но я ее не придумал.

К 1894 – 1895 году ситуация не очень изменилась:

за изготовлением сталеникелевых плит той же толщины для эскадренного броненосца "Петропавловск" русское Морское министерство обратилось к американской фирме "Бетлехем айрон компани".
12 ноября 1890 года МТК донес управляющему министерством об удовлетворительном качестве стальной брони Ижорских заводов.
В мае 1898 года с разрешения императора у германской фирмы Ф.Круппа было приобретено право производства брони по ее способу на Адмиралтейских Ижорских и Обуховском заводах.
Освоение производства крупповской брони начато на Ижорских заводах со второй половины 1898 года, валовое производство - с 1899 года.

см. Матвеенко Андрей Григорьевич Производство брони для нужд флота в Российской империи

За годы революции, гражданской войны и прочего построения светлого будущего – технологии были утеряны, и пришлось снова посылать Емельянова, Тевосяна и так далее – к Круппу:

Скоро на завод прибыл еще советский практикант – инженер путиловского завода Зегжда*. Он рассказал, что завод начал осваивать производство новой марки стали с высоким содержанием алюминия и заводские работники встретились с большими трудностями.

– А что у вас за затруднения? – спросил Тевосян.

– Сталь должна содержать около одного процента алюминия и 0,2-0,3 процента кремния, а у нас получается все как раз наоборот: алюминий горит, и мы его никак не можем удержать в стали, а кремний неизвестно откуда лезет в сталь, и его содержание доходит до 0,8-0,9 процента. Работы с этой маркой прекратили, а меня вот сюда направили, – поведал нам свои горести Зегжда. ..
Но что это такое? Один из рабочих ночной бригады находился здесь, и когда печь стали наклонять, он поднял заслонку и к выпускному отверстию стал лопатой бросать известь.
– Зачем вы это делаете? – спросил я его.
– Надо шлак удержать в печи, пока сливается сталь, иначе весь алюминий сгорит.

Емельянов Василий Семёнович. О времени, о товарищах, о себе

* Андрей Петрович Зегжда. Арестован 17 июня 1938 года. Приговорен постановлением Особого совещания при НКВД от 17 марта 1940 года по ст. 58-6,8,11 УК РСФСР к пяти годам заключения. Умер 17 июля 1943 года в Воркутлаге. Президиум Ленинградского городского суда 2 марта 1957 года постановил реабилитировать «за недоказанностью виновности».
Сын - Сергей Андреевич Зегжда (1935-2015).
Брат - Алексей Петрович Зегжда (1900-1955).

Настоящие трудности мы встретили тогда, когда приступили к изготовлению больших корабельных броневых плит весом до ста тонн.

И вдруг кто-то из мастеров проговорил:

— А ведь в старое время на заводе броневую сталь отливали. Конечно, таких больших слитков не делали, но, может быть, посоветоваться со старыми мастерами?

Я видел, что старый мастер хитрит, и вместе с тем понимал, что на его стороне имеется большое преимущество — он был единственным из присутствующих в кабинете, кто отливал крупные корабельные плиты. Все остальные никогда этим делом не занимались.

Емельянов Василий Семёнович. На пороге войны

Та же ситуация была и в авиации с их бесконечной борьбой по выбору профиля крыла «чтоб не бились хотя бы на взлете», всяких САХ и прочих центровок –  отчего И-16 и УТИ-4 затягивается в пикирование (так погиб Таборовский) и валится в штопор (так погибли Серов и Осипенко), выбору материалов для двигателей и фильтров, и даже самой идеи поставить в самолет Komandogerat (BMW 801 Kommandogerät) или автоматические предкрылки (Me-109), или автоматизацию управления створками радиатора (Me-109) итд. Вплоть до первых гидравлических приводов, полученных в СССР вместе с DC-3 (ПС-84), и немецкой автоматики – всех этих сервомашин (сельсинов), закисей меди (купроксы), итд.

Второй разрыв
Начался при переходе от послевоенного восстановления , к застою середины 70х.
В 30е – 50е училища так или иначе были приписаны к заводам, в 60е их отделили:

В 1959—1963 годах наряду со всеми профессионально-техническими учебными заведениями системы Государственных трудовых резервов СССР школы ФЗУ были преобразованы в профессионально-технические училища (ПТУ) с различными сроками обучения.

К началу застоя (1964) руководство промышленности перестало была заинтересовано в инновациях – есть план, за него дают премии.
Итоги борьбы между разными ведомствами, технологиями, идеями и возможностями производства привели к парадоксальному решению – закупки в СССР и переходу на IBM и DEC, см. Хождение за три буквы.

Произошло разделение – учеба отдельно, производство отдельно. В топ-10 советских ВУЗов по прежнему можно было выбрать 10% лучших, начиная с спецшколы, и завлечь их в не-мирный космос, не-мирный атом, и прочую военку. Остальное производство получало инженеров, которых еще 2-5 лет надо было доучивать, в лучшем случае. И даже это доучивание не помогало. Если что-то конструировали люди, для которых экономика, наработка на отказ и предельные режимы какие-то загадочные не значащие слова, когда партия сказала догнать и перегнать, то СССР получал Ту-144 с его показательными 50 пассажирскими рейсами и ресурсом, и РБМК, где кнопка аварийной остановки не останавливает, а скорее наоборот.

Крики «да что ж вы делаете» - результатов не дали:

Особенно тревожно для будущего страны замедление в развитии образования: наши общие расходы на образование всех видов втрое меньше, чем в США, и растут медленнее. Трагически возрастает алкоголизм и начинает заявлять о себе наркомания. Во многих районах страны систематически увеличивается преступность. В ряде мест все заметнее становятся симптомы явлений коррупции. В работе научных и научно-технических организаций усиливаются бюрократизм,  ведомственность,  формальное отношение к своим задачам, безынициативность.
19 марта 1970 года
Меморандум А. Сахарова, В. Турчина и Р. Медведева
Приложения:ксерокопия конверта с адресом, написанным рукой Сахарова - на 1 л. Источник:Архив Президента РФ

См. Авербух М.С. Социалистическая индустриализация СССР (довоенный период),
Петросян К.А. Советский метод индустриализации. М.: Госполитиздат, 1951
и Научно-техническое развитие машиностроительных предприятий ленинградского региона (во второй половине 1940-х – начале 1980-х гг.)

Третий разрыв образовался в 80е- 90е, вместе с концом СССР.

Коммунистическая партия и комсомол вовсю осваивали малый бизнес – через центры научно-технического творчества молодёжи (НТТМ). Крупное производство давно, со времен рыбного и сочинского дела, работало в три смены – две на государство, третью на рынок.

У студента в 80е был выбор: куда поступать, чему учиться, и что потом делать. За какую зарплату. Где потом работать - с правом выезда за рубеж, или 10 лет сидеть дома.
После конца СССР на производствах пошло ускоренное выбывание, по пенсии и смерти, старых кадров, без передачи производственного опыта – новым кадрам. На тех производствах, где в 90е шло переоснащение на западные производственные комплексы, проблем было меньше.
Старые кадры работали и на старом, и на новом оборудовании. Новые кадры работали на новом оборудовании. Нет смысла учиться работать на старом, нет платежеспособного спроса на такое умение на рынке труда, если только ты сам не строишь малый бизнес в гараже. Но тогда (перестройка и сразу после)  умение строить такой бизнес было редким, и регулярно заканчивалось поездкой в лес. В багажнике.

На работающих предприятиях, опыт, так или иначе, передавался.

Четвертый разрыв.
Идет сейчас, и в ИТ, и в промышленном производстве, и в процессах управления.
Выглядит это так:
Даже в топ-10 вузов все меньше и меньше учат, все чаще выдают справку про усидчивость и социализацию. Про вузы ниже топ-10 и говорить не приходится. Конечно, всегда есть исключения.

На производстве, после ухода и уезда удаленной техподдержки, зачастую некому учить оставшихся. Оборудование местами есть, но к нему ни руководства, ни расходников, ни ключевых компонентов. То есть, это не ситуация «вообще нет» - что-то где то есть, что-то как-то еще работает. Что-то заменили на китайские линии. Завод - работает, продукцию - выдает. Пока работает, но уже сейчас даже в гараже с земляным полом и постоянно падающими краном, могут что-то делать лучше.

В управлении и процессах управления персоналом все тоже сложно. Годами шла классическая эволюция – толковые менеджеры уезжали от региональных кабанчиков в Москву, из Москвы самые толковые переходили на роль руководителей проектов, менеджеров проектов, итд, но в западные фирмы, потом уезжали. После 2022 образовался разрыв и в «процессе обучения руководству». Оказалось, что орать и стучать по столу – больше не работает, обещать лишить премии – не работает, обещать уволить – не работает, на выходе - срыв проекта. Кто мог не орать, но не уехал – остались в меньшинстве.
Из-за этого вымывания «снизу», «сверху» стало больше детей уважаемых родителей – чей вклад в процесс управления раньше нивелировался слоями ниже. Слой менеджмента «из народа» стал пожиже (уезжали и уехали, без шума – начиная с 2010-2012 года ехали и едут), а управленцев «от хороших родителей» - побольше. Эти обычно не уезжали, потому что зачем? Здесь красивая местность, машина-квартира, протекция от папы-мамы-дяди, и иностранные языки, лет ми спик фром май харт, учить не надо.
Всегда были исключения. Кто-то уезжал в европейские филиалы. Кто-то, понимая, куда все катится, загонял детей учить и английский и французский\немецкий, еще в середине 2000х, как только начались программы обмена, и стало можно хоть как-то отправить ребенка в США или Европу «поучиться».

Многие в РФ до сих пор надеются, что фарш провернется назад. Но даже если и не провернется –домик в Таиланде, или Чехии, или Черногории уже куплен, деньги запасены где надо, маленький бизнес на хороших людей на месте оформлен – жизнь удалась.
Можно смело осваивать импортозамещение. Главное – правильно выбирать выражения, например:

Минцифры предложило ввести специальные форвардные контракты для тех, кто не успеет до 1 января 2025 года перевести критическую инфраструктуру на отечественное ПО. Единственный значимым барьером для осуществления перехода на российское ПО является отсутствие финансирования, отметил СЕО компании Security Vision Руслан Рахметов. По его мнению, нужно поощрять разработчиков к созданию решений под задачи конкретных заказчиков. «Если государство сможет взять на себя софинансирование такой инициативы в рамках нацпроекта "Экономика данных", то это действительно будет крайне полезным», — резюмировал он.
ТАСС: в РФ есть сложности с замещением западных ПО в критической инфраструктуре - Эксперты склоняются к тому, что сервисы замещены неплохо, но с ПО в КИИ есть сложности.

Впрочем, в Security Vision с их
Второй вариант - переход на Open Source (продукты с открытым кодом) как альтернативу импортным решениям (Тасс)

Как-то забыли и то, что ряд опенсорса оказался с антироссийской позицией, и то, что российских разработчиков выкинули из ряда разработок опенсорс.

Что в итоге?
В итоге складывается очень интересная ситуация, в корне отличающаяся от 90х.
В 90е у студента в ИТ не было выбора – есть англоязычная литература (если повезло), есть какой-то перевод, есть образцы «потрогать», и есть люди, которых можно спросить.  На выходе – мотивированный на самообучение студент. Может быть, с плохим английским, но с представлением про материальную базу, алгоритмы, память итд.

Сейчас студент после ВУЗ в ИТ в среднем (за исключением 10% выпускников топ-10 вызов) не знает вообще ничего нужного в работе. Да, его учили какой-то математике, но на стартовых позициях (джуна \ эникея) она еще не нужна.

Если говорить про джунов по направлению разработки – там ни алгоритмов в голове, базовых, ни структур данных. Как котята – к лотку гиту не приучены.
Если говорить про джунов по направлению инфраструктура – то для них все, сложнее установки программы «далее-далее-готово» или sudo apt install вызывает ступор. Наверное, он может переставить Windows Home или Ubuntu – но настройка даже RAID или LVM вызывает недоумение. От HCI и RAIN студент может впасть в панику. От слов HCL или "придется смотреть в код" - плачет, сворачивается в углу со словами "к этому меня жизнь не готовила".

Бывают исключения, как без них, но 90%, если не 95%, именно такие.

И, про что вся песня и писалась – массово их доучивать никто не будет.

Слишком велик разрыв – нужно загонять в голову всю ту базу, что они могли бы выучить в институте, но не учили.
Загонять некому – нет ни времени, ни желания, ни практического смысла, ничего.
Наоборот, есть опасения:
От сотрудников постарше - что молодой чему-то научится, и подсидит дедушку.
От руководства и кадров - что молодой хоть чему-то научится, и убежит, как Колобок от дедушки.

Хуже всего то, что в высшей школе перестали требовать учиться самостоятельно, и учить самостоятельности. Причина известна - оплата по головам, не выгодно сокращать даже абсолютное дерево.

Что на это отвечают с самого верха?

Сообщают: ждите,  уже со дня на день сократят массу ненужных ИТ специалистов, и они будут вынуждены пойти работать за еду.

В 2025 году темпы роста зарплат замедлятся, сотрудники будут «перепрыгивать» из компании в компанию, а работодатели — пересматривать системы мотивации. О главных трендах на рынке труда в России в ближайший год

Решать проблему предлагается импортозамещением:

Минтруд вышел с инициативой увеличить в 2025 году на 50% число квот для квалифицированных иностранных работников .. На сегодняшний день в стране наблюдается дефицит рабочей силы, констатируется в документе. на те рабочие места, замещение которых требует уровня высокой профессиональной подготовки, знаний и навыков, которые в силу различных причин отсутствуют у российских граждан (применение иностранных технологий, модернизация и т.д.)», — указано в проекте постановления. 25.10.2024 Минтруд предложил в 1,5 раза поднять квоту на наем иностранцев

Почему эти все прогнозы – гадание и попытка качать деревья, чтобы подул ветер.

Есть две большие группы проблем – те, которые точно надо решать, и те, относительно которых надо выражать глубокую озабоченность.

Когда проблема есть, и ее действительно надо решать – тут же находятся деньги на зарплаты, выплаты по страховке, и на то, чтобы обклеить всю Москву плакатами «Если не ты, то кот».

Когда относительно проблемы надо выражать озабоченность, то что угодно подойдет - непреодолимые силы природы, электронно-дырочный переход на стодвадцатьвторой полиграфический уклад с пятого техносклада, свет с Венеры отразился от верхних слоёв атмосферы, народишко не тот, наследие коммунизма, либерализма, капитализма, многолетнего онанизма, Обама наложил порчу, это все придумал Черчилль..

Что происходит с ИТ в РФ – выберите сами.

Что делать, как различить первое от второго, с точки зрения сотрудника?
Я пока не знаю другого способа, кроме как через деньги.
В первом случае – есть плакаты, реклама, указана фиксированная сумма, премии, и всем известно, почему в Москву ехать надо.

Во втором начинаются рассуждения на всех уровнях – вроде есть недостаток кадров, но не понятно ни «каких», ни «сколько именно», ни «на какие зарплаты», и рассуждения кадровых отделов  \ HR - «мы что-то делали, но не можем сказать что, и показать в цифрах, что именно».

Так везде?

Это состояние, пустые разговоры без цифр и организационных выводов, характерно для старой Европы и РФ, разве что с отставанием в РФ лет на 5-10. То, что в 2010-2020 говорили HR в Германии, Англии, Ирландии, Нидерландах и так далее по Европе – сейчас пытаются пересказать своими словами HR в РФ.

В Европе это звучало как «народ сидит на пособии, или в родительском доме, с текущей налоговой политикой ему нет смысла работать больше, поколение не то – давайте привозить мигрантов. Например, из восточной Европы, или Москвы или даже из России, они там дикие, асоциальные, но вроде моются, и на людей с ножами не кидаются, хотя и толерантности никакой, ах ах».
Ни в коем случае никаких разговоров про налоговую политику, демографию и зеленые инициативы – что вы, как можно, это можно дойти до страшных букв AfD. Вот вам Sexuelle Übergriffe, и не болейте.

В России пока что ограничиваются фразами «народ не тот» и «рынок перекошен».
Перевод с HR-ского:
Народ не тот: мы не указываем в вакансии деньги, потому что нам так сказал руководитель, а он читал, что в Европе так делают. Поэтому на нашу вакансию откликаются вовсе не те, кого мы хотим.
Рынок перекошен: нам совершенно не интересно заниматься реальным анализом рынка спроса \ предложения, поэтому мы устроим змею, кусающую себя за хвост: будем предлагать оплату труда по низу рынка, ориентируясь на вакансии, которые специально не закрывают годами, предлагая на них оплату существенно ниже рынка.

HR, надо сказать, тоже не везет – руководство требует набирать лояльных, не склонных к смене места работы, и потом удивляются, как же так: мы просим набирать лояльных, и спрашиваем на интервью с них, как с умных. Что могло пойти не так?

Что я в связи с этим думаю

Есть две противоположные ветки развития – варвар и клирик, менеджер и технический специалист. Техническому специалисту нужно знать атаки менеджера на его зарплату, и как эти атаки блокировать. Пока в РФ работает универсальное заклинание – «У нас товар, у вас купец. Деньги покажите», в ответ на любую инициативу менеджмента «выходите за пределы комфорта», или «приведи друга бесплатно, а потом мы, может быть, подумаем, как дать тебе грамоту».

Менеджменту и управлению персоналом тоже надо учиться, но этот опыт (если ты не из семьи потомственных руководителей и номенклатуры):
* оплачивается в РФ хуже, чем такой же (требующий столько же времени на теорию и практику) технический уровень,
* плохо (скорее, никак) не переносится на мировой уровень.

Знаешь Java \ kvm \ контроллеры Siemens \ etc – можешь работать везде в мире.
Работал менеджером по чему угодно в РФ – не факт, что твой опыт применим еще где-то в РФ, в Европе тебя ждет масса сюрпризов с законами, менталитетом и, иногда профсоюзами.
Или-или.

Поэтому лично я
собираюсь пересмотреть лекцию G Edward Griffin, 1964 про демократию и конституцию.
В том числе:
G. Edward Griffin - More Deadly Than War: The Communist Revolution in America
G. Edward Griffin explains the difference between a direct democracy and a constitutional republic
Difference Between Democracy and a Constitutional Republic

Цитата
"Democracy is a form of government based on the principle of majority rule, period, end of discussion. Now that's not very complicated. Majority rule. It's easy to understand, easy to sell to the masses, and might I add, deadening. For example, what would you call a lynch mob? That's majority rule. There's only one dissenting vote, and he's at the end of a rope. That's pure democracy in action.

But wait a minute you say. The majority should rule, but not at the expense of destroying the rights of the minority. And now ladies and gentlemen, we are no longer speaking about a democracy. We are speaking of a republic. A republic is a limited democracy. It's a form of government based upon the principle of limited majority rule. Limited so that the minority, even a minority of one, can be protected against the whims and passions of the majority. And how do you protect the minority from the majority? You write down a set of rules on a piece of paper. You say, this we can do, that we cannot. At the top of the paper you write the word "Constitution." Everyone agrees to follow the rules no matter what the temptation. And when you're finished, you've created... a "Constitutional Republic."

Важное примечание, для тех, кто дочитал.
Еще одна не очевидная проблема для следующего поколения и со следующим поколением, это отсутствия представления, «как оно» и «бывает иначе».
Есть реклама вида «в нашем банке не только собирают без спроса, с серым шрифтом на сером фоне, что ты согласен на передачу биометрии*, но бла бла *».
* и внезапно у ФАС, ЦБР и РКН лапки, а не штраф.
** рекламное бла бла.

Есть инженерная и бюджетная реальность. Современная игровая видеокарта стоит 1500-2500$ без доставки, и выдает от 300 (4080) до  575 ватт тепла (RTX 5090). К стойкам в среднем ЦОД подведено хорошо если 5-7 киловатт на луч. Со стойки больше 5-10 киловатт на воздухе, без инженерных фокусов вроде вентиляторной двери и межстоечных кондиционеров, отводить сложно. Поэтому, чтобы в ЦОД в РФ поставить хотя бы сотню видеокарт, нужно потратить год, скорее полтора, "на все". Потому что бюджет, закупка, доставка, согласования, монтаж.

Не игровая карта H200 стоит около $40,000 за штуку. 700 ватт. Собирается в блоки по 2-4-8 штук.
Анонсирована в 2023, поставки начались весной 2024. На подходе NVIDIA B200 – в 4 раза быстрее, чем H100 GPU, потребляет киловатт мощности, выдает киловатт тепла, требует жидкостного охлаждения.

Собирают их блоками:
xAI собрали суперкластер Colossus из 100.000 Nvidia H200 Blackwell, 700 ватт каждая, за 19 дней, и за три месяца на весь проект, но скорее всего побольше - Dell и Supermicro вели сборку стоек еще в июне 2024.
Oracle с ноября 2024 предлагает до 65 тысяч GPU в облаке - Now Generally Available: The Largest, Fastest AI Supercomputer in the Cloud.

То же самое на русском - Корпорация Oracle сообщила о доступности облачного суперкластера с ускорителями NVIDIA H200, предназначенного для ресурсоёмких ИИ-нагрузок, включая обучение больших языковых моделей (LLM). Арендовать мощности системы можно по цене от $10 в час в расчёте на GPU.

В РФ – можно найти отдельный сервер в аренду. С одной, ну двумя, H200.

Хотите попробовать квантовые вычисления? Пожалуйста, IBM Quantum Platform. Регистрируйся и вперед.

РФ - ?

Средним студентам попросту не на что ориентироваться, из того, к чему они реально могут получить доступ.

Это не удивительно, денег нет. На глобальном уровне - даже Сбербанк на 77месте в мире финансов, и на 44 из 155 по мировым банкам. Если смотреть не на банки, а на инвестиционные фонды, то всплывет топ-10:
1. 🇺🇸 BlackRock $10.5 трлн
2. 🇺🇸 Vanguard $9.3 трлн
3. 🇺🇸 Fidelity $5.3 трлн
4. 🇺🇸 STATE STREET $4.3 трлн
5. 🇺🇸 Morgan Stanley $3.6 трлн
6. 🇺🇸 JPMORGAN CHASE & CO. $3.6 трлн 7. 🇫🇷 CRÉDIT AGRICOLE $2.9 трлн 8. 🇺🇸 Goldman Sachs $2.8 трлн 9. 🇨🇭UBS $2.6 трлн 10. 🇺🇸 CAPITAL GROUP $2.6 трлн
Сбербанк - Общий капитал на 30 июня 2023 года составил 5,826 трлн рублей, снизившись за второй квартал на 3,4% (рост с начала года на 2,5%).

К чему это все приведет?

К окончательному разделению рынка ИТ в РФ в 2025 году на два очень слабо связанных кластера.

«Внутренний» кластер – где HR по полгода не могут найти кандидатов с приемлемыми для бизнеса знаниями, за ту цену, которую бизнес считает «нормальной». Потолок зарплаты – 5.000$ после налогов, в месяц.

«Энтерпрайзный» кластер – куда нет открытого найма, почти весь найм только по знакомству. С зарплатами от 7.500$ после налогов, в месяц, и выше – потому что в MS предлагают 350к в год до налогов, плюс бонусы, акции, и, главное, эцилопп не имеет права бить по ночам.

HR, конечно, будут плакать на публику.
Минцифры, конечно, объявит публичную акцию - Сотрудников крупных IТ-компаний предложили обязать преподавать в вузах.

Но нужных ЦОД все равно нет:
Сбербанк и Т-банк сообщили о трудностях с поиском территорий для строительства центров обработки данных (ЦОД), необходимых, в том числе, для развития генеративного искусственного интеллекта (ИИ), а также о нехватке свободных мощностей. Эти вопросы обсуждались 13 ноября руководителями банков на конференции «Сбера» «FI Day. Blockchain: на пороге финансовой эры».

Почему россияне не хотят покупать «Москвич»

Ваз обещает 90% - но потом

Средний уровень локализации по модельному ряду Lada превышает 90%, в 2024 году АвтоВАЗ решил ряд важных вопросов по технологическому суверенитету своей продукции. Об этом пресс-служба компании сообщила 15 ноября по итогам заседания совета директоров

АвтоВАЗ заявил о локализации автомобилей на 90%

Камаз в 2023 сообщал о 70% деталей, не уточняя – по массе, по номенклатуре, или по цене:

«Сейчас магистральный тягач поколения К5 на 70% состоит из российских деталей – это порядка 2,3 тыс. различных комплектующих. Производство всех компонентов будет полностью локализовано в следующем году», – рассказали в Ростехе.

Спустя 3 месяца, в январе 2024, пошли жалобы:

Количество жалоб покупателей на премиум-грузовики КАМАЗа поколения К5 выросло на 35%. Производитель объяснил это несопоставимо более значительным ростом объема выпуска и наладкой производств у поставщиков. Возрос уровень дефектности автомобилей К5 и по результатам проверки инспекторами на производстве — на 21,4%, сообщают «Вести КАМАЗа».

Импортзамещение в случае КАМАЗ:

Коробку передач ZF Traхon 12TX2621 (ZF Friedrichshafen AG) заменили на
Fast Gear F12JZ24 (Shaanxi Fast Auto Drive Group)

Мост DAIMLER HL6 – заменили на Shaanxi Hande Axle

Тормоза были Wabco - стали  Ruili Group Auto Parts

С легковыми и грузовыми машинами понятно, что с самолетами?

С самолетами:
Comac C919 в РФ пока поставлять не будут, там двигатели CFM LEAP-1C.
Та же проблема с ARJ21 и установленными на нем двигателями General Electric CF34-10A.

В чем бонус CF34-10A? В работе до 14 тысяч часов без снятия с крыла, тяге 17,640 lbf (78.5 kN) , и расходе на крейсерской скорости в 0.65 lb/lbf/h (18 g/kN/s)

Почему не ПС-90А и варианты? Тоже все просто, еще в 2006 его не хотели даже на Ил:
Авиализинговая компания "Ильюшин Финанс Ко" (ИФК) ведет переговоры с Pratt&Whitney (P&W, США) о поставке двигателей PW-2040 для установки на лайнеры Ил-96 производства ОАО "Воронежское акционерное самолетостроительное общество" (ВАСО).

Что с космонавтикой?

С ракетами тоже все просто – ракета сама по себе никому не нужна, нужна полезная нагрузка – спутники.
Пока чего-то массового и тяжелого выводить хотя бы на геостационарную орбиту (ГСО) не планируется, поэтому утихли победные песни про Союз-5 и прочие средне, и супер тяжи.
Союз 1, 2 и прочие модификации дотягивает все, что надо, до низких орбит, и даже (с фрегатом) способен забросить почти две тонны в Луну. (Именно в). 
Ангара, к моему удивлению, вытащила весной макет на ГСО и еще 200 км сверху.

Злые американские языки говорили, что некоторые спутники, выведенные Ангарой на орбиту, отчего-то, не маневрируют. Хотя им вроде положено. Верить злым языкам сейчас нельзя.
Последние выведенные спутники, похоже, маневрируют – но как-то так маневрируют, что средства от злых языков их наблюдают, и орбиты пишут – а Роскосмос молчит и не хвастается. Хотя Роскосмос так и не рассказал, что пролилось в последнем грузовике так, что воняло неделю.

С медициной все отлично – согласно сводкам с мест, как были аптеки завалены средствами без действующего вещества, так и остались. Кроме этого, уже лет пять - десять в медицине наблюдается и градация лекарств серьезнее аспирина (и аспирина тоже) по качеству:
1 Импорт
2 Индийские дженерики
3 Российская фасовка «чего-то».

2024 год мне запомнился тем, как знакомые рассказывали, что врач им прописал в церковь сходить и свечку поставить. И нет, не свечку релиф.
Выписыванию арбидолов и кагоцелов я уже не удивляюсь, мне их лет 10 назад уже выписывали.

Недавние импортозамещающие поставки из Северной Кореи вообще никаких чувств не вызывают.

И в этом всем процессе мне интересно два вопроса.

Первый. На что импортозаместят такой рупор Минцифры, как Хабр?

Полезных для ИТ статей там давно нет.
Нет анализа импортозамещения на уровне железа.
Так и не понятно, что лучше выбрать для дома, Байкал или Эльбрус.
Нет рассказов, какая российская оперативная память работает быстро, а какую можно поставить в блок управления реактором, и доверить менять даже медведю. А ведь совсем недавно с серьезными лицами рассказывали про российскую флеш-память
Тем более нет анализа, в каком из вариантов KVM обои веселее и перевод лучше, и не является ли использование Xen и bhyve в проде признаком чего-то, что лучше совмещать с обертыванием в мокрую простыню?

Безусловно, там остались копроблоги, но даже в них пишут не новые статьи, только переводы и пересказы статей 10-20 летней давности.
Накрутку показов обсуждать бессмысленно, как и рекламные статьи «ни единого разрыва, просто неделю – две в год наше облако лежит и не встает».
С точки зрения рекламных интеграций статистика никуда не годится, с точки зрения попутных сервисов типа карьеры – имеется просто дно кандидатов. Коллеги из РФ даже отказались смотреть кого-то оттуда. Бесполезно.

Второй. Что еще заменят?

Замена производства техники, точнее:
уход высокотехнологичных производств, в сочетании с таким прекрасным явлением, как эффект храповика (ratchet effect),
и, одновременно наблюдаемое, пока никем не опровергнутое мнение Энгельса, что уровень технологий (точнее, производственных сил и производственных отношений) определяет и социальное устройство общества, см. Энгельс, Об авторитете и классику – «Der Ursprung der Familie, des Privateigenthums und des Staats»,

ведет и к изменению социума, и к падению уровня технологий, и к потере качества поддерживающих специалистов, и потере качества преподавания.

Куда покатится такое замещение – не понятно.