Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Я хочу получать рассылки с лучшими постами за неделю
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
Создавая аккаунт, я соглашаюсь с правилами Пикабу и даю согласие на обработку персональных данных.
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр
Щелкните блоки, чтобы они улетели в 3D. Разблокируйте куб, чтобы овладеть головоломками

Разбери Кубик

Головоломки, 3D, Обучающая

Играть

Топ прошлой недели

  • Oskanov Oskanov 8 постов
  • alekseyJHL alekseyJHL 6 постов
  • XpyMy XpyMy 1 пост
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая кнопку «Подписаться на рассылку», я соглашаюсь с Правилами Пикабу и даю согласие на обработку персональных данных.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Новости Пикабу Помощь Кодекс Пикабу Реклама О компании
Команда Пикабу Награды Контакты О проекте Зал славы
Промокоды Скидки Работа Курсы Блоги
Купоны Biggeek Купоны AliExpress Купоны М.Видео Купоны YandexTravel Купоны Lamoda
Мобильное приложение

Esxi

15 постов сначала свежее
22
DmitriitheFals
1 месяц назад
Лига Сисадминов
Серия Кудахтеры

Про знание теории виртуализации, и ее применение на практике или VMware by Broadcom Часть 3⁠⁠

Для ЛЛ: принцип работы cpu scheduler надо знать!

Часть 1. Чего и почему ждать.

Часть 2. Fast start. Литература и сайты для тех, кто вляпается в это легаси.

Часть 3. Прочее

Коллеги рассказали, история не моя.

Унаследовали они какой-то сервер с 16 физическими ядрами на сокет, два сокета. HPE, кстати.
Что-то из линейки Xeon E5-2600 v4, неплохие были процессоры. Для 2016 года.
Конечно , с виртуализацией поверх, в том числе с SQL, 1с , и так далее. И с внезапно возникшей проблемой «тормозит, раньше не тормозило, мы ничего не нажимали».

Я даже не буду называть виртуализацию, хотя скажу сразу, параметра CPU Ready там не было, так что это не Nutanix AHV и не Broadcom ESXi.
Пока писал статью, увидел заметку new CPU jitter counters in Windows Server 2025, и после дописывания статьи, пойду ее читать. Затем, конечно, пойду тыкать бывших коллег носом, что посмотрите, где там такой счетчик в этом вашем импортозамещении?

Что было: все было отлично. На несколько серверов выделили по 48 ядер на VM, и они работали, пока что-то не пошло не так.

Пойдем в теорию, что могло пойти не так

16 физических ядер на сокет у Intel означает 32 «всего» физических ядра на два сокета, и 64 потока.
Поток не дает особого прироста производительности.  При некоторых, иногда (достаточно часто) встречаемых условиях, он даст .. ну 10%. Может 20%. Обещали 30%, но "не всегда".
Но может дать и минус, при определенных условиях.

Что делает планировщик, точнее cpu scheduler, при стандартных настройках.
Планировщик старается выдать каждому процессу (каждой VM, за исключением World 0 , и то, если вы не лазали в minroot кривыми ручонками) равное количество процессорного времени.

Что произойдет, если у вас в системе 32 физических ядра, и вы выдали суммарно 32 vCPU core, скажем? 8 VM по 4 CPU core?  Ничего особенного, планировщик разложит задачи по физическим ядрам, и стандартные, не особо нагруженные VM, будут работать как работали. За, правда, исключением случая Storage space и storage space direct (S2D), там будет чуть сложнее. И с vSan не все так просто, но приемлимо.
Что произойдет, если у вас в системе те же 32 физических ядра, и вы выдали суммарно 96 vCPU core, скажем, 24 VM по 4 CPU core?  Тоже ничего особенного, планировщик разложит задачи по физическим ядрам, потом попытается разложить задачи по виртуальным ядрам, потом построит очередь, и будет, так или иначе, эту очередь выполнять. Для ежедневных сценариев и нормальных гипервизоров ситуация с переподпиской CPU 1:1.5 и до 1:3 по физическим ядрам находится между «нормальной» и «терпимой».

Уточнение. Правильнее сказать «годится для начала разговора и осмотра CPU ready». Потому что одно дело у тебя система, которая почти ничего не считает, но крутит данные в памяти, как не в себя, другое дело VDI, третье дело NTP или еще какой сервер, у которого 2 vCPU только из вежливости. Кроме просмотра CPU ready, еще надо смотреть co-stop (%CSTP).

Для VDI сценариев, где 99.99% времени система ждет, пока пользователь нажмет что-то на клавиатуре, нормально будет работать и 1:10.
Оговорка: конечно, не во всех сценариях, и не во всех гипервизорах. Для нагрузки, чувствительной к задержкам, c ESXi 5.5, есть режим Latency-Sensitive. Для VM размером в хост, тоже есть свои настройки. См. разделы литература ниже.

Что произойдет, если у вас в системе те же 32 физических ядра, и вы выдали суммарно 64 vCPU core, скажем по 48 vCPU 2 VM (#1, #2),  и по 8 еще оставшимся 4 (#3, #4, #5, #6)?  Напоминаю, всего у вас в системе 32 ядра / 64 потока.

Будет очень интересно, не переключайтесь

Допустим, планировщик начал с первой машины (VM #1). Первым делом планировщику надо дождаться, пока остальные пять сделают свои дела с CPU, или, пока не пройдет таймаут. Допустим, что планировщику и VM свезло, и Vm #1 полезла на 48 vCPU.
А 48 физических ядер нет. Есть 32. Надо выкидывать остальные задачи куда-то в кеш 2-3-N уровня. Освобождать весь кеш 32+16 потоков, и всякие регистры к ним еще раз. Выполнить сначала одно, потом второе, и при этом попытаться уложиться в таймслот. Начинается то, что зовется context switches. И это я еще не лезу в пособие по архитектуре HT, потому что я даже не представляю, как именно построены очереди исполнения и всякие регистры по отношению к HT и тому, что называется speculative execution.
Окей, худо-бедно выполнились, и !
И пришла беда, откуда не ждали. У Intel Xeon давно есть режим авторазгона. Одни ядра разгоняются, другие нет, в результате угадать, какие ядра останутся на 2.2 , какие захотят работать на 2.4, какие на 2.6 – невозможно. Со всеми последствиями для попытки поддержать синхронность выполнения задач на ядрах со стороны планировщика.
Со стороны почти любого мониторинга это выглядит так, что процессор ничего не делает, и это чистая правда.
Сделаем еще шаг назад. Кроме ядер, в работе фигурирует и оперативная память. И желательно, чтобы данные в памяти (в физической памяти) были поближе к нужному ядру. NUMA, non uniform memory access, в полном расцвете сил. Хорошо, что в этом сценарии она не работает.
Сделаем еще шаг назад. Процессор – это не только калькулятор, это еще и всякие EAX EBX ECX EDX, и прочие данные, и очень не хотелось бы, чтобы специально обученные злодеи выдернули из этих ESI EDI ваш пароль, или хеш от него. Ага, Meltdown и Spectre (там чуть сложнее, конечно).

Начинается шаг 2 - исполнение VM #2 еще на 48 ядер. Даже и не на 48, кстати.

Про знание теории виртуализации, и ее применение на практике или VMware by Broadcom Часть 3 Другой мир, Windows, IT, Esxi, Процессор, Hyper-v, Zabbix, Видео, YouTube, Длиннопост

Планировщик пытается сказать процессору «давай, исполняй».

Планировщик пытается сказать процессору «давай, исполняй».

Процессор пытается разогнаться, при этом выкинуть лишние данные из своих кешей, памяти, регистров, и так далее. Точнее, конечно, планировщик командует, ядра делают.
VM #2 пытается всеми своими 48 ядрами, с криками «мне положено, вас тут не стояло», залезть на 32 ядра. Может, успевает даже что-то выполнить на разогнанных ядрах. Может, нет. И планировщик начинает ее выгонять с ядер со словами «завтра досчитаешь, СЛЕДУЮЩИЙ», напевая под нос  What You Waiting For?

Про знание теории виртуализации, и ее применение на практике или VMware by Broadcom Часть 3 Другой мир, Windows, IT, Esxi, Процессор, Hyper-v, Zabbix, Видео, YouTube, Длиннопост

What You Waiting For? Time ? Take a chance, you stupid hoe

Шаг 3

На 32 ядра лезут оставшиеся 4 по 8, быстро исполняются, ну как могут, и на следующем шаге планировщик  опять пытается выполнить VM #1. Но VM 3, 4, 5, 6 работают за разное время, поэтому VM 1 придется подождать, пока выполнятся все задачи на всех ядрах, у всех машин, и только потом планировщик будет пытаться утрамбовать VM #1, примерно так же, как Lock, Shock and Barrel пропихивали Sandy Claws в трубу.

Все это время ядра не делают ничего. Ну как ничего. Сидят и курят.
С точки зрения мониторинга, загрузка на считающую часть процессоров - ноль.

Планировщик сидит, курит, и поет

Goodbye
Yes, it's time to say goodbye

Sad, I know, but, hey, you're done with living
It's time to give in
And go and so, goodbye

(но это не точно, может относится к этому более филосовски. Как говорилось, We all bloody die. Except this one here.)

Что сделали

Взяли, и вопреки всем крикам «да что вы делаете, как жить то» - отобрали у самых толстых машин, 1с кстати, лишние ядра. Все равно она ими пользоваться не умеет. И настройки в BIOS покрутили. И стало хорошо.

Литература

Deploying Extremely Latency-Sensitive Applications in VMware vSphere 5.5

Режим высокой производительности для требовательных виртуальных машин в VMware vSphere 5.5 (Latency Sensitivity).

Performance Tuning for Latency-Sensitive Workloads VMware vSphere 8

Windows Server 2019 Hyper-V host behavior running in the minroot configuration

[Performance] Interpreting CPU Ready values

Нюансы CPU Ready

CPU oversubscription and new CPU jitter counters in Windows Server 2025

x86 Registers

Context Switches

High context switch rate

Infographics: Operation Costs in CPU Clock Cycles: Not all CPU operations are created equal

Context switch-Everything you need to Know

Side-channel aware scheduler (SCA) - SCAv2

Performance Optimizations in VMware vSphere 7.0 U2 CPU Scheduler for AMD EPYC Processors

Optimizing Networking and Security Performance Using VMware vSphere and NVIDIA BlueField DPU with BWI

Understanding ESXi CPU scheduling

Performance of vSphere 6.7 Scheduling Options

Performance Best Practices for VMware vSphere 8.0 Update 3

Maximizing VMware Performance and CPU Utilization

Why VMware Engineers Tell You to Right-size Your VMs: Becau$e Co-$top Will Co$t You Money

Soft-NUMA (SQL Server)

Which vSphere CPU Scheduler to Choose

Determining if multiple virtual CPUs are causing performance issues

PS. Логика Пикабу зачем-то советует тег "другой мир". Окей. Тега broadcom нет, тега Nutanix нет

Показать полностью 2 2
[моё] Другой мир Windows IT Esxi Процессор Hyper-v Zabbix Видео YouTube Длиннопост
5
32
DmitriitheFals
1 месяц назад
Лига Сисадминов
Серия Кудахтеры

Пора прощаться с VMware by Broadcom. История в нескольких частях. Часть 1⁠⁠

Для лиги лени: про бывшую VMware, теперь VMware by Broadcom. Чего было и чего ждать

План, наверное, такой.
Часть 1. Чего и почему ждать.
Часть 2. Fast start. Литература и сайты для тех, кто вляпается в это легаси. 
Часть 3. Прочее.

Часть 1. Чего и почему ждать.

2 октября 2025 года закончится эпоха VMware, как ее помнят олды, заставшие выход ESX (без i), переход на ESXi (с i), и ее покупку Broadcom 22 ноября 2023.
2 октября 2025 заканчивается продление поддержки VMware vSphere 7.x и VMware vSAN 7.x, но проблемы с этой «поддержкой» начались уже сейчас.
В чем проблемы? Да во всем.
Базу поддерживаемого оборудования сломали, и для ESXi и для vSAN. Они разные, если вы не знали.
Базу статей переломали и убирают за paywall.
Последние патчи тоже убрали за paywall.
Возможно, следующие патчи будут с уникальной подписью – то есть, встающие только на эти процессоры, при наличии именно этих серийных номеров процессора и материнской платы.
Цены поднимают, как и минимальный набор закупки.
Это все просто про деньги. Кто с FC от Broadcom работает, тот знает, что их FC коммутаторы где-то на рубеже перехода от FOS 6 на FOS 7 (могу путать, давно было) при обновлениях и при окончании поддержки, стали превращаться в бесполезный кирпич.
Но все равно, одним движением перейти, пусть от даже крайне тормозной Broadcom (Brocade G710 460 ns port-to-port latency at 64G speed) к нормальной 200/400G Cisco и Arista (на Xilinx В 7130 с его примерно 50 ns и ниже), не выйдет. Дорого, проще рядом строить инфраструктуру поверх 200/400G и гиперскейлеров. И уже есть 800 G (Arista 7060X5, Hyawei CloudEngine 16800-X).

Разумеется, у разных министерств РФ есть шанс занять оплатить захват освобождающихся ниш на рынке – как раз тут отдельные энтузиасты говорят, что они завтра готовы вернутся к играм на Pentium 2, так можно рядом и производство хабов возродить. На 350 нм можно даже, наверно, мегабитный свитч сделать, или модем ISDN-128, а рядом и мегабитный роутер на Zebra, или даже Quagga. Жаль, что энтузиасты не готовы рассказать, почему судьба как-бы-полу-готовой линии  350 нм будет лучше, чем у купленной и доставленной в РФ готовой линии 130 нм, но я все понимаю.

Так что, пока все идет так, как и предсказывали чрезвычайно уважаемые люди – как в Computer Associates и в UCC-7 - CA-7. Будет дорого и плохо.

Почему так будет – понятно. Broadcom вложил в покупку 69 миллиардов долларов, надо как-то отбивать, а при текущем состоянии доходов – расходы окупятся хорошо если лет через 10, хотя операционная прибыль уже выросла.

Почему так будет в глобальном смысле – тоже понятно. На рынок выходят решения на arm, число ядер на Intel и AMD растет, значит в те же 2U «обычного» сервера можно набить 2*6 терабайт памяти и запускать виртуализацию даже на KVM. Вдобавок, облака и контейнеры отбивают долю рынка у он-прем виртуализации, поэтому проще сосредоточиться на тех, кто будет плакать, но заплатит, чем на тех, у кого денег нет. Капитализм. Может, кто-то из сервис провайдеров еще купит, за все заплатит конечный покупатель.

Подводя итог, начинать спрыгивать надо было в 2022 году, все было сказано еще тогда открытым текстом, Broadcom's stated strategy ignores most VMware customers. Сейчас надо бежать, и чем быстрее, тем лучше.

Бежать особо некуда.
Microsoft S2D проще в настройке, но лицензирование стоит, с учетом дозакупок лицензий на ядра, таких как Microsoft Windows Server 2025 16-core Datacenter Additional License WW SW SKU # P77107-B21, по 5500$ – 5800 $, очень дорого.
Получается где-то по 350$ за ядро, и тогда 150$ за ядро на VCF в год – не так и дорого. Тем более, что VMware standard стоит всего 50$ (за ядро в год). 

(Уточнение. Согласно калькулятору Windows лицензия обойдется в 36960 за 2*48 ядер, $385 за ядро)

Плюс новые люди, плюс смена архитектуры, поэтому в целом, с новыми серверами, где ядер на сокет побольше, можно и потерпеть.

Нет проблем с убежать на KVM в масштабе 1-2 серверов.
Проблемы убежать на KVM, если у вас реальных задач на 10 современных серверов (48 – 64  физических ядер на сокет, 6 тб памяти на сокет, 24 PCIe Gen5 NVME диска на 2U сервер) – нет никаких. На таком железе вы хоть на Ceph можете строить архитектуру, с выделенными нодами хранения. Ну да, будет дорого, хотя как посчитать. Будет нужно много дорогого железа, будут нужны люди, умеющие что-то большее, чем apt install, но сейчас не 2010 -2015 год, и проблему скорости на опенсорс решениях можно решить даже железом. Людей, разве что, дешевых, нет. Все подались в девопсы и SRE, инфраструктурщики и прочие Linux админы на рыне труда РФ не нужны (то есть нужны, но за цену эникея).
Раньше, очень давно, лет 10 назад, еще можно было намайнить себе премию на корпоративном проде, до сих пор в телеграмме есть «Российская группа по майнингу на виртуалках» - Virtual mining user group, но, при текущем хешрейте, производительности не хватит даже на пиво в месяц.

Проблемы будут, если у вас огромная старая архитектура 10-15 летней давности, где 4-6-8, или даже 10, ядер на сокет, и общий подход «оно же работает, а ключи сгенерите, там точнее не сложнее, чем в ArtMoney». Возможно, не сгенерите. Возможно, сгенерите, и получите кирпич. Можно ли не обновлять, и так и остаться работать на линейке 7? Можно. Но, рано или поздно, там повторится ситуация или с лицензиями, или с тем, что патчей просто не будет. Как уже нет для 5.5., 6.0, 6.5 и 6.7. Будут только индивидуальные патчи, только на версию 9, и больше никаких. И людей не будет, готовых этих нормально заниматься. Да их и было не так много.

Подводя итог.
Кто хотел убегать – давно побежал. Кто не очень хотел, как Siemens – не побежал. Для конечного работника важно другое – продукты VMware by Broadcom уходят с мирового публичного рынка, и спрос на таких сотрудников, с такими знаниями, будет падать. Может быть, но это не точно, будет как с IBM + Cobol – когда продукт очень нужен, очень дорогой, но весь рынок, это десяток очень больших покупателей.

Показать полностью
[моё] Опыт Esxi Личный опыт Текст Длиннопост
32
7
kostyanuch
kostyanuch
2 месяца назад

Перенос виртуальных машин из .ovf на Proxmox⁠⁠

После того как я прикупил себе RAID контроллер Adaptec 71605

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

и решил заново установить на Dell OptiPlex 990 SFF гипервизор ESXi, что-то пошло не так, а именно сборка образов и прочая чёрная магия в течение нескольких дней не принесли ожидаемого результата, то установщик не узнаёт мой сетевой адаптер:

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

то не видит RAID контроллер, то все вместе, а то вдруг все видит, но на этапе установки ругается на мои вшитые в образ VIB с драйверами ссылаясь на какие-то зависимости:

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

Этот момент мне несколько поднадоел и решил я в качестве эксперимента накатить последнюю версию Proxmox, вот как есть, без каких-либо изменений и она без проблем установилась на текущую конфигурацию, увидела и RAID контроллер и сетевую карту, да всё настолько легко прошло, что я решил перенести на неё все мои виртуалки. Собственно сам перенос из файла .ovf выполняется одной единственной командой qm importovf 103 /home/Win11/Win11.ovf local-lvm:

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

qm importovf 103 /home/Win11/Win11.ovf local-lvm

103 - идентификатор VM, /home/Win11/Win11.ovf - путь к файлу .ovf, local-lvm - путь к хранилищу на гипервизоре proxmox

В случае с Windows импорт я делал прямо из .ovf файла который получил путем экспорта с ESXi, там было достаточно заменить scsi0 на sata0 в конфигурационном файле /etc/pve/qemu-server/103.conf и добавить сетевой адаптер.

В итоге ОС запускается и работает без проблем:

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

А вот в случае, когда я переносил машину Debian с Home Assistant, первоначально у меня она была перенесена из .ovf в VMware Workstation, поскольку, пока я копался с настройкой Proxmox, надо было чтобы HA продолжал работать, затем когда всё готово было к переносу, я сделал экспорт Debian с HA и затем экспорт уже на Proxmox, всё завелось с полпинка, даже после проброса USB ZigBee Sonoff 3.0 dongle - не пришлось колдовать с Zigbee2MQTT, он заработал сразу. На волне успеха побежал импортировать свою виртуалку с Debian, которая с такой же лёгкостью не поднялась, а дело было в том, что на VM с HA у меня был BIOS, а на второй UEFI, тут то и зарылась проблема, понял я это не сразу и даже потратил немного времени, перенес виртуалку сначала в VMware Workstation, оттуда сделал экспорт, затем импорт в Proxmox и ничего не заработало, но оно и не удивительно. Теперь конкретнее, что необходимо было сделать если вы переносите таким способом VM Debian UEFI. После выполнения импорта на гипервизор в настройках виртуалки:

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

в разделе hardware поправим BIOS на UEFI и SCSI Controller меняем на VirtIO SCSI

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

в options => boot order отмечаем первым пунктом наш диск

Сетевой адаптер добавить не забываем, они всегда слетают после импорта.

Далее необходимо запустить виртуалку и в консоли сразу же нажать ESC чтобы попасть в настройки UEFI, пройти по пути:

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

Boot Maintenance Manager =>

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

Boot Options =>

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

Add Boot Option =>

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

выбрать диск с EFI загрузчиком (он там будет единственный в большинстве случаев)

Далее пройти по пути до самого загрузчика:

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост
Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост
Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

(в случае с Debian - это shimx64.efi) выбрать его

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

зайти в меню Input the description вписать любое название для загрузчика

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

например debian

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

подтвердить нажатием Commit Changes and Exit

Далее изменить загрузку по умолчанию:

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

зайдя в меню Change Boot Order

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

там нажимаем Enter и плюсиком перемещаем debian на первый пункт и нажимаем Enter

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

подтвердить нажатием Commit Changes and Exit

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

нажимаем Reset

виртуалка перезагрузится

Перенос виртуальных машин из .ovf на Proxmox Виртуализация, Linux, Esxi, Vmware, Raid, Telegram (ссылка), Длиннопост

и вы должны будете увидеть Grub и успешно загрузиться в Debian

Кому интересна тематика умного дома, прошу в мой телеграмм канал, там регулярно пишу о своих идеях, сценариях, реализациях и прочих темах DIY, IoT, CS.

Показать полностью 21
Виртуализация Linux Esxi Vmware Raid Telegram (ссылка) Длиннопост
3
26
DmitriitheFals
3 месяца назад
Лига Сисадминов
Серия Кудахтеры

VMware by Broadcom - срочно обновляемся⁠⁠

VMware by Broadcom - срочно обновляемся

Для ЛЛ: вышли патчи, критичность 9.3

Пока все мирно готовили цветы и конфеты, пришла беда откуда не ждали, то есть патчи и объявления.
Объявление одно, но большое:
VMSA-2025-0004: VMware ESXi, Workstation, and Fusion updates address multiple vulnerabilities (CVE-2025-22224, CVE-2025-22225, CVE-2025-22226)

Патчи большие, и их целых три:
VMware ESXi 8.0 Update 3d | 04 MAR 2025 | Build 24585383
Download Filename: VMware-ESXi-8.0U3d-24585383-depot.zip
Build: 24585383
Download Size: 629.0 MB
MD5 ff2765e57dedbbe94bdc5c7a36cbc3b4
SHA256 71c09c47a35fd94bc726696a2b11d3df63a6f6fe71344864412f9fabca29251a
RN

VMware ESXi 7.0 Update 3s |04 MAR 2025 | Build 24585291
Download Filename: VMware-ESXi-7.0U3s-24585291-depot.zip
Build: 24585291
Download Size: 382.1 MB
md5 6535f6f9a016fb1a76d6caa086f48891
sha256 b4de8b0b2b0bf9851dcef9f30cb19ff487b03d8494693acec216eb9635f4dd59
RN

ESXi670-202503001 | 04 MAR 2025 | Build 24514018
RN

Традиционно, на портале https://support.broadcom.com опять все сломали. Через Okta логин не работает, все не так, все не то.

Если пройти по прямой ссылке на скачивание, VMware-ESXi-8.0U3c-24414501-depot, то кнопки download пока нет. Или опять что-то поменялось в политике партии, или просто еще не выложили.
Скачивание через vSphere Lifecycle Manager (vLCM) не проверял.
Подождем.
В пиратке пока тоже ничего нет

Показать полностью
[моё] Esxi Vmware Patch Баг Текст
28
28
DmitriitheFals
5 месяцев назад
Лига Сисадминов
Серия Кудахтеры

Некоторые пометки по софту на конец 2024 года⁠⁠

4ЛЛ: скучное, MD5 \ SHA256

Давно я не смотрел, что там вышло в обновлениях домашнего, и не только софта, и как это работает.
Так совпало, что сегодня обновлял всякое домашнее и домашним.

Вышли:

VMware Workstation Pro for Windows
Файл: VMware-workstation-full-17.6.2-24409262.exe ;  Build Number: 24409262 
MD5 6227e9e732c4eaddf05ecf1779a94e80
SHA1 5e556b7fc1bd27775143eea930cac68760a1b5dc9b4c089d3fc664cd8439645b 

Я до этого на 16.4 сидел, но еще в мае лицензия «Для дома» стала не нужна.
Можно было и Proxmox поставить, и vBox, но я не хотел. Дело не в скорости, стабильности, итд – просто лень.
Proxmox Virtual Environment 8.2 у меня на стенде был, надо обновлять до Proxmox Virtual Environment 8.3, но ужасно лень.

Вышло обновление ESXi 8.0 Update 3c / Build Number 24414501. Состав - как обычно – смотреть на https://esxi-patches.v-front.de/
MD5 FD3C6551F281983E834729D33B00323A
SHA256 58D0632D3E51ADF26FFACCE57873E72FF41151D92A8378234F2DAA476F2CFBA5

Release notes переехали на https://techdocs.broadcom.com/ - прямая ссылка.

Вышло обновление ESXi 7.0 Update 3r / Build Number 24411414, надо будет домашний стенд обновить. Release notes
MD5 03433d753ef408ce939dd3a59fd80594
SHA256 82724ee9d297a7cecb0f473c27b44b7401e227db99ea0046e15a2cd7a115ade7

Для 6.5 и 6.7 обновлений ESXi давно не было, для vCenter были, но давно:
6.7 / Build Number 24337536 - 2024-10-28
6.5 / Build Number 24045034 - 2024-07-04

Как и ранее, все обновления пока свободно доступны для скачивания на Broadcom Support Portal, за исключением того, что сам портал стал еще более кривым. С каждым разом все кривее и кривее.
И, как уже написал - Release notes переехали на https://techdocs.broadcom.com

В остальном у Broadcom все по прежнему – удаляют и удаляют старое.
Перед новым годом прислали сообщение про переактивацию аккаунта для Broadcom Support Portal с 21 января 2025.
Сейчас удаляют материалы по не поддерживаемым 6.5 и 6.7 – что то остается, что-то уже нет.
Удалили часть HCL / compatibilityguide, как будет работать [Skyline] Health Hardware compatibility для старого железа - не понятно (скорее всего – никак). Может, это и к лучшему – спасибо Linux community за удаление API vmklinux и переход на Native Device Driver.
Те, кому надо, и без меня знают про USB Network Native Driver for ESXi и Nested ESXi Virtual Appliance & USB Network Native Driver for ESXi for vSphere 8.0 Update 3.

У MS наконец-то (не следил, когда, может и очень давно) поменялись дистрибутивы для скачивания 2025 сервера без регистрации и смс.

Было 26100.1.240331-1435.ge_release_SERVER_EVAL_x64FRE_en-us.iso
MD5 8286AE65AB4D6FF2430B914D7901427B

Стало 26100.1742.240906-0331.ge_release_svc_refresh_SERVER_EVAL_x64FRE_en-us.iso
MD5 52D37544CA98287DD2B15F526EBFAFA5
SHA256 D0EF4502E350E3C6C53C15B1B3020D38A5DED011BF04998E950720AC8579B23D

Было 26100.1.240331-1435.ge_release_SERVER_EVAL_x64FRE_ru-ru.iso
MD5 CE0F3B7BD4B1E11A2D158B27E29DCD99

Стало 26100.1742.240906-0331.ge_release_svc_refresh_SERVER_...
MD5 3A2CBDB4FE9E7C0A7C530CD1AE732C0F
SHA256 15F31D0E4F7C5337732BA9629008E99501AAA5007D81A267A1D04F6DEB5571A6

Внутри  sources\install.wim\ - 4 дистрибутива, с обновлениями от сентября 2024, так что все равно надо обновляться.

Обещанную мега-скорость работы на NVME пока не проверял, еще не купил на домашний стенд.
Сразу отвечу на простой вопрос, как так, prox, windows, esxi ? Очень даже так, ESXi 7 и 8 по прежнему отлично загружается с USB флешки.

На рабочих стендах до нового года (с 28 января 2025), скорее всего, коллеги проверить "как стало" не успеют.

Чем еще запомнился 2024 год, так это переходом в Ubuntu 22 и Ubuntu 24.04 server на netplan, и этот его
/etc/netplan/99_config.yaml

Зачем так было делать, я так и не понял, и не я один.
Пришлось переписать много букв, и придется переписать еще больше.
Отдельно хотелось бы отметить по прежнему не очень хорошую работу и CFS, и EEVDF, особенно если у тебя 200+ ядер на хост. Что с этим делать, как нормально настроить Sub-NUMA, Hemisphere and Quadrant Modes, и EEVDF, пока никто не сознается, придется опять идти за советами на stack overflow и reddit.

Поплакал и хватит, за работу.

Концовка

Тут должна быть какая-то не скомканная концовка, но я ее так и не придумал.

Показать полностью
[моё] Windows Esxi Md5 Текст
17
2
serge21
5 месяцев назад

Модем в ESXi⁠⁠

Можно ли подключить LTE модем в ESXi 7 версии? Двум ноутам в сети нужно использовать LTE в качестве интернета 2 раза в месяц, но с ноутами возится слегка не удобно, они тупо лежат на полке и занимают место, хотелось бы прикрутить LTE к виртуалке.. Модемов несколько, винда видит как сетевую карту, ESXi не видит никак

Esxi Виртуализация 4g LTE Текст
13
10
manflow
manflow
6 месяцев назад
Лига Сисадминов

Смена пароля администратора iLO 5 из под ESXI 8⁠⁠

Исходные данные
iLO 5 HP Gen9 ESXI 8

cd /opt/ilorest/bin/
/opt/ilorest/bin/ilorest_esxcli

iloaccounts changepass Administrator PASSWORD

Esxi Hewlett Packard Текст
5
21
DmitriitheFals
7 месяцев назад
Лига Сисадминов
Серия Кудахтеры

ESXi – не GNU linux и не Unix, если вы вдруг не знали (и прочие мелочи)⁠⁠

Для ЛЛ: ESXi – не linux, но есть нюансы

Продолжаем неторопливо вести отбор кандидатов из РФ, присутствую иногда на интервью, как Non-sogreedychatGPT, слушаю, что рассказывают кандидаты.
Надо заметить, что уровень кандидатов из РФ продолжает движение в сторону давно забытых терминов из методов расчета косинуса фи. Ну, вы знаете что там (или нет). Недорогие методы улучшения резюме – в стиле «доверьтесь нам, мы знаем, как писать», в итоге работают не в пользу кандидатов, особенно если экспертные эксперты пишут в резюме кандидатов «Unix Mint» и Esx VCentre.

Если кто-то забыл, или не знал:

Для Unix все началось с The Bell System . Да, тот самый Александр Белл (Alexander Graham Bell), про которого слышал что-то примерно 1 из 10 человек.

Bell System прикупила Western Electric Company, из Western Electric Company выделилась Bell Telephone Laboratories, в которой три  Отца - Деннис Ритчи (Dennis MacAlistair Ritchie, 9.9.1941 – 12.10.2011), Кен Томпсон (Kenneth Lane Thompson 4.2.1943 –жив), Брайан Керниган (Brian Wilson Kernighan 30.01.1942 – жив) и сделали первый Unix. Вместе с The C Programming Language, Кен Томпсон еще и в Go отметился. Разумеется, надо вспомнить и Джо Осанну (Joe Ossanna), и Малкольма Дугласа Макилроя (Malcolm Douglas McIlroy).

Наследники и многочисленные потомки того, первого, Unix до сих пор живы, здоровы. Кто-то уже умер (Berkeley Unix), но успел породить наследников – OpenBSD и Darwin.

Для GNU\Linux все началось в 1983 году, когда Ричард Столман (Richard Stallman ) стал продвигать идею - GNU - "GNU's Not Unix!" Предполагалось, что проект GNU будет весь свободный, и без всякого кода из Unix, и с ядром GNU Hurd. Что было дальше, написано и без меня – в статье Linux kernel.

Для ESXi все началось в 2001, когда на рынок вышел ESX (тогда без i), изначально запускавший, в том числе, ядро Linux как приложение для управления остальными виртуальными машинами (и прочее по мелочи).

Если быть чуть точнее, то:
VMware 1.0 – 15.05.1999
VMware GSX Server 1.0 – что то в 2001
VMware ESX 1.0 Server – 23.03.2001.
GSX Server 2.0 – 15.07.2002

Почитать про ностальгию, и не только почитать – можно тут

Такая коммерциализация чистых идей вызывала определенное недовольство, одновременно VMware ESX стал превращаться в VMware ESXi – и в итоге превратился, первый релиз (VMware ESXi 3.5 First Public Release) случился ровно на новый год  31 -12 – 2007, билд 67921 (VMware ESXi Release and Build Number History https://www.virten.net/vmware/esxi-release-build-number-history/#esxi3.5 )

Все бы хорошо, но 4 августа 2006 Кристофер Хелвиг (Christopher Helwig) решил, что VMware не соблюдает GPL:

Until you stop violating our copyrights with the VMWare ESX support nothing is going to be supported.  So could you please stop abusing the Linux code illegally in your project so I don't have to sue you, or at least piss off and don't expect us to support you in violating our copyrights.  I know this isn't you fault, but please get the VMware/EMC legal department to fix it up first.
https://lkml.org/lkml/2006/8/4/112

В 2011 году Conservancy решила до получила отчет о нарушениях GPL в ESXi BusyBox. Попытки мирно решить вопрос в стиле «все не отдадим, но обсудим» - закончились в 2014, в вольном пересказе сайта, рекомендациями самим почитать GPL.

Then, in early 2014, VMware's outside legal counsel in the USA finally took a clear and hard line with Conservancy stating that they would not comply with the GPL on Linux and argued (in our view, incorrectly) that they were already in compliance.
Frequently Asked Questions about Christoph Hellwig's VMware Lawsuit

5 марта 2015 года Conservancy подала в суд на VMware в Германии, с текстом «дайте денег» - Conservancy Announces Funding for GPL Compliance Lawsuit

Темой по-прежнему был BusyBox, но авторы иска пытались показать, что часть компонентов прямо использует куски кода от Christoph Hellwig – от
scsi_setup_command_freelist (14.8148% кода) до
scsi_remove_single_device  (99.0566% кода) -
Contribution and Similarity Analysis of Christoph Hellwig's Linux Code as found in VMware ESXi 5.5

В итоге все оказалось еще сложнее, потому что свелось к выяснению, можно ли взять vmkLinux (опубликованный под GPLv2), и сделать магию, цитата

A lot of Linux code has been extracted into vmkLinux; this is a shim between Linux drivers and the vmkapi interface. The intent here is to provide an environment where almost unmodified Linux drivers can interface to the proprietary vmkernel. This means vendors don't have to write two drivers, they can re-use their Linux ones. Of course, large parts of various Linux sub-systems' API are embedded in here. But the intent is that this code is modified to communicate to the vmkernel via the exposed vmkapi layer. It is conceivable that you could write a vmkWindows or vmkOpenBSD and essentially provide a shim-wrapper for drivers from other operating systems too.

ESXi – не GNU linux и не Unix, если вы вдруг не знали (и прочие мелочи) Esxi, Страшные истории, Windows, Длиннопост

On VMware and GPL

Или нельзя вот так вжух и магия.
VMware считала что можно

Почти одновременно с этим в суде шло дело Патрика МакХарди (Patrick McHardy) – начавшееся в 2016 (The Importance of Following Community-Oriented Principles in GPL Enforcement Work), и закончившееся в 2018 отзывом дела - с оплатой Патриком судебных издержек (Бывший лидер Netfilter прекратил дело о нарушении GPL и выплатит судебные издержки)

К 2020 году Патрик так всех достал, что в суд подали уже на него. (Разработчики Netfilter отстояли коллективное принятие решений при нарушении GPL)

Но, сейчас не про него.

7 августа 2016 немецкий суд решил, что Хелвиг не прав.
9 августа 2016 было объявлено про подачу апелляции.

Все это сопровождалось заявлениями типа «еще не поздно покаяться» - «VMware could still choose to do the right thing here, admit that they did not meet the terms of the GPL and acquiesce to Christoph's request.» Appeal Moving Forward in GPL Compliance Suit Against VMware

28 февраля 2019 суды  закончились, суд Германии решил, что Хелвиг не прав:

VMware is pleased with the February 28, 2019 decision of the German appellate court in Hamburg to dismiss Mr. Hellwig’s appeal and let stand the regional court’s decision to dismiss Mr. Hellwig’s lawsuit.

VMware’s Update to Mr. Hellwig’s Legal Proceedings
VMware Linux lawsuit moves closer to a resolution
VMware Announces Plans to Remove Non-complying Code, Hellwig Decides Not to Appeal
Апелляционный суд встал на сторону VMware в деле о нарушении GPL

Что в итоге?

Сначала, еще в 2017 году, начиная с ESXi 6.0 6921384, VMware заблокировали поддержку Microsoft Legacy Network Adapter, точнее Net-tulip - community драйвер DECchip 21140 Ethernet. Билд 5572656 с ним работает, билд 6921384 – уже нет. Стенды (nested) на Hyper-v стали бесполезны, да и в KVM приходится ставить в настройках:
--network network:default,model=vmxnet3
Deploying a nested version of VMware ESXi 7.0 on KVM ,
Running nested VMware ESXi 8.0 host under KVM hypervisor

С версии 7.0 (2020/04/02 – 15843807) из ESXi выкинули поддержку старых драйверов «от всего», причем, зачастую, именно Linux драйверов. Вой стоял до небес, как же так, дисковому контроллеру, серверам и сети всего по 10 лет, производитель не хочет их поддерживать, и теперь никак старые Linux драйвера не внедрить, проклятые VMware, почему они не возьмут и сами не напишут драйвер. Не понятно, чего орали – вот суд, вот его поддержка. Хотя, все уже сказано тут.

Про Community Network Driver for ESXi, читать, конечно, никто не собирался, как и про VMware Flings.

ESXi – не GNU linux и не Unix, если вы вдруг не знали (и прочие мелочи) Esxi, Страшные истории, Windows, Длиннопост

К чему пришли

VMware by Broadcom – по прежнему отличный (кроме цены, но, если ее платит организация, и экономия не идет на вашу премию – то какая разница?) выбор для почти всего

VMware Workstation 17.6 Pro – бесплатен для некоммерческого использования.

ESXi – отлично ставится даже на ASUS NUC 14 , по прежнему может (хотя это и не рекомендовано) загружаться с USB флешки, хотите дома Intel Neural Processing Unit (NPU) – пожалуйста.

Хотите гипервизор и управление «чтобы работали из коробки и не требовали System Center Virtual Machine Manager и не ломались от того, что производитель закрыл очередной баг в гипервизоре» - вот, пожалуйста, vCenter.

Хотите нормально документированный и уже почти не взрывающийся СХД – есть два варианта vSAN (OSA\ESA), только не нанимайте на его запуск – не умеющих и не желающих читать vSAN HCL «специалистов с дипломом», которые принесут вам Samsung 870 EVO на кеш и домашние SATA диски на хранение.
Не желающих читать, к сожалению, очень много.
Заканчивается всегда одинаково, исключений нет – система ломается, «специалисты по объявлению» начинают ее чинить перезагрузкой и перестановкой системы – система умирает окончательно от расхождения метаданных. Все.

Хотите стильных контейнеров – есть tanzu.
Хотите сети – есть NSX
Хотите в облако – пожалуйста - Azure, AWS.
Хотите сами быть провайдером – главное, готовьте много денег. Очень, очень много. Зато оно работает, причем пока что в РФ не видно, чтобы было чем его импортозаместить так, чтобы работало.

Всякое есть, и что очень важно – это «всякое»:
- документированное (если не лениться читать),
- с большим англоязычным комьюнити, конференциями, бесплатной учебой онлайн,
- не очень часто ломающееся само по себе. Хотя и бывало, и от новых патчей никто не застрахован.

Минусы? Дорого.
Чтобы «нормально» работало, нужно «нормальное сертифицированное железо».
Чтобы «нормально» работало, нужна подписка на поддержку. Это не значит, что оно постоянно ломается, это значит, что сложные задачи проще делегировать профессионалам. Главное, пройти первого босса – Кумара.
Чтобы «нормально» работало, нужно смотреть, кого нанимаете. Сломать кривыми руками можно что угодно, если долго стараться.

Альтернативы?

Конечно есть! Есть отличная книга про альтернативы, имя автора слишком известно, чтобы его называть:
Все моральные эффекты происходят  от физических  причин,  с  которыми  они  связаны  самым  абсолютным  образом: барабанная палочка бьет по туго натянутой коже, и удару отвечает звук – если нет физической причины, то есть нет  столкновения,  значит,  не  будет  и эффекта,  не  будет  звука.  Особенно  нашего  организма,  нервные  флюиды, зависящие от природы атомов, которые мы поглощаем, от видов  или  количества азотистых частиц, содержащихся в нашей  пище,  от  нашего  настроения  и  от тысячи прочих внешних причин - это и есть  то,  что  подвигает  человека  на преступления или на добродетельные дела и зачастую, в течение одного дня,  и на то и на другое. Это и есть причина порочного или добродетельного  деяния, которую можно сравнить с ударом в барабан, а сотня луидоров,  украденная  из кармана ближнего, или та же сотня, отданная нуждающемуся в виде  подарка,  - это эффект удара или полученный звук.  Как  мы  реагируем  на  эти  эффекты, вызванные первичными причинами? Можно ли ударить в  барабан  так,  чтобы  не было ни одного звука? И разве можно избежать этих отзвуков, если и они сами, и удар, их вызвавший, - всего лишь следствие явлений,  не  подвластных  нам, настолько далеких от нас и настолько не  зависящих  от  нашего  собственного организма и образа мыслей? Поэтому очень  глупо и  неестественно  поступает человек, который не делает того, что ему  хочется,  а  сделав  это,  глубоко раскаивается. И чувство вины и угрызения совести являются не чем  иным,  как малодушием, которое следует не поощрять, а напротив, искоренять в себе всеми силами и преодолевать посредством здравомыслия,  разума  и  привычек.  Разве помогут сомнения, когда молоко уже скисло?  Нет.  Посему  надо  утешиться  и понять, что угрызения совести не сделают поступок менее злодейским, ибо  они всегда появляются после поступка и очень редко предотвращают его повторение. Истинная  мудрость заключается  вовсе  не  в подавлении своих порочных наклонностей,  потому  что  с  практической  точки зрения они составляют единственное счастье, дарованное нам в  этом  мире,  и поступать таким образом - значит  стать  собственным  своим  палачом.  Самое верное и разумное - полностью отдаться  пороку,  практиковать  его  в  самых высших проявлениях, но при этом обезопасить себя от возможных неожиданностей и опасностей.

Если вы дочитали

Альтернативы всем продуктам выше, и не только им, конечно, есть. Некоторые из них работают даже лучше, особенно в умелых руках. Некоторые же наоборот, имеют привычку ломаться сами собой, и в ходе 1-2 итераций «сломали – починили» начинает возникать вопрос, сколько же альтернативная инсталляция стоит на самом деле. Сколько для нее нужно железа, сколько альтернативная инсталляция потребляет электричества, в том числе на работу кондиционеров. Сколько людей, и какой квалификации (и стоимости) нужны люди. Какая надежность требуется, в часах простоя в год. Для разных условий, требований и организаций выводы могут быть совершенно разными. Причем, как в случае Росреестра - 2018, выводы могут быть совершенно внезапными. Но выводы выводами, а чему-то это кого-то научило? Вовсе нет.
Научили ли кого-то, например - Drweb, случаи МТС, СДЭК и КБ Радуга? Нет.

Показать полностью 2
[моё] Esxi Страшные истории Windows Длиннопост
9
Посты не найдены
О Нас
О Пикабу
Контакты
Реклама
Сообщить об ошибке
Сообщить о нарушении законодательства
Отзывы и предложения
Новости Пикабу
RSS
Информация
Помощь
Кодекс Пикабу
Награды
Команда Пикабу
Бан-лист
Конфиденциальность
Правила соцсети
О рекомендациях
Наши проекты
Блоги
Работа
Промокоды
Игры
Скидки
Курсы
Зал славы
Mobile
Мобильное приложение
Партнёры
Промокоды Biggeek
Промокоды Маркет Деливери
Промокоды Яндекс Путешествия
Промокоды М.Видео
Промокоды в Ленте Онлайн
Промокоды Тефаль
Промокоды Сбермаркет
Промокоды Спортмастер
Постила
Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии