Поставил перед собой задачу: сделать по-настоящему быстрое файлохранилище для временных файлов при обучении нейросетей: как сами модели (промежуточные чек-поинты), так и данные для обучения. При этом мне нужны как NFS (для пингвинов с видеокартами), так и SMB (закидывать данные для обучения с основного компа и смотреть как там идут дела - подгружать промежуточные чек-поинты и смотреть, что обучение движется в нужном направлении).

Построение быстрой сети - это отдельная тема. Кстати, не так дорого: на буржуйских маркетплейсах есть куча предложений по адекватной (~$150) цене с Mellanox CX414, 416 и иже с ними (40Гбит карты), которые простой перепрошивкой можно убедить в том, что на самом деле они 100Гбит/с.

Некоторое время я с вожделением смотрел на QNAP TBS-h574TX. Но во-первых дороговато, а во-вторых традиционная сеть у него 10Гбит, при том, что для поставленной задачи имеющиеся там два Thunderbolt порта совсем не нужны. Ну и вообще мне не понятно: у этой модели сетевые способности явно сильно хуже, чем то, что способны выдать поставленные в нее накопители.

Пришлось идти своим путем. Была взята плата MSI Pro B860M-A: у нее при mATX форм-факторе есть 3 слота под M2 SSD и 4 PCI-E слота: один х16 под видео, два х1 и один х4. В качестве процессора я поставил Core Ultra 235.
Совсем как Эллочка-Людоедочка конкурировала с миллионершей, я заселил плату пятью SSD Kingston 4TB NV3. Три штуки зашли в предусмотренные производителем разъемы, еще два я поставил в имеющиеся PCI-E x1 слоты через китайский переходник. Теперь по объему я совсем-совсем способен конкурировать с QNAP h574!

Вместо видео в слоте х16 поселилась сетевая карта, перепрошитая на 100Гбит/с.

А оставшийся слот х4 и место в корпусе под CD-ROM заняло бодрое комбо от китайских товарищей: оказывается, китайская промышленность производит "заглушку" в отсек 5.25" с шестью местами под SATA SSD 2.5"! На случай если мне понадобится побольше места, слот PCI-E x4 занял SATA адаптер на 6 портов подключенный к панели на 6 SSD.

В результате система выглядит так:

Для загрузки этой радости я подключил SATA SSD на 250Гб к порту на самой плате. И радостно установил TrueNAS.

Пять дисков объединены в RAIDZ1. Из них трое получают полные PCIE x4 и способны выдать свои примерно 4ГБ/сек (вроде Kingston NV3 способен примерно на это), а два диска ограничены пропускной способностью шины и упираются в лимит 2ГБ/сек. Тем не менее, тесты производительности радуют: 6.7ГБ/сек на запись и 9.3ГБ/сек на чтение:

Сеть тоже работает как задумано. Сервер подключен к 100Гбит порту на Mikrotik CRS510, клиент был подключен к тому же свичу через Breakout Cable: 100Гбит делятся на два "хвоста" по 50Гбит, каждый для отдельного компа.

Если необходимость бекапа/хранения становится все важнее, а объемы данных растут, то на помощь приходят внешние хранилища, такие как Terramaster D8 Hybrid DAS. Это устройство с прямым подключением к компьютеру, объединяющее вместительные жесткие диски, а также быстродействующие твердотельные диски, в том числе в RAID-массив. Особая «фишка»: «потолок» ёмкости в 128 Тб и скорость доступа до 10 Гб/с при прямом подключении через USB-C.

За последнее время накопилось довольно много нужной/полезной информации, а периодически отваливающийся из-за жары твердотельный накопитель настойчиво напоминает о бекапе данных. Затягивать с этой проблемой не стал, а в качестве системы хранения был выбран гибридный DAS от бренда Terramaster. Почему именно гибридный — ответ простой: у вас будет 8 слотов, из который половина для быстрых SSD. Такой формат нивелирует скорость доступа — что-то можно хранить в памяти твердотельных накопителей, скорость доступа к которым практически не уступает скорости доступа к системному диску. А в качестве HDD можно использовать современные, пусть и медленные, но объемные диски. А формат 4+4 позволяет реализовать Raid-массив с целью дублирования/сохранения важных файлов.

Модель Terramaster относится к DAS, то есть к системам хранения, непосредственно подключающимся к компьютеру.

Если вам нужно именно сетевое хранилище, то есть смысл рассмотреть более популярные варианты от этого бренда (или от любого другого на ваше усмотрение). Да и надежность подобного решения выше — отсутствует часть, отвечающая за беспроводной доступ и за работу операционной системы.

Стоит отметить, что у подобного решения имеются определенные минусы, в частности, будет сложно реализовать мультидоступ с разных устройств (ПК, телефоны, ТВ) — потребуется постоянное подключение к компьютеру, а также роутер с доступом. Я же чаще скидываю бекап непосредственно с рабочего ноутбука и лишняя функциональность, в данном случае, мне не требуется. Корпус выполнен из ABS-пластика с металлическим шасси, что придает ему жесткость. Габариты компактные, вес — 1,9 кг без учета HDD. Дизайн строгий, без лишних элементов — хорошо вписывается в рабочее пространство.

На задней панели присутствует небольшой переключатель, позволяющий выбрать конкретный режим работы. Есть подсказки, а также отвертка для переключения. Есть четыре режима работы:

• JBOD (объединение без Raid),

• RAID-массив уровня 1,

• RAID-массив уровня 0,

• Режим раздельно использования (SINGLE).

Обратите внимание, при переключении в режим Raid-массива происходит переформатирование накопителей с потерей данных

Неоспоримый плюс данной модели — это простейшая сборка, отсутствие сложной настройки и работа, буквально, «из коробки». Еще раз сделаю акцент на том, что TerraMaster D8 Hybrid — это гибридный DAS, то есть он поддерживает одновременно и жесткие диски (HDD) и твердотельные накопители (NVMe SSD).

Процесс установки и подключения прост:

• Нужно извлечь корзины из слотов или сдвинуть крышку отсека для М.2 дисков.

• Установить HDD в корзины (поддерживаются 3,5″ и 2,5″).

• Установить NVMe SSD через внутренние слоты M.2.

• Закрыть крышку отсека для М.2 дисков, установить корзины обратно в слоты.

• Подключить питание и USB-C кабель к компьютеру или ноутбуку.

Можно установить 2-4 штуки SSD под систему и рабочие файлы, а остальные слоты забить относительно дешевыми HDD. В основном из-за того, что HDD получаются чуть дешевле в пересчете за единицу терабайт. Но они же и заметно медленнее в работе (~200 МБ/с).

Плюс прямого подключения — данные идут напрямую, без задержек сети. Очевидный минус — это отсутствие сетевого (беспроводного) доступа, то есть нет возможности открыть файлы с телефона или другого устройства без промежуточного ПК/роутера. Также отмечу, что вентилятор охлаждения практически не слышно (~21 дБ).

Подключается DAS как обычный внешний диск, вернее, как несколько дисков (в зависимости от конфигурации). Соответственно, есть небольшой минус такой сборки — накопители доступны только с одного ПК (или ноутбука) при непосредственном подключении. Если нужно сбекапить информацию с другого компьютера, то приходится все отключать, перестыковывать. В этом состоит небольшое для меня (лично для меня) неудобство — отключаются все диски по отдельности, что занимает время.

Результат вполне ожидаемый:

• 170-180 МБ/с для HDD 3.5″. Тут все понятно и очевидно, бюджетный жесткий диск с емкостью в 4 Тб просто не сможет выдать высокую скорость доступа. Особенно заметно по скорости случайного доступа — практически на порядок медленнее.

• порядка 400 МБ/с для HDD 2.5″. Это старенький 2 Тб твердотельный диск, снятый с ноутбука. Вполне себе живой и шустрый, по стоимости выходит практически вдвое дороже 3.5-дюймового, если пересчитывать на единицу ёмкости.

• два теста разных SSD, скорость доступа ограничена интерфейсом USB-C. На выходе около 1000 МБ/с (не путайте мегабиты в секунду с мегабайтами в секунду).

Вот так выглядит реальное копирование большого объема информации (около 1 Тб за раз), со скоростью примерно 170-180 МБ/с. В Raid0 было бы несколько быстрее, но мне интереснее сделать именно зеркало (Raid1) для сохранности данных. А документы и бекап рабочих файлов вполне можно держать на SSD, благо скорости там не сильно отличаются от скоростей доступа к системному накопителю ноутбука. Самое главное — это достаточно быстрый процесс перемещения данных, а также стабильная скорость.

Еще интересный момент — с этой моделью DAS предлагалось скачать утилиту TPC Backupper от TerraMaster. Простая, местами с полезными функциями, но, что удобно, — позволяет в автомате сохранять все нужное. Принесли ноутбук домой с учебы или офиса, подключили кабель — запустился процесс бекапа. По своей сути, TerraMaster TPC Backupper — это бесплатная утилита для резервного копирования и восстановления данных.

Конечно, компактным такой DAS не назвать — эту «коробочку» нужно будет поселить где-то на рабочем месте. С другой стороны, теперь стало чуть спокойнее за свои данные. В планах взять пару одинаковых и неторопливых HDD и объединить их в Raid1. В плюсах — его гибридность, то есть наличие слотов под SSD, что весьма выручает, когда нужно быстро сбекапить документы; а также довольно тихая работа — такое хранилище не помешает ни дома, ни в офисе. Если вы ищете быстрое и удобное хранилище без сложной настройки сетевого доступа, то Terramaster D8 Hybrid станет подходящий вариантом. Найти такое гибридное хранилище можно на маркетплейсах Алиэкспресс и Яндекс.Маркет.

Реклама:
ООО "АЛИБАБА.КОМ (РУ)" ИНН: 7703380158
ООО "Яндекс Маркет" ИНН: 9704254424