Поставил перед собой задачу: сделать по-настоящему быстрое файлохранилище для временных файлов при обучении нейросетей: как сами модели (промежуточные чек-поинты), так и данные для обучения. При этом мне нужны как NFS (для пингвинов с видеокартами), так и SMB (закидывать данные для обучения с основного компа и смотреть как там идут дела - подгружать промежуточные чек-поинты и смотреть, что обучение движется в нужном направлении).
Построение быстрой сети - это отдельная тема. Кстати, не так дорого: на буржуйских маркетплейсах есть куча предложений по адекватной (~$150) цене с Mellanox CX414, 416 и иже с ними (40Гбит карты), которые простой перепрошивкой можно убедить в том, что на самом деле они 100Гбит/с.
После перепрошивки эта карта спокойно работает на 100Гбит/сек вопреки сказанному на наклейке.
Некоторое время я с вожделением смотрел на QNAP TBS-h574TX. Но во-первых дороговато, а во-вторых традиционная сеть у него 10Гбит, при том, что для поставленной задачи имеющиеся там два Thunderbolt порта совсем не нужны. Ну и вообще мне не понятно: у этой модели сетевые способности явно сильно хуже, чем то, что способны выдать поставленные в нее накопители.
Пришлось идти своим путем. Была взята плата MSI Pro B860M-A: у нее при mATX форм-факторе есть 3 слота под M2 SSD и 4 PCI-E слота: один х16 под видео, два х1 и один х4. В качестве процессора я поставил Core Ultra 235. Совсем как Эллочка-Людоедочка конкурировала с миллионершей, я заселил плату пятью SSD Kingston 4TB NV3. Три штуки зашли в предусмотренные производителем разъемы, еще два я поставил в имеющиеся PCI-E x1 слоты через китайский переходник. Теперь по объему я совсем-совсем способен конкурировать с QNAP h574!
Вместо видео в слоте х16 поселилась сетевая карта, перепрошитая на 100Гбит/с.
А оставшийся слот х4 и место в корпусе под CD-ROM заняло бодрое комбо от китайских товарищей: оказывается, китайская промышленность производит "заглушку" в отсек 5.25" с шестью местами под SATA SSD 2.5"! На случай если мне понадобится побольше места, слот PCI-E x4 занял SATA адаптер на 6 портов подключенный к панели на 6 SSD.
В результате система выглядит так:
1/4
Для загрузки этой радости я подключил SATA SSD на 250Гб к порту на самой плате. И радостно установил TrueNAS.
Пять дисков объединены в RAIDZ1. Из них трое получают полные PCIE x4 и способны выдать свои примерно 4ГБ/сек (вроде Kingston NV3 способен примерно на это), а два диска ограничены пропускной способностью шины и упираются в лимит 2ГБ/сек. Тем не менее, тесты производительности радуют: 6.7ГБ/сек на запись и 9.3ГБ/сек на чтение:
Сеть тоже работает как задумано. Сервер подключен к 100Гбит порту на Mikrotik CRS510, клиент был подключен к тому же свичу через Breakout Cable: 100Гбит делятся на два "хвоста" по 50Гбит, каждый для отдельного компа.
озадачился этим некоторое время назад, как переехали, до это пользовал HMS(home media server) но не устраивало, что надо системник держать всегда врубленным, сейчас же когда контент таскают 4 телевизора , ноут , моноблок и стационарный ПК, давно стало не вариантом. еще по "православным" ценам был приобретен Asustor 5304T куда встали 2 WD red nas edition под фото в первом рейде, и 2 toshiba MG08 по 16 tb, за год это все забилось, докупилась полка расширения AS6004U , внутри 4 штуки Seagate SkyHawk AI по 16tb место еще есть зато прекрасно себя там ощущает Plex, в гардеробе на антресоли в коридоре прекрасно себя ощущают не греются и за закрытой дверью очень тихо
Решил завести свой домашний сервачок: на ноутах и компе накопилось много файлов/фоток, старые харды начали сбоить, возник риск потери семейного архива.
Нашёл на авито сб/у серверный корпус тауэр, и б/у серверную мат.плату с двумя Ксеонами 2420v2 и 96ГБ оперативки, всë в сумме вышло на 12 тыр. В ДНС купил SSD на один ТБ, и два харда WD Red на 8 ТБ для рейда - всё новое, иначе старьё опять начнёт сыпаться.
Накатил Proxmox, объединил харды в рейд 1 (зеркало), для надёжности. К сожалению, не смог настроить аппаратный рейд через LSI MegaRAID, ОС не запускалась, сделал программный через LVM.
Внутри Proxmox создал виртуалку с FreeNAS, пробросил в неё виртуальный накопитель и настроил отдельные шары по SMB, для фильмов, фото и прочих данных.
Хотел развернуть Plex Media Server в LXC-контейнере, но шара не пробрасывалась. Забил и поднял Plex в отдельной виртуалке поверх дебиана.
Загрузил на шару обучающие видео со своих разных семинаров - крутота! Работает :) теперь с телевизора можно смотреть свои видосы и фильмы.
Пока на этом остановился, поскольку внезапно обнаружил, что старый хард с семейным фотоархивом на компе застучал... Не успел... Попробую восстановить данные и перекинуть их на файлообменник.
В дальнейших планах: установить Immich, попробовать Jellyfin (говорят, удобнее, чем Plex), привязать домен и настроить реверс-прокси. А также попробовать HomeAssistant, и, может, с self-hosted нейросетями поиграть.
Могу расписать подробнее, что и как настроил. Позже распишу, что успел настроить ещё.
Установил truenas scale последней версии,создал пулы, создал djail , создал пользователя, запустил smb, все папки расширены и из под винды виды. Установил qbitorrent, он у меня устанавливается на отдельный пул для установок программ, если при установке qbitorenta пути к папкам не меняю, то закачка идёт по умолчанию в пул в котором установлен qbitorrent, но мне так не нужно. Меняю пути к папкам при установке на заранее созданные в другом пуле, закачек торрентов не происходит. Извините за может не правильные термины. Очень нужна помощь в том как правильно, и где указать пути, и может быть какие то разрешения для того чтобы в загрузки qbitorent ставить нужную папку в нужном пуле. Заранее благодарен
На протяжении нескольких лет, многие пользовались облаком mail.ru. Когда-то маил.ру выдал пользователям электронной почты пространство под файлы «бесплатно и навсегда», но теперь если хотите хранить свои файлы придётся платить.
Конечно вы можете написать в службу поддержки как указано в этом письме, спросить почему «бесплатно и навсегда» уже закончилось, и быстро получить автоответ с бесполезной информацией, где сказано, что изъятие бесплатных гигабайтов они называют «пересмотром тарифов». Но как бы там ни было, теперь у меня, как и у многих осталась куча файлов в облаке, с которыми нужно решить, что делать. Через два дня файлы нельзя будет просматривать, и где ещё этим заниматься если не на работе =).
Одну часть облака занимают файлы и папки, а другую часть — письма и вложения из почты. Самый большой объём файлов хранится в облаке, поэтому с него и начнём.
Наверно вам как и мне не хочется разбираться и вспоминать, что за файлы у нас накопились за эти несколько лет. Обычно, когда забивается жёсткий диск или флешка, то, с одной стороны, жалко форматировать носитель, «вдруг там что-то нужное». С другой стороны, не хочется разбираться, и тратить время на сортировку файлов. Поэтому более простым решением кажется – купить новый носитель, чтобы спокойно его захламлять очередными «нужными» файлами. Но если вы не помните, что у вас годами хранится в облаке, то скорее всего оно вам и не нужно, и остаётся лишь освободить место для писем.
Короче, заходим в облако, справа сверху жмём Отображение «Списком» и сортировку «По размеру файла».
Нас интересуют самые большие по объёму файлы и папки. Конечно же это фото и видео. Беглым взглядом смотрим, что нам может пригодиться и представляет ценность. Скачиваем эти файлы на компьютер. Папки скачиваются zip архивом, для которого даже не нужен архиватор. Можно полазить по папкам и посмотреть фоточки, но есть риск утонуть в ностальгии =).
Фото и видео удобней открывать в отдельной вкладке, так как в отличие от гугл диска здесь нет кнопки «возврата к списку файлов», или «закрытия просмотра», и есть шанс потеряться. Иногда, файлы большим объёмом скачиваются достаточно быстро, за несколько минут.
А иногда… ничего не понятно.
Итак, файлы скачаны, теперь можно их спокойно удалить из облака. Для этого выделяем каталоги и файлы, чтобы появилась синяя галочка, и жмём «Переместить в корзину» в меню сверху, либо кликаем правой кнопкой и выбираем пункт в появившемся списке.
Помещённые в корзину файлы будут удалены через 14 дней, ещё можно подумать, и если что восстановить файлы? Не думайте =). Лично я перейду в корзину и очищу её, чтобы сразу было понятно сколько освободилось места, и сколько нужно добить, чтобы было место для писем.
Не помешает избавиться и от каталогов с музыкой и клипами.
На сколько надо быть фанатом Рианы и Адель, чтобы хранить их музыку в облаке? Или зачем хранить клипы Bomfunk mc? Неужели их невозможно найти в интернете?
Последний раз слушаем никому не известную песню Нелли Фуртадо и всё удаляем.
А что делать со скачанными файлами? Да просто купить флешку, скинуть файлы туда и забыть ещё на несколько лет как мы любим =). 128Гб флешка стоит около 700 руб. (около 7$), что лично для меня на много лучше очередной ненужной подписки. Второй вариант — перекинуть файлы в другое облако, например в гугл, в котором бесплатно 15Гб, а не 8. Да и тарифы кажется должны быть выгоднее.
Теперь дошёл черёд и до ненужных писем. Слева сверху кликаем 3 точки, пункт Освободить место.
Вас должно перекинуть в раздел «Управление». Здесь нужно нажать «Все старые письма».
В этом разделе тоже есть фильтр по дате, и самые объёмные письма будут сверху списка:
Можно выбрать год, и, возможно в 2014ом вы даже сможете найти письмо от mail.ru, где они подарили вам гигабайты облака якобы навсегда и бесплатно. Кому-то подарили 100Гб, или даже 1000Гб., некоторые пытались скупать такие аккаунты, но не стоит им завидовать так как им разгребать больше файлов =).
И как теперь многие уже знают – «mail.ru сказал – mail.ru сделал, mail.ru не сделал – mail.ru ещё раз сказал». В принципе в этом нет ничего такого, так как всё что хранится у вас в электронной почте или в облаке вам не принадлежит. И не важно платите вы за это, или нет. Хотя меня немного удивляет почему вдруг они решили сократить объёмы обрабатываемой персональной информации. Может это связано с очередными ограничениями гугла, или может это какая-то монопольная кампания mail.ru, vk, ок, и яндекса? Кстати говоря, на многих зарубежных сайтах не принимается почта mail.ru или яндекса, и дело даже не в санкциях. Дело в фильтре по умолчанию, который был создан людьми, которые ничего не знают об этой конторе, и по этому её доменов просто нет в белом списке адресов.
Короче, как я и говорил ранее, если вы не помните что в письмах десятилетней давности, скорее всего они вам не нужны, и можно их спокойно удалять. Можно выделять письма по одному, или сразу пачкой. Справа сверху будет указан объём выбранных писем и кнопка удалить.
Здесь тоже есть корзина, и если хотите увидеть освободившийся объём, нужно её очистить. Лично я пытался удалять только не нужные письма, но из-за непривычной и неудобной прогрузки писем, случайно удалил все якобы нужные =).
В самом почтовом ящике можно попробовать избавиться от ежедневного спама. Если вы видите что с какого-то адреса вам каждый день приходили ненужные письма, то можно создать фильтр на его основе и применить ко всем папкам. Это делается внутри письма через 3 точки, или командой SHIFT+L.
Но у меня почему-то фильтр не сработал, и я воспользовался поиском. Здесь нам помогут клавиши ctrl+a и del:
В итоге удалось освободить достаточно много места, для начала совсем не плохо.
Желаю вам успехов с вашими файлами… кстати, можно просто подождать пока всё само удалится =).
Компании ищут наиболее эффективный способ хранения данных, чтобы управлять большими объемами информации. Какое из решений будет соответствовать строгим правилам безопасности? Какое будет более доступно и масштабируемо? Давайте разбираться.
Вопрос хранения корпоративных данных является критически важным для любых компаний. Выбор между облачным корпоративным хранилищем и локальным существенно повлияет на капитальные и операционные расходы, поэтому важно разобраться в облачных и внутрикорпоративных системах хранения данных, чтобы выбрать лучший вариант.
Каждый из этих подходов имеет свои особенности, преимущества и недостатки. Их понимание поможет оптимизировать расходы и позволит повысить общую экономическую эффективность бизнеса.
В этой статье мы рассмотрим ключевые аспекты облачных и традиционных систем хранения данных, чтобы помочь предприятиям сделать осознанный выбор.
Что включает в себя корпоративное облачное хранилище?
Облачное хранилище данных – это SaaS-решение для бизнеса, при котором корпоративные данных хранятся на удаленных серверах. Доступ к такому хранилище осуществляется через онлайн, поэтому важно иметь стабильное интернет-соединение.
Преимущества корпоративного облачного хранилища
Масштабируемость. Вы сможете увеличивать объемы хранения или сокращать их по мере необходимости, для этого не нужно закупать дополнительное оборудование. С облачными решениями вы платите только за используемые ресурсы.
Экономичность. Вы уменьшаете свои затраты на собственную инфраструктуру, ее построение и закупку оборудования, а также на техническую поддержку и обслуживание. Всю работу с облачным сервисом на себя берут разработчики.
Доступность. Данные в облаке доступны с любого устройства. Самое главное – иметь подключение к сети Интернет. Так что ваши сотрудники смогут быть мобильными и гибкими в графике и местоположении.
Быстрое развертывание. Облачные решения быстро настраиваются. Вы сможете внедрить облачное хранилище без длительного процесса закупки и настройки оборудования и уже через пару часов начать работать с решением.
Недостатки корпоративного облачного хранилища
Необходимость Интернет-подключения. Для доступа к облачному хранилищу, а соответственно и к вашим данным, у сотрудников должно быть стабильное Интернет-соединение.
Ограничения. Некоторые страны вводят ограничения на передачу и хранение данных для российских компаний, поэтому важно использовать отечественные облачные хранилища, чтобы избежать случаев с SAP.
Вопросы безопасности. Несмотря на то, что поставщики облачных услуг предлагают расширенные меры безопасности, для многих компаний первостепенен вопрос защиты данных. И им необходимо разворачивать подобные системы внутри корпоративной инфраструктуры. Для таких компаний идеально подойдет традиционное решение для хранения данных.
Как в традиционной инфраструктуре реализовать хранилище данных?
При внутрикорпоративном хранении данных и использовании традиционной инфраструктуры компании используют софт на своих физических серверах.
Для этого необходимо закупить подходящее оборудование, создать команду для обслуживания и поддержки решения, и развернуть специальное программное обеспечение (или создать его) внутри инфраструктуры.
Вы также можете развернуть готовую систему хранения в собственных дата-центрах. Решение обеспечит объектное хранение больших данных, в том числе ваших резервных копий, медиафайлов и пр.
Преимущества традиционного хранилища
Контроль. Компании имеют полный контроль над своей инфраструктурой, поэтому могут быть полностью уверены в оборудовании и защите данных. Однако не стоит забывать о недобросовестных сотрудниках, которые могут, например, украсть данные.
Производительность. Благодаря локальному хранилищу для сотрудников снизится задержка доступа, что может быть критично для некоторых приложений.
Отсутствие зависимости от интернет-соединения. Доступ к данным во внутрикорпоративной инфраструктуре, поэтому ваши сотрудники не будут зависеть от Интернета. Это обеспечивает непрерывность работы в случае сбоев.
Недостатки традиционного хранилища
Высокая стоимость. Приобретение и настройка оборудования требует значительных капитальных вложений.
Сложности масштабирования. Увеличение объема хранилища данных будут требовать дополнительных инвестиций в оборудование и пространство для его размещения.
Обслуживание и администрирование. Требуются высококвалифицированные специалисты для обслуживания и администрирования системы хранения данных.
Особенности управления данными в разных видах корпоративного хранилища
Облачное решение для хранения данных:
Автоматизированное резервное копирование – облачные сервисы предлагают встроенные инструменты для автоматизации ряда рабочих процессов.
Глобальное распределение данных – SaaS-платформы позволят хранить информацию в гео распределенных центрах обработки данных. Благодаря этому вы улучшите производительность и получите постоянную доступность данных вне зависимости от местоположения.
Управление доступом и идентификация – облачные хранилища предлагают продвинутые функции управления доступом и идентификации (IAM), а также шифрование данных.
Корпоративное хранилище внутри своего контура:
Высокий уровень безопасности – при традиционном подходе компании могут устанавливать собственные стандарты физической безопасности для защиты данных, включая контроль доступа в помещение, где хранятся серверы.
Персонализированные решения – традиционные системы хранения данных могут быть полностью настроены под конкретные нужды бизнеса, включая выбор оборудования, конфигурации и программного обеспечения.
Локальный контроль – все операции с данными, включая их обработку и анализ, происходят локально, что может обеспечивать более высокую производительность для специфических задач.
Выводы
Выбор между облачным сервисом для хранения и традиционным хранилищем зависит от таких факторов, как специфика бизнеса, требования к безопасности, требования к масштабируемости, бюджет.
Облачные решения предлагают гибкость и экономию затрат, в то время как традиционные системы хранения обеспечивают высокий уровень контроля и производительности. Компаниям важно тщательно анализировать свои потребности и возможности, прежде чем принимать решение о модели хранения данных.
Есть домашняя ЛАН и ФайФай сетка. В сетке есть компутер 11 года на И-3 пеньке с двумя слотами под память, набортной видяхой, в общем - офисный вариант того времени.
Задача - приколбасить к этому компу каким либо образом (через ЮСБ) приблуду на пять-шесть очков, в которую можно фтыкать ХДДшники, на которых хранятся всякие мультимедиа - фильмы, там, сериалы.
Всё это будет использоваться только в рамках домашней сети.
Если не трудно, можно сразу с ссылками на оборудование, если таковое существует.
Спасибо всем откликнувшимся.
UPD: хранилище планируется на несколько террабайт, например. На пять-шесть винтов террабайтников
