Суперкомпьютеры

В Национальном вычислительном центре энергетических исследований США (NERSC) Национальной лаборатории им. Лоуренса в Беркли состоялась торжественная церемония, посвящённая официальному запуску суперкомпьютера Perlmutter, также известного как NERSC-9, созданного HPE в партнёрстве с NVIDIA и AMD.

Это самый мощный в мире ИИ-суперкомпьютер, базирующийся на 6159 ускорителях NVIDIA A100 и примерно 1500 процессорах AMD EPYC Milan. Его пиковая производительность в вычислениях смешанной точности составляет 3,8 Эфлопс или почти 60 Пфлопс в FP64-вычислениях.

Perlmutter основан на платформе HPE Cray EX с прямым жидкостным охлаждением и интерконнектом Slingshot. В состав системы входят как GPU-узлы, так и узлы с процессорами. Для хранения данных используется файловая система Lustre объёмом 35 Пбайт скорость обмена данными более 5 Тбайт/с, которая развёрнута на All-Flash СХД HPE ClusterStor E1000.

Установка Perlmutter разбита на два этапа. На сегодняшней презентации было объявлено о завершении первого (Phase 1) этапа, который начался в ноябре прошлого года. В его рамках было установлено 1,5 тыс. вычислительных узлов, каждый из которых имеет четыре ускорителя NVIDIA A100, один процессор AMD EPYC Milan и 256 Гбайт памяти. На втором этапе (Phase 2) в конце 2021 года будут добавлены 3 тыс. CPU-узлов c двумя AMD EPYC Milan и 512 Гбайт памяти., а также ещё ещё 20 узлов доступа и четыре узла с большим объёмом памяти.

Также на первом этапе были развёрнуты служебные узлы, включая 20 узлов доступа пользователей, на которых можно подготавливать контейнеры с приложениями для последующего запуска на суперкомпьютере и использовать Kubernetes для оркестровки. Среда разработки будет включать NVDIA HPC SDK в дополнение к наборам компиляторов CCE (Cray Compiling Environment), GCC и LLVM для поддержки различных средств параллельного программирования, таких как MPI, OpenMP, CUDA и OpenACC для C, C ++ и Fortran.

Сообщается, что для Perlmutter готовится более двух десятков заявок на вычисления в области астрофизики, прогнозирования изменений климата и в других сферах. Одной из задач для новой системы станет создание трёхмерной карты видимой Вселенной на основе данных от DESI (Dark Energy Spectroscopic Instrument). Ещё одно направление, для которого задействуют суперкомпьютер, посвящено материаловедению, изучению атомных взаимодействий, которые могут указать путь к созданию более эффективных батарей и биотоплива.

Источник. Автор статьи: Владимир Мироненко

Министерство торговли США в четверг заявило, что вносит в «черный список» семь китайских компаний и лабораторий, занятых в производстве суперкомпьютеров. Ограничения вводятся в связи с тем, что данные предприятия сотрудничают с китайскими вооруженными силами.

В список внесены следующие юридические лица: Tianjin Phytium Information Technology, Shanghai High-Performance Integrated Circuit Design Center, Sunway Microelectronics, Национальный суперкомпьютерный центр в Цзинане, Национальный суперкомпьютерный центр в Шэньчжэне, Национальный суперкомпьютерный центр в Уси и Национальный суперкомпьютерный центр в Чжэнчжоу.

Министерство торговли заявило, что они участвуют в создании суперкомпьютеров, используемых китайскими военными.

https://www.golosameriki.com/a/usa-china-commerce/5845626.ht...

https://regnum.ru/news/3237992.html

з.ы. Итого: Китайские компании, сотрудничают с китайскими вооружёнными силами, на территории Китая, внутри границ национальных интересов США.

С самого утра меня порадовал один клиент, он ничего не купил, но настроение поднял. На видео уже второй заход женщины, к первому появлению я никак не был готов, а жаль, там ещё веселее.

Pleiades (суперкомпьютер)

Pleiades (Плеяды) - петафлопс суперкомпьютер, установленный в NASA Advanced Supercomputing (НАСА продвинутых суперкомпьютеров) исследовательского центра Эймса в районе Маунтин-Вью, Калифорния, США. суперкомпьютера поддерживается NASA (НАСА), SGI и Intel. По состоянию на ноябрь 2016 года Pleiades (Плеяды) п 13 в список самых производительных суперкомпьютеров в мире TOP500 с результатом в тесте LINPACK для 5.95 петафлопс и пиковой производительности 7.25 петафлопс.

1. История. (History)

Изначально созданный в 2008 году и названа в честь Плеяды звездное скопление. на момент создания, он занял третье место в рейтинге TOP500 с результатом 487 терафлопс 0.48 петафлопс в тесте LINPACK. тогда это было из 100 стоит SGI Altix ICE (Компания SGI Altix лед) 8200EX, содержащих 12.8 тысяч четырехъядерные процессоры Intel Xeon E5472 Harpertown (Корпорация Intel Процессор Xeon E5472 Harpertown), организации 20 км провода InfiniBand DDR (InfiniBand с РДР). В 2009 году была расширена путем добавления 10 стоит на базе 4-ядерного Intel Xeon X5570 Nehalem, взял 6 место в ноябре 2009 (В 2009) TOP500, с общим количеством процессоров 14 тысячи и производительность в 544 терафлопс. В 2010 году добавлено 32 стенд SGI Altix ICE (Компания SGI Altix лед) 8400 с 6 сердечника Intel Xeon X5670 Westmere (У Westmere Xeon От Intel X5670), увеличивая число процессоров 18.4 тысяч 81.9 тысячи ядер 144 стоит. теоретическая пиковая производительность 973 Тфлопс, на тесте LINPACK - 773 терафлопс. С добавлением этих стендов был сделан частичный переход от Infiniband DDR (InfiniBand с РДР) гибридные сети Infiniband DDR / QDR (InfiniBand с РДР / МПС), который является крупнейшим в мире с более чем 45 километры кабелей. В 2011 добавлено ещё 14 стоит ICE 8400 (Лед 8400) процессор Westmere. Pleiades (Плеяды) в июне взял 7 место TOP500 с результатом 1.09 петафлопс.

Для связи узлов используется сеть InfiniBand DDR (InfiniBand с РДР) и QDR с оптическим кабелем. он также связывает кластера и подсистемы хранения. Общая длина кабелей, достигнутым 65 миль. топология сети - частичная 11-мерного гиперкуба, в котором каждый узел имеет 11 соединений. В 2012 NASA (НАСА), SGI и Intel начало интеграции 24 новые стойки Altix ICE X (Altix льда) восемь Intel Xeon E5-2760 Sandy Bridge (Xeon От Intel Е5-2760 Песчаного Моста) заменить 27 оригинальные подставки Alitx 8200 с 4-ядерные процессоры. после обновления в кластере были 126.7 тысячи ядер 233 ТБ оперативной памяти и 182 стоит. для каждого узла Sandy Bridge (Песчаный Мост) и 4 порта технологии InfiniBand FDR (ФДР), каждый из которых работает со скоростью 56 гигабит / с о 7 гигабайт / С. В начале 2013 начались работы по устранению всех остальных четырехъядерными процессорами кластера путем установки 46 стоит SGI ICE X (СГИ ЛЬДА) на основе 10-ядро Intel Xeon E5-2680V2 Ivy Bridge-EP (Xeon от Intel серии E5-2680V2 мост-ЕР плющ), 22 нм. В августе, после их завершения система увеличение пиковой производительности с 1.78 петафлопс в 2.87 петафлопс. С января по апрель 2014 года добавлено ещё 29 шкафы Ivy Bridge (Мост Плюща), а теоретическая производительность возросла 3.59 петафлопс. остальные узлы на процессорах Nehalem (Нихалем) и Westmere был удален.

2. Роль в NASA. (The role of NASA)

Pleiades (Плеяды) - часть проекта NASA High-End Computing Capability HECC (Высокая-конец НАСА вычислительные возможности Несс) и использует передовые технологии, чтобы удовлетворить требования Агентства до суперкомпьютеров. инженеров и ученых NASA (НАСА) высокое качество моделирования и симуляции для миссии NASA (НАСА) в поле: изучение Земли, космических наук, аэронавтики исследования космического пространства. Среди проектов, которые используются Pleiades: (Плеяды)

Исследования Земли, в том числе в рамках проекта NASA Earth Exchange NEX (НАСА Земля обмен Некс).

Астрофизические исследования формирования галактически, модель Bolshoi (Большой) и моделирования темной материи.

Исследования и разработки новых средств выведения на орбиту.

Исследования океанских течений. (Study ocean currents)

Телескоп Кеплер. (The Kepler Telescope)

вулканов в Антарктиде. Pleiades - группа европейских спутников оптической съемки Земли в высоком разрешении. Pleiades - суперкомпьютер существующий в NASA

использование Columbia сводится на нет и больше задач отдаётся другому суперкомпьютеру НАСА - Pleiades который в ноябре 2012 года занял 14 строчку в рейтинге TOP500

иерархии DNS. В центре Эймса расположен один из самых быстрых суперкомпьютеров в мире Pleiades Подразделение исследований в области искусственного интеллекта

кластерами. Пятнадцать суперкомпьютеров из мирового Топ - 30 используют файловые системы Lustre, в том числе самый быстрый в мире суперкомпьютер - K computer.

Современные суперкомпьютеры строятся с учетом рабочих нагрузок ИИ (искусственного интеллекта). В дополнение к прогнозированию погоды, климатическим исследованиям, физическому моделированию и разведке нефти и газа, суперкомпьютеры помогают ученым открывать более устойчивые строительные материалы и изучать белки человека и клеточные системы с экстремальным уровнем детализации. Обычно производительность суперкомпьютера измеряется в операциях с плавающей запятой в секунду (флопы). В области научных вычислений флоп - это более точная цифра, чем измерительные инструкции в секунду.

12. Суперкомпьютер Секвойя

Скорость: 17,1 петафлопс

Ядра: 1,572,864

Поставщик: IBM.

Расположение: Ливерморская национальная лаборатория им. Лоуренса, США.

Sequoia использует серверы IBM BlueGene/Q для достижения теоретической пиковой производительности в 20 петафлопсов. Он имеет на 123% больше ядер и является на 37% более энергоэффективным, чем его предшественник компьютер K. Хотя машина в основном используется для моделирования ядерного оружия, она также доступна для многих научных целей, таких как изменение климата и анализ генома человека. Он также продемонстрировал свою большую масштабируемость с помощью 3D-моделирования электрофизиологии человеческого сердца.

11. Суперкомпьютер ПАНГЕЯ III

Скорость: 17.8 петафлопс

Ядра: 291,024

Поставщик: IBM

Расположение: Центр технических и научных исследований CSTJF в Пау, Франция.

Pangea III опирается на высокопроизводительную архитектуру IBM, оптимизированную для искусственного интеллекта. IBM и NVIDIA работали вместе над созданием единственного в отрасли соединения между процессорами и графическими процессорами NVLink, которое обеспечивает более чем в 5 раз более высокую пропускную способность памяти между процессорами IBM POWER9 и NVIDIA Tesla V100 Tensor Core, чем традиционные системы на базе x86.

Архитектура не только повышает производительность вычислений, но и повышает энергоэффективность. Новая система использует менее 10% потребления энергии на петафлоп, как и ее предшественница, Pangea I и II. Pangea III имеет различные применения, особенно в трех различных областях - разведка и разработка сейсмических изображений, модели разработки и добычи, а также оценка и селективность активов.

10. Суперкомпьютер Lassen

Скорость: 18.2 петафлопс

Ядра: 288,288

Поставщик: IBM

Расположение: Ливерморская национальная лаборатория им. Лоуренса, США.

Лассен предназначен для несекретной симуляции и анализа. Он устанавливается в той же лаборатории и использует те же компоненты здания, что и Sierra (самый быстрый суперкомпьютер № 2).

Несмотря на то, что Sierra - большая система, Lassen сам по себе имеет приличный размер: он составляет ровно 1/6 от размера старшего брата. Система Lassen содержится в 40 стойках, в то время как Sierra поднимается на 240 стоек. Процессоры IBM Power9 и 253 терабайта оперативной памяти помогают Лассену достигать невероятной производительности в 23 петафлопс.

9. Суперкомпьютер SuperMUC-NG

(Наверное, это секретный китайский компьютер. Поэтому фото нет)))

Скорость: 19.4 петафлопс

Ядра: 305,856

Поставщик: Lenovo

Расположение: Суперкомпьютерный центр Лейбница, Германия SuperMUC-NG

Имеет 6400 вычислительных узлов Lenovo ThinkSystem SD650 с непосредственным водяным охлаждением и более 700 терабайт основной памяти и 70 петабайт дискового пространства. Он подключен к мощным системам визуализации, которые содержат большой 4K стереоскопический сетевой экран и 5-стороннюю среду искусственной виртуальной реальности CAVE. Суперкомпьютер обслуживает европейских ученых во многих областях, включая анализ генома, гидродинамику, квантовую хромодинамику, науки о жизни, медицину и астрофизику.

8. Облачная инфраструктура AI Bridging

Скорость: 19.8 петафлопс

Ядра: 391,680

Поставщик: Fujitsu

Расположение: Национальный институт передовых промышленных наук и технологий, Япония.

Это первая в мире крупномасштабная вычислительная инфраструктура с открытым ИИ, которая обеспечивает 32,577 петафлопс пиковой производительности. Она насчитывает 1088 узлов, каждый из которых содержит 2 "золотых" процессора Intel Xenon Gold Scalable, 4 GPU NVIDIA Tesla V100, 2 HCA InfiniBand EDR и 1 твердотельный накопитель NVMe. Fujitsu Limited утверждает, что суперкомпьютер может достичь 20-кратной тепловой плотности обычных центров обработки данных и охлаждающей способности стойки мощностью 70 кВт с использованием горячей воды и воздушного охлаждения.

7. Суперкомпьютер Trinity

Скорость: 21.2 петафлопс

Ядра: 979,072

Продавец: Cray

Расположение: Лос-Аламосская национальная лаборатория, США Trinity

Построен для обеспечения экстраординарных вычислительных возможностей для предприятия по ядерной безопасности NNSA. Он направлен на повышение геометрических и физических достоверностей в коде моделирования ядерного оружия, обеспечивая при этом безопасность, надежность и эффективность ядерного арсенала. Суперкомпьютер разрабатывался в два этапа: на первом этапе использовался процессор Intel Xeon Haswell, а на втором - значительное повышение производительности с использованием процессора Intel Xeon Phi Knights Landing. Он может обеспечить максимальную производительность более 41 петафлопс.

6. Суперкомпьютер Piz Daint

Скорость: 21.2 петафлопс

Ядра: 387,872

Продавец: Cray

Расположение: Швейцарский национальный суперкомпьютерный центр, Швейцария

Этот суперкомпьютер, названный в честь горы Piz Daint в швейцарских Альпах, работает на микропроцессоре Intel Xeon E5-26xx и NVIDIA Tesla P100. Piz Daint использует DataWarp в «режиме импульсного буфера», чтобы увеличить эффективную полосу пропускания для устройств хранения и обратно. Это ускоряет скорость ввода / вывода данных, облегчая анализ миллионов небольших неструктурированных файлов. В дополнение к своим ежедневным задачам, он может выполнять анализ данных некоторых из самых интенсивных проектов в мире, таких как данные, полученные в результате экспериментов на Большом адронном коллайдере.

5. Суперкомпьютер Frontera

Скорость: 23.5 петафлопс

Ядра: 448,448

Поставщик: Dell EMC

Расположение: Техасский вычислительный центр, США Frontera

Открывает новые возможности в разработке и исследованиях, предоставляя обширные вычислительные ресурсы, которые облегчают ученым решение многих сложных задач в широком диапазоне областей. Frontera имеет две вычислительные подсистемы: первая ориентирована на производительность с двойной точностью, а вторая - на потоковую память одинарной точности. Он также имеет облачные интерфейсы и несколько узлов приложений для размещения виртуальных серверов.

4. Суперкомпьютер Tianhe-2A

Скорость: 61.4 петафлопс

Ядра: 4,981,760

Поставщик: NUDT

Расположение: Национальный суперкомпьютерный центр в Гуанчжоу, Китай

Обладая более чем 16 000 компьютерными узлами, Tianhe-2A представляет собой крупнейшую в мире установку процессоров Intel Ivy Bridge и Xeon Phi. Хотя каждый узел имеет 88 гигабайт памяти, общая память (процессор+сопроцессор) составляет 1375 тебибайт. Китай потратил 2,4 миллиарда юаней (390 миллионов долларов США) на строительство этого суперкомпьютера. В настоящее время он в основном используется в приложениях моделирования, анализа и государственной безопасности.

3. Суперкомпьютер Sunway TaihuLight

Скорость: 93 петафлопса

Ядра: 10,649,600

Поставщик: NRCPC

Расположение: Национальный суперкомпьютерный центр в Уси, Китай

Вычислительная мощность TaihuLight исходит от собственного многоядерного процессора SW26010, который включает в себя как элементы вычислительной обработки, так и элементы управления обработкой. Один SW26010 обеспечивает пиковую производительность более 3 терафлопс благодаря 260 вычислительным элементам (интегрированным в один процессор). Каждый вычислительный обрабатывающий элемент имеет скрэтчпад-память, которая служит кэш-памятью, управляемой пользователем, что значительно уменьшает узкие места в памяти в большинстве приложений. В дополнение к наукам о жизни и фармацевтическим исследованиям, TaihuLight используется для моделирования Вселенной с 10 триллионами цифровых частиц. Однако Китай пытается достичь гораздо большего: страна уже заявила о своей цели стать лидером в области искусственного интеллекта к 2030 году.

2. Суперкомпьютер Sierra

Скорость: 94.6 петафлопс

Ядра: 1.572.480

Поставщик: IBM.

Расположение: Ливерморская национальная лаборатория им. Лоуренса, США.

Sierra предлагает до 6 раз устойчивую производительность и в 7 раз производительность рабочей нагрузки своего предшественника Sequoia. Он сочетает в себе два типа процессорных чипов: процессоры IBM Power 9 и графические процессоры Nvidia Volta. Sierra специально предназначена для оценки эффективности систем ядерного оружия. Он используется для прогнозных применений в управлении запасами, американской программе испытаний надежности и технического обслуживания ядерного оружия без каких-либо ядерных испытаний.

1. Суперкомпьютер Summit

Скорость: 148,6 петафлопс

Ядра: 2,414,592

Поставщик: IBM.

Расположение: Национальная лаборатория Ок-Риджа, США.

Summit является самым быстрым суперкомпьютером в мире, который может обеспечить 200 петафлопс в пике. Это эквивалентно 200 квадриллионам операций с плавающей запятой в секунду.

Это также третий по величине энергосберегающий суперкомпьютер в мире с зарегистрированной эффективностью энергопотребления 14,66 гигафлопс на ватт. На 4600+ серверах Summit, занимающих два баскетбольных поля, размещено более 9 200 процессоров IBM Power 9 и более 27 600 графических процессоров NVIDIA Tesla V100. Система соединена волоконно-оптическим кабелем длиной 298 км и потребляет достаточно энергии для работы 8 100 домов. В 2018 году Summit стал первым суперкомпьютером, преодолевшим эксафлопный барьер. Анализируя геномные данные, он достиг пиковой пропускной способности в 1,88 эксафлопс, что составляет почти 2 миллиарда миллиардов вычислений в секунду.

Те же данные в таблице для сравнения.

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

https://arxiv.org/abs/2002.04013

https://learning-at-home.github.io

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций Folding@home перешла рубеж в один экзафлопс и продолжила расти. Но сети распределенных вычислений имеют недостатки: каждый компьютер может в любой момент отключиться или передавать данные медленно и нестабильно, а кроме того, не все типы вычислений одинаково легко разбиваются на подзадачи для распределения по отдельным вычислительным узлам.

https://foldingathome.org

Максим Рябинин (Maksim Riabinin) из Высшей школы экономики и Яндекса вместе с коллегой Антоном Гусевым (Anton Gusev) разработали платформу Learning@home, позволяющую распределять обучение нейросетевых моделей на множество компьютеров. В основе платформы лежит метод коллектива экспертов, при котором за обработку разных входящих данных отвечают определенные «эксперты» — отдельные алгоритмы или компьютеры. Разработчики предложили разбивать слои обучаемой нейросети на набор экспертов. Каждый из экспертов может иметь свою специализацию, к примеру, выступать в качестве части нейросети сверточного или другого типа. https://ru.wikipedia.org/wiki/Распределённая_хеш-таблица

Схема работы сети

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Поделиться

Сеть компьютеров для обучения или выполнения нейросетевых алгоритмов имеет децентрализованную структуру, а каждый из ее вычислительных узлов состоит из трех частей: исполняющей среды, управляющей части и DHT-узла. Исполняющая среда непосредственно отвечает за вычисления, то есть выступает в качестве эксперта. Управляющая часть принимает входящие данные, выбирает подходящих для их обработки экспертов и собирает данные вычислений. А DHT-узел — это часть распределенной хэш-таблицы, в которой сеть хранит свои данные.

Схема узла сети

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Поделиться

Авторы опубликовали код, который они использовали для первичной проверки работоспособности платформы, на GitHub, но отметили, что пока его не стоит рассматривать как готовую к использованию библиотеку. Также они отметили, что платформа в нынешнем виде будет иметь типичные недостатки одноранговых сетей, в том числе высокую нагрузку на сетевую инфраструктуру, а также подверженность специфичным для такого сетей атакам, возможность которых произрастает из их архитектуры, а не конкретной реализации.

Исследователи со всего мира работают не только над совершенствованием программной части нейросетей и их обучения, но и над аппаратной. Одно из перспективных направлений — это нейроморфные чипы, которые по своей архитектуре повторяют организацию и принцип работы биологических нейронных сетей, и имеют в своем составе синапсы, дендриты и аксоны, позволяющие более точно имитировать межнейронное взаимодействие. Среди них можно выделить чисто нейроморфные чипы от IBM и Intel, а также представленный в прошлом году китайскими разработчиками гибридный чип, в котором совмещены блоки для классических и импульсных искусственных нейросетей.

Григорий Копиев