Процессор

HBM (память с высокой пропускной способностью) — это особый тип быстрой памяти, используемой в современных высокопроизводительных устройствах — видеокартах, AI ускорителях, DPU. За счет того, что HBM-память расположена на одной подложке с чипом GPU, она обеспечивает огромную скорость передачи данных.

История

HBM-память была разработана в 2013 году компанией AMD в сотрудничестве с Hynix и TSMC. Она предназначалась для использования в графических процессорах, предлагая гораздо большую пропускную способность по сравнению с традиционной DRAM. С тех пор последовательные поколения HBM многократно увеличили скорость передачи данных, с 128 Гбит/с в HBM1 до 819 Гбит/с в HBM3, что позволило современным GPU и другим высокопроизводительным устройствам получать значительные вычислительные возможности. HBM-память стала ключевым фактором развития суперкомпьютеров и передового оборудования для искусственного интеллекта.

Смысл HBM-памяти

Архитектурно HBM-память, в отличии от GDDR-памяти, встраивается непосредственно в чип GPU, а не вынесена за его пределы. Она построена на использовании вертикально расположенных слоев памяти и вместо традиционной горизонтальной компоновки, в HBM применяют несколько (обычно от 4 до 8) отдельных кристаллов памяти, размещенных друг на друге. Важно отметить, что это позволяет сократить расстояние между графическим процессором и VRAM, уменьшая задержки и увеличивая пропускную способность.
Кристаллы памяти соединены между собой высокоскоростными связями, позволяющими передавать данные с очень высокой скоростью и в большом объеме. В сочетании с высокой плотностью размещения ячеек памяти, это дает HBM колоссальную пропускную способность — до 819 Гбит/с на один чиплет.

Такая архитектура, с ее встроенной в GPU памятью, идеально подходит для высокопроизводительных устройств, таких как мощные видеокарты, ускорители ИИ и суперкомпьютеры, нуждающиеся в огромных вычислительных возможностях.

Ключевые отличия HBM от GDDR

Ключевые отличия HBM от традиционной GDDR-памяти заключаются в архитектуре:
1. Компоновка памяти:

• GDDR состоит из отдельных BGA чипов, распаянных на общем текстолите.

• В HBM чиплеты памяти распаяны на одной кремниевой подложке с GPU.

2. Способ подключения к процессору:

• GDDR соединяется с процессором через металлизированные дорожки в текстолите.

• HBM напрямую подключается к процессору через короткие межсоединения в рамках одной кремниевой подложки, сокращая расстояние.

3. Пропускная способность:

• GDDR уступает в скоростных показателях HBM-решениям.

• HBM за счет 3D-компоновки обеспечивает гораздо более высокую пропускную способность. Это связано с тем, что у HBM гораздо большая шина памяти, поскольку она состоит из множества параллельных каналов, что позволяет передавать большие объемы данных одновременно. Именно благодаря этой широкой шине памяти HBM обеспечивает выдающуюся производительность.

Таким образом, архитектура HBM позволяет добиться существенно более высокой производительности по сравнению с GDDR, что делает ее незаменимой для современных высокопроизводительных устройств.

HBM в ускорителях для обучения ИИ

HBM это действительно прорывная технология, без которой решение современных задач было бы невозможно. Так высокоскоростная память используется в таких продуктах, как Nvidia Tesla и AMD Radeon Instinct, предназначенных для обучения искусственного интеллекта и нейронных сетей. Связанно это с тем, что HBM память способна дать ни с чем не сравнимый уровень производительности, так необходимый для развития AI-технологий. Одним из флагманских продуктов является AMD Instinct MI300X оснащен 192GB HBM3 памяти с пропускной способностью в 5.2TB/s. Такие скоростные показатели важны для эффективного обучения искусственного интеллекта.

Преимущества HBM

Основные преимущества:

1. Высокая пропускная способность: HBM обеспечивает беспрецедентные скорости передачи данных, достигающие до 819 Гбит/с на один чиплет в последних поколениях. Это существенно превосходит возможности традиционной GDDR-памяти.

2. Низкие задержки: Благодаря короткому пути передачи данных, HBM демонстрирует очень низкую латентность доступа к памяти, что важно для высокопроизводительных приложений.

3. Энергоэффективность: HBM потребляет значительно меньше энергии по сравнению с GDDR-памятью, что важно для решений с ограниченным тепловым бюджетом.

4. Масштабируемость: поколения HBM постоянно эволюционируют, увеличивая объем доступной памяти и пропускную способность, обеспечивая высокую масштабируемость.

5. Надежность: специальная архитектура и технология производства HBM гарантируют повышенную надежность и стабильность работы. Также HBM имеет поддержку ECC — технологии аппаратного исправления ошибок.

Эти ключевые преимущества HBM-памяти в области производительности, энергоэффективности и компактности делают ее идеальным выбором для широкого спектра высокопроизводительных вычислительных систем, от графических ускорителей до суперкомпьютеров.

Недостатки HBM

Также у HBM-памяти есть ряд недостатков:

1. Высокая стоимость: HBM-модули являются более дорогими по сравнению с традиционной GDDR-памятью. Это связано со сложностью производства и упаковки 3D-чипов.

2. Сложность интеграции: интеграция HBM-памяти в системные решения является более сложной по сравнению с GDDR. Это требует специальной компоновки подложки кристалла GPU и более тщательной разводки сигналов.

3. Меньший ассортимент продуктов: в отличие от GDDR, ассортимент продуктов с HBM-памятью пока более ограничен, особенно для конечных потребителей.

4. Невозможность ремонта: из-за сложной 3D-компоновки, ремонт и замена вышедших из строя HBM-модулей невозможны — HBM нельзя выпаять, можно только заменить сам чип, а его цена составляет до 95% от стоимости ускорителя.

HBM на потребительском рынке

Не многие знают, что память HBM применялась в ряде десктопных графических адаптеров. Давайте совместно проследим за развитием сверхскоростной памяти на игровом рынке.

1. AMD Radeon R9 FURY — адаптер имел на борту 4Gb HBM памяти первого поколения. Память имела пропускную способность 512.0 GB/s, что в почти в 1,5 раза опережало показатели GDDR5 в 2015 году(GTX980ti - 336.6 GB/s).

2. AMD Radeon RX Vega 64 — ускоритель, дебютировавший в 2017 году на базе второго поколения сверхбыстрой памяти. 8GB HBM2 не могли похвастаться рекордными скоростями и ограничивались 483.8 GB/s. Отсутствие кратного роста производительности связано с применением лишь двух кристаллов HBM2, пока в R9 Fury использовалось 4. Тем не менее, эта планка производительности превосходила достижения конкурентов — GTX1080 могла похвастаться лишь 320.3 GB/s на базе GDDR5X памяти.

3. AMD Radeon VII — GPU с 16GB на базе четырех чиплетов HBM2 памяти предоставлял пропускную способность в 1.02 TB/s! На момент 2019 года ближайший конкурент в лице RTX 2080 Ti имел лишь ПП 616.0 GB/s — это еще раз доказывает превосходство HBM памяти над GDDR.

Период с 2015-2020 год можно смело назвать “экспериментом от AMD”. Красный гигант путем адаптации собственных профессиональных чипов для потребительского рынка пытался повысить серийность HBM, что должно было повлечь снижение стоимости конечных продуктов. Однако потребители не были готовы переплачивать за привычные объемы памяти, а игровые издатели не адаптировали релизы под производительную память. Эти факторы сделали HBM память в потребительском сегменте практически бессмысленной, в результате чего она была вытеснена с десктопного рынка. Наглядная разница строения чипов AMD с HBM памятью. Чип Fiji в R9 Fury имеет самые малые чиплеты HBM. Чип Vega 64 имеет два модуля HBM для оптимизации стоимости видеокарты. Radeon VII спроектирован без компромиссов, но в свою очередь имел стоимость в 700$ на старте продаж.

Таким образом, сочетание высокой пропускной способности, энергоэффективности и масштабируемости делает HBM ключевым компонентом в разработке высокопроизводительных систем для широкого спектра приложений, включая обработку графики, обучение нейронных сетей, научные вычисления и другие ресурсоемкие задачи. HBM позволяет достигать значительных улучшений в производительности и сокращать энергопотребление, что является критически важным для современных высокопроизводительных вычислительных систем.
Развитие HBM открывает перспективы значительного повышения производительности и энергоэффективности высокопроизводительных вычислительных систем.

3D V-Cache — новая ступень развития кэша центральных процессоров. Технология призвана увеличить производительность без внесения изменений в саму архитектуру ЦП. Как она работает?

Что такое кэш процессора

Кэш у центральных процессоров — небольшой объем быстрой памяти, призванный смягчить разницу между скоростью работы ЦП и оперативной памяти, а также сократить задержки. Последняя работает намного медленнее и не успевает своевременно подавать данные, необходимые для работы, процессору напрямую. Именно поэтому еще с далекого 1985 года, у массовых процессоров Intel появилась кэш-память. Уже через четыре года была добавлена возможность работы со вторым уровнем кэша — L2. Он был менее быстрым, чем первый уровень — L1, но большего объема. В совокупности два уровня кэша имели более высокую вероятность того, что нужные данные окажутся в них при запросе центрального процессора. Соответственно ситуаций, когда в кэше нет нужных данных («промах»), стало меньше и средняя производительность с применением двухуровнего кэша значительно возрастала.

Двухуровневая система кэшей использовалась процессорами Intel и AMD достаточно долгое время, пережив много архитектур и значительный рост производительности самих ЦП. Но уже в 2007 году AMD представила первые процессоры с кэшем третьего уровня – Phenom. Из-за активного внедрения многоядерности, кэш уровня L3 стал просто необходим для быстрого обмена данными между ядрами. В следующем году его внедрила и Intel в процессорах Core i7 первого поколения, и с тех пор он стал использоваться во всех новых ЦП поголовно.

В чем отличия 3D V-Cache и как он работает

Идея 3D V-Cache не нова и берет истоки у конкурента AMD — Intel. А точнее — у серии процессоров 2015 года под кодовым названием Broadwell. Да, еще семь лет назад Intel решила внедрить в свои процессоры большой кэш четвертого уровня — 128 Мб памяти eDRAM. Для сравнения — кэш L3 у массовых процессоров Intel не превышал объема в 8 Мб, а в Broadwell был сокращен до 6 Мб.

Кэш представлял собой отдельный кристалл под крышкой процессора рядом с вычислительным. Благодаря столь огромному объему процессоры Broadwell с eDRAM превосходили в производительности своих предшественников Haswell даже на более низких тактовых частотах и при практически неизменной процессорной архитектуре. Особенно этот разрыв был велик в 3D-играх. Объем в 128 Мб для четырехъядерного процессора перекрывал практически все возможные промахи и позволял полностью раскрыться и без того производительной архитектуре тех лет.

Однако в последующих поколениях процессоров Intel отказалась от eDRAM в силу его дороговизны, оставив дополнительный кристалл только для редких ноутбучных процессоров с производительной встроенной графикой, которая так же могла пользоваться кэшем, как и процессорные ядра. Из десктопного сегмента такие процессоры из ассортимента Intel после 2015 года ушли окончательно.

3D V-Cache не является кэшем четвертого уровня — вместо этого AMD решили увеличить объем кэша третьего уровня в три раза. К тому же, eDRAM медленнее L3, и простое расширение скоростного L3 даст даже больший эффект. Но общий принцип увеличения производительности у технологий схож: больше кэша = меньше промахов = меньше задержек = выше производительность.

Что даст 3D V-Cache процессорам

Как и любой кэш, 3D V-Cache уменьшает количество промахов при запросе нужных данных и снижает задержки обращения к ОЗУ. А благодаря большому объему это количество должно уменьшиться кратно, да и задержки сократятся существенно. Это позволит раскрыть весь потенциал процессоров архитектуры Zen 3+ и последующих, убирая узкие места. Особенно эффективен он в играх — рост производительности может достигать десятков процентов, но и многие другие приложения к нему чувствительны.

Однако скорости целочисленным операциям кэш не добавит, что следует учитывать для тех приложений, которые используют процессор исключительно как «числодробилку». К тому же, дополнительный кэш вносит свой вклад в нагрев процессора. В результате чего аналогичные процессоры с 3D V-Cache и без него могут отличаться базовыми частотами. У моделей с кэшем частота будет ниже, но само ускорение от применения технологии во многих сценариях позволит это нивелировать.

Особенности и перспективы технологии

3D V-Cache уже используется в серверных процессорах AMD EPYC 3 поколения. В смешанных серверных нагрузках одно только внедрение этого кэша способно увеличить производительность задач до полутора раз, а в некоторых задачах — и того больше. Поэтому неудивительно, что первые процессоры с данной технологией выпущены не среди массовых десктопных. Однако, AMD уже заявила и о массовых процессорах с 3D V-Cache. Первым из них будет Ryzen 7 5800X3D, который должен увидеть свет в этом году. В будущих процессорах на архитектуре Zen 4 моделей с поддержкой данной технологии будет больше.

Однако 3D V-Cache на данном этапе — далеко не массовая технология. При изготовлении такого процессора дополнительный многослойный кристалл памяти устанавливается на чиплет с ядрами и соединяется с ним по технологии сквозных соединений. Мало того, что производство таких чипов обходится недешево, так еще и сама кэш-память большого объема в производстве дорога. Количество транзисторов, используемых в ней, достигает нескольких миллиардов, что сравнимо с их количеством в самих чиплетах с ядрами ЦП.

Именно поэтому реальное использование технологии 3D V-Cache в ближайшие годы стоит ожидать только в топовых процессорах. В бюджетных моделях ее применение лишено экономического смысла, так как цена процессора с малым количеством ядер и этой технологией будет совсем не гуманна по сравнению с конкурентами.