[용어] HBM (고대역폭 메모리)

■ HBM에 대해

 

HBM은 High Bandwidth Memory 의 약자로,

 

고 대역폭 메모리 라고 말할 수 있습니다.

대역폭은 일정한 공간안에 데이터를 교환할 수 있는 통로가 얼마나 있는가 라는 것이고,

고 대역폭이라는 것은 그 데이터 교환 통로의 속도가 빠르다는 것입니다.

 

HBM은 현대 컴퓨터 시스템, 특히 그래픽 카드 (GPU) 및 일부 고성능 컴퓨팅 어플리케이션에 사용되는 

RAM (Random Access Memory) 아키텍처 유형을 나타냅니다.

 

HBM은 GDDR (Graphics Double Data Rate) 메모리와 같은 기존 메모리 기술에 비해 

훨씬 더 높은 대역폭을 제공합니다.

 

■ 왜 HBM인가? 

 

먼저 왜 HBM이 필요한지 얘기해보도록 하겠습니다.

 

최근에 ChatGPT, 자동차의 자율 주행 등 주요한 이슈들의 핵심 키워드는 AI입니다.

 

IT기기에서 AI를 구현하기 위해서는 방대한 양의 데이터를 더하고, 빼고, 나누고, 곱하면서 

학습을 한 뒤 스스로 추론하는 과정을 거칩니다.

 

방대한 양의 데이터를 처리하려면 CPU와 GPU의 구조도 알아야 할 것 같은데요.

간단하게 얘기하자면 GPU가 CPU에 대비하여 많은 데이터를 동시에 많이 처리할 수 있다는 장점이 있습니다.

CPU와 GPU의 비교 (출처 : SKT)

 

이러한 점이 메모리 시장에도 영향을 미치게 되었는데요.

일반적인 메모리로는 AI 연산에 불리한 점이 많아 

연산 장치 가까이 (near.니어) 에서 정보를 처리해주는 메모리가 부각되었습니다.

 

GDDR과 HBM의 차이점은 아래 그림과 같습니다.

GDDR과 HBM 비교 (출처 : AMD)

 

 

결과적으로 대역폭만 비교해도 4배 이상의 차이가 있습니다.

 

간략하게 HBM의 왜 필요한지에 대해서는 이정도만 알아보도록 하겠습니다.

(출처 : 강해령의 하이엔드 테크)

■ HBM의 주요 특징

 

1) 적층형 메모리 설계

- HBM은 TSV (Through Silicon Via-실리콘 관통 전극) 로 연결된 여러 레이어의

DRAM (Dynamic Random Access Memory) 다이를 수직으로 적층합니다.

이 3D 스태킹을 통해 PCB (Printed Circuit Board)의 설치 공간을 줄이면서

메모리 밀도를 높일 수 있습니다.

 

2) 넓은 인터페이스

- HBM은 메모리 다이와 GPU 또는 CPU 사이에 일반적으로 1024~4096 비트 범위의

넓은 인터페이스를 활용합니다. 이 넓은 인터페이스는 높은 데이터 전송 속도를 가능하게 합니다.

 

3) 높은 대역폭

- HBM은 데이터가 여러 채널에 걸쳐 동시에 전송되도록 하여 매우 높은 대역폭을 달성합니다.

이러한 병렬 처리는 기존 메모리 아키텍처에 비해 유효 데이터 전송 속도를 크게 향상시킵니다.

 

4) 낮은 전력 소비

- 높은 대역폭에도 불구하고 HBM은 일반적으로 GDDR 메모리에 비해 전력을 덜 소비하므로

랩탑 및 모바일 장치와 같이 전력이 제한된 어플리케이션에 적합합니다.

 

5) 감소된 대기 시간

- HBM의 스택형 아키텍처는 메모리 셀 사이의 거리를 줄여 기존 메모리 설계에 비해

대기 시간을 단축합니다.

 

6) 특수 어플리케이션에 적용

- HBM은 그래픽 카드, 특히 게임, 가상 현신 및 인공 지능 어플리케이션과 같은 복잡한 

그래픽 작업을 처리하는데 대량의 메모리 대역폭이 중요한 고급 GPU에 일반적으로 사용됩니다.

또한, 데이터 분석, 기계 학습, 과학 시뮬레이션과 같은 일부 고성능 컴퓨팅 어플리케이션에도 적용됩니다.

 

전반적으로 HMB은 메모리 기술의 상당한 발전을 나타내며 기존의 메모리 아키텍처에 비해 

더 높은 대역폭, 더 낮은 전력 소비 및 감소된 대기 시간을 제공하므로 다양한 영역의

까다로운 컴퓨팅 작업에 매우 적합합니다.

 

오늘은 HBM에 대해 간략하게 알아보았는데요.

이 정도만 알아도 왜 HBM을 선호하는지에 대해 알 것 같기도하네요

 

오늘도 도움이 되셨기를 바라며,

이만 줄이겠습니다.

 

지금까지 Sean 이였습니다.

 

좋아요, 댓글, 구독 감사합니다!