생성형 AI 시대의 숨은 주연 HBM
ChatGPT로 촉발된 생성형 AI 열풍이 불면서 글로벌 빅테크 기업들이 앞다투어 생성형 AI를 선보이고 있다. ChatGPT를 선보인 오픈에이아이를 시작으로 구글, 마이크로소프트, 메타 등 이름만 대면 알만한 빅테크 기업들이 생성형 AI 개발에 총력을 기울이고 있다.
우수한 생성형 AI 개발을 위해선 최대한 많은 정보를 생성형 AI가 학습하게 만들어야 한다. 즉, 많은 데이터를 처리할 수 있는 높은 연산 능력이 필요한데, GPU가 대량의 단순한 작업을 빠르게 처리하는 병렬 연산 능력이 뛰어나다는 점과 맞물리면서 생성형 AI 개발에 있어 GPU의 수요가 폭증하게 된다.
덕분에 GPU 제조사인 엔비디아는 실적이 폭발적으로 성장하고 있다. 주가는 2022년 10월 이후 약 550%, 2024년 올해 들어서만 80% 넘게 뛰는 등 거침없이 올라가고 있고, 엔비디아의 향후 실적 기대와 함께 GPU 생산 시 필수적인 RAM을 공급하는 SK하이닉스, 삼성전자의 주가 역시 꾸준히 올라가고 있다.
요즘 엔비디아, SK하이닉스, 삼성전자 관련 뉴스를 살펴보다 보면, 종종 HBM이란 단어를 발견하게 된다. GPU를 생산하는데 필요한 부품이라는데, 더 우수한 HBM을 경쟁사보다 먼저 선보이기 위해 반도체 업체들이 치열하게 경쟁하고 있다고도 한다. 심지어 엔비디아가 어느 회사의 HBM을 사용할 예정인지에 따라 국내 굴지의 대기업 SK하이닉스(코스피 시총 2위, 2024년 4월 3일 기준)와 삼성전자(코스피 시총 1위, 2024년 4월 3일 기준)의 주가가 크게 영향받을 정도다.
과연 HBM은 무엇이기에 국내 시총 1, 2위의 기업 주가에까지 영향을 끼칠까? 함께 살펴보자.
세 줄 요약
- 엔비디아에 차세대 HBM 공급 전망이 나왔다는 이유만으로 국내 시총 1위 기업의 주가가 상승할 정도로 HBM은 산업계의 뜨거운 감자다.
- HBM은 복수의 DRAM을 연결해 대역폭을 크게 높인 메모리를 말한다.
- 생성형 AI의 딥러닝 용도 외에 수퍼컴퓨터, 데이터센터에도 많은 HBM 패키지가 사용된다.
첨단 반도체 기술의 한 예, HBM
HBM은 High Bandwidth Memory의 약자로 매우 넓은 대역폭(=매우 빠른 전송속도)을 가진 DDR 메모리를 말한다. 보통 ‘고대역폭 메모리’라 부른다. 메모리와 프로세서를 묶어 신호를 교환하는 입출력 회로(IO)를 버스(bus)라 부르고, 1초에 이 버스를 지나는 데이터 신호의 수를 대역폭(Bandwidth)이라 부르는데 이 대역폭이 클수록 데이터를 처리하는 속도가 빠르다. 대역폭은 버스의 개수 × 신호선 1개당 전송속도로 표기한다.
예를 들어 DDR(Double Data Rate) 방식의 RAM인 DDR의 경우, 전송속도가 1,600Mbps이고 버스의 개수가 32개라고 한다면 대역폭은 6.4G바이트/초(51,200Mbp)가 된다. 버스를 차선, 전송속도를 주행속도, 데이터 신호의 수를 교통량으로 바꿔 생각하면 이해가 쉬울 것이다. 2세대 HBM의 경우 전송속도는 2Gbps, 버스 개수는 1024개, 대역폭은 254G바이트/초를 지원한다. 빠른 전송속도와 많은 버스 개수 덕분에 고대역폭을 실현할 수 있게 된 것이다.
HBM이 이렇게 빠른 전송속도와 많은 버스 개수를 달성할 수 있는 이유는 TSV(Through-Silicon Vias, 실리콘관통전극) 기술을 이용해 배선을 고밀도로 시행함과 동시에 수직 방향으로 메모리를 적층했기 때문이다. 기존의 와이어 본드 연결과 비교해 TSV는 고밀도로 배선할 수 있을 뿐만 아니라 배선 거리를 줄임으로써 신호의 전파지연을 줄일 수 있어서 높은 동작 주파수를 실현하기에 유리하다.
여기에 더해 3차원 구조를 활용해 메모리 다이 아래에 로직층을 배치하고 연결함으로써 메모리의 컨트롤 제어뿐만 아니라 데이터를 더 효율적으로 전송할 수 있다.
HBM의 활용 분야
기사 서두에서 말했듯 HBM은 생성형 AI의 딥러닝 용도로 각광받고 있다. 인공신경망의 학습과 추론을 위해선 막대한 데이터를 고속으로 처리하는 능력이 필요한데, HBM의 고대역폭 메모리는 이 과정에 최적이기 때문이다.
생성형 AI뿐만 아니라 수퍼컴퓨터나 데이터센터 등 고성능 컴퓨팅이 필요한 분야에서도 HBM은 요긴하게 사용된다. 정밀한 시뮬레이션과 복잡한 계산에 HBM은 적합하기 때문이다.
생성형 AI의 학습이나 데이터센터, 수퍼컴퓨터처럼 거창한 용도가 아닌 개인 용도로도 이용할 수 있다. 이미지나 영상 렌더링 시에는 대량의 데이터를 빠르게 처리하는 능력이 필요하므로, 우수한 대역폭과 함께 GPU의 성능 병목현상을 줄여주는 HBM이 큰 능력을 발휘한다. 물론 만만치 않은 비용을 들일 수 있는 사람에 국한된 이야기지만.
HBM이 이런 분야에서 활약하는 이유는 DDR 메모리와 비교해 높은 대역폭과 낮은 지연을 자랑하기 때문이다. 한 번에 전송할 수 있는 데이터가 많고 데이터의 최소 기억단위인 메모리 셀 사이의 신호 경로를 단축함으로써 데이터에 연결되는 시간도 매우 빠르다. 그리고 에너지 효율도 높아져서 같은 데이터양을 더 적은 전력으로 전송할 수 있다는 점도 빼놓을 수 없다.
