엔비디아, 최신 AI 칩 ‘H200’ 공개…“H100보다 출력 두 배 빨라”

입력 2023-11-14 11:21

URL공유
카카오톡

페이스북
X(트위터)

작게보기
기본크기
크게보기

차세대 메모리 ‘HBM3’ 탑재
내년 2분기 출하 예정

▲엔비디아의 최신 그래픽처리장치(GPU) H200. 출처 엔비디아 홈페이지

인공지능(AI)용 반도체 시장을 주도하고 있는 엔비디아가 AI 언어모델 훈련용 최신 칩을 발표했다.

13일(현지시간) CNBC에 따르면 엔비디아는 대규모언어모델(LLM)을 훈련하도록 설계된 최신 그래픽처리장치(GPU) H200을 공개했다. H200은 챗GPT 개발사 오픈AI가 자사의 최신 LLM인 GPT-4 훈련에 사용하는 칩 H100의 업그레이드 버전이다.

H200에는 141기가바이트(GB)의 차세대 메모리 ‘HBM3’가 탑재됐다. HBM(고대역폭메모리)은 데이터 전송 속도를 높여 고성능을 발휘하는 메모리로, 텍스트와 이미지 등을 생성하기 위해 훈련된 LLM의 추론에 도움이 된다.

엔비디아는 “HBM3을 사용하면 H200은 A100에 비해 용량은 약 2배 늘어나고 대역폭은 2.4배 증가한 초당 4.8테라바이트(TB)가 될 것”이라고 설명했다. 또 메타의 LLM 라마2에 H200을 사용한 테스트를 근거로 “H200의 출력이 H100보다 약 2배 빠르다”고 강조했다.

미국 투자은행 레이몬드제임스 추정에 따르면 현재 H100 칩 가격은 2만5000~4만 달러(약 3300만~ 5290만 원)다. LLM을 훈련하는 과정에는 수천 개의 칩이 필요하다. H200의 가격은 아직 알려지지 않았다.

엔비디아는 내년 2분기 H200 출하를 시작할 예정이다.

이안 벅 엔비디아 하이퍼스케일·HPC담당 부사장은 “대용량의 데이터를 고속으로 효율적으로 처리하기 위해 크고 빠른 GPU 메모리를 사용해야 한다”면서 “엔비디아의 H200을 통해 세계에서 가장 중요한 과제 중 일부를 해결하는 속도가 더 빨라질 것”이라고 말했다.