리서치 이끄는 빌 달리 엔비디아 최고과학자

“컴퓨팅 에너지 73%가 데이터 이동에 쓰여

GPU 위 메모리를 쌓는 등 아키텍처 연구 중”

빌 달리 엔비디아 최고과학자 겸 리서치 부문 부사장이 18일(현지시간) 미국 새너제이에서 열린 ‘GTC 2026’ 세션에서 엔비디아 리서치 팀이 연구 중인 내용을 소개하고 있다. [사진 = 정호준 기자] “그래픽처리장치(GPU) 처리량(스루풋) 문제는 곧 데이터 이동 과정을 효율화하는 것과 직결됩니다. 컴퓨팅 에너지의 73%는 데이터 이동에 쓰이고 있습니다.”

엔비디아의 연구조직인 엔비디아 리서치를 이끄는 빌 달리 최고과학자는 18일(현지시간) 미국 새너제이에서 열린 ‘GTC 2026’ 세션에서 리서치 조직이 연구하고 있는 핵심 주제로 ‘추론 효율’을 꼽았다.

달리 최고과학자는 “모델 크기와 수요는 매년 커지고 있는 가운데,경제적으로 대응하기 위해서는 토큰 비용을 줄여야 한다”며 “근본적으로 개선해야 하는 영역은 반도체에서 데이터가 이동하는 과정에서 소모되는 에너지”라고 설명했다. 그는 “컴퓨팅에 사용되는 에너지는 9%에 불과하다”며 “데이터 이동을 줄일 수 있다면 컴퓨팅 효율은 훨씬 올라가게 될 것”이라고 덧붙였다.

리서치 조직이 이를 해결하려는 방법은 반도체 하드웨어 영역이다. 달리 최고과학자는 “최선의 방법은 GPU에 메모리를 최대한 가깝게 해서 데이터 이동을 최소화하는 것”이라며 “연산하는 영역 바로 옆에 S램(RAM)을 배치하고,GPU 칩 위에는 D램(RAM)을 적층하는 것이 하나의 방법”이라고 설명했다.

이같은 방식은 컴퓨팅 효율을 높이면서 출력까지 걸리는 지연시간을 최소화하는 효과를 가져다준다. 이를 통해 W당 토큰 처리량을 10배 수준으로 개선할 수 있다는 설명이다.

GPU 위에 메모리를 적층하는 방식은 상용화 단계는 아니지만,리서치 조직에서 실제 적용까지를 목표로 하고 연구 중인 영역이다. 달리 최고과학자는 “리서치 조직에서 프로토 타입을 진행하고 있는 기술 중 하나이며,제품 영역에 적용할 수 있기를 기대하고 있다”라고 밝혔다.

빌 달리 엔비디아 최고과학자 겸 리서치 부문 부사장이 18일(현지시간) 미국 새너제이에서 열린 ‘GTC 2026’ 세션에서 엔비디아 리서치 팀이 연구 중인 내용을 소개하고 있다. [사진 = 정호준 기자] 인공지능(AI) 생태계는 AI 에이전트 등 사용 분야가 대폭 확장되면서,추론 중심으로 무게 중심이 옮겨가고 있다.

젠슨 황 엔비디아 최고경영자(CEO)가 GTC 2026에서 “추론의 변곡점이 도래했다”고 강조하며 추론 특화 반도체를 공개한 것도 같은 맥락이다. 리서치 조직의 연구도 이같은 미래를 위한 선제적인 준비로 볼 수 있다.

달리 최고과학자는 리서치 조직이 집중하고 있는 또 다른 분야로 ‘강화 학습 기반 사전 훈련’을 꼽았다. 그는 “AI는 이제 학습할 수 있는 데이터가 고갈된 상태”라며 “더 적은 데이터로 높은 정확도를 얻기 위해 사전 학습 단계에서 강화 학습을 활용하고 있다”고 설명했다.

기존 모델 훈련은 데이터를 넣어가며 AI가 다음 토큰을 맞추게 하는 사전 학습을 진행한 후,미세 조정(파인 튜닝)과 강화 학습 등으로 진행된다.

엔비디아 리서치 팀은 강화 학습 방식을 사전 학습 단계로 가져와 처음부터 정답을 맞히게 하지 않고 문제를 탐색하고 추론해 보도록 지시했다. 그리고 AI가 그 과정을 거쳐 답을 도출하며 얻은 정보량에 기반해 모델에 보상을 제공하면서 학습을 진행했다.

엔비디아 자체 모델인 ‘네모트론 12B’ 모델의 경우,20조개 토큰으로 훈련된 기반 모델에 2500만개 토큰만 이같은 방식으로 학습시킨 결과 성능이 35% 향상됐다고 달리 최고과학자는 설명했다.

마지막으로 달리 최고과학자는 엔비디아가 연구하고 있는 로보틱스 파운데이션 모델인 ‘그루트(GR00T)’를 소개하며 코스모스 플랫폼을 활용한 합성 데이터 활용과 모델 증류 기술을 설명했다.