2025 엔비디아 GTC Keynote 핵심 정리 (2) - AI 혁신이 가져올 미래를 준비하는 엔비디아 - 엔비디아 다이나모 (Dynamo)

3월 18일 엔비디아 GTC Keynote에서 엔비디아의 젠슨 황 사장은 AI 혁신이 가져올 미래를 엔비디아 어떻게 준비하고 있는지 설명하였습니다. 

 

 

2025 엔비디아 GTC Keynote 핵심 정리 - AI 기술 발달 및 AI 혁신이 가져올 미래를 준비하는 엔비디아

 

지난 번 글에서는 AI 발전이 어떻게 이루어져 왔고, 앞으로 어떤 방향으로 나아갈 것이며, 이에 따라 엔비디아는 어떻게 미래를 준비하는지, 하드웨어 측면에서 엔비디아가 준비하는 미래에 대해 이야기를 했습니다.

 

그런데 고성능의 하드웨어를 유효적절하게 운용하기 위해서 엔비디아는 소프트 웨어 역시 준비하고 있습니다. 지금까지의 데이터 센터가 작동하는 방식은 Retrieval-based computing, 즉 저장되어 있는 파일을 검색하여 찾는 방식의 컴퓨팅 이었다면, 이제는 Generative-based computing, 즉 데이터 센터가 직접 무언가를 계속 생성해 나가는 생성기반 컴퓨팅 방식으로 발전하고 있습니다. Generative-based computing을 구현하는 데이터 센터를 젠슨 황 사장은 AI Factory 로 칭하고 있습니다. AI Factory가 적절하게 운영하기 위해서 AI 운영 시스템 "엔비디아 다이나모, Nvidia Dynamo" 를 발표하였습니다. 

 

기존의 전통적인 데이터 센터는 VMware 를 사용하여 기업 어플리케이션을 조율하지만, 엔비디아 다이나모는 Agentic AI를 조율하게 됩니다. 엔비디아 다이나모는 AI 추론 서빙을 최적화하는 오픈소스 운영 시스템으로, 대규모 언어 모델(LLM) 배포 시 GPU 리소스 활용도와 토큰 처리 효율성을 혁신적으로 개선합니다. 이는 기존 Triton 추론 서버의 후속 제품으로, AI Factory (데이터센터) 에서 토큰 생산성 극대화를 목표로 설계되었습니다.

 

 

엔비디아 다이나모의 주요 기술적 혁신

분리 서빙(Decoupled Serving): LLM의 처리(프로세싱)와 생성(Generation) 단계를 서로 다른 GPU에 분리하여 각 단계별 최적화를 가능하게 합니다. 이를 통해 GPU당 토큰 처리량을 기존 대비 30배 이상 증가시킬 수 있습니다.

KV 캐시 매핑: 이전 추론 요청의 컨텍스트(지식)를 수천 개 GPU에 분산 저장하고, 새로운 요청을 가장 적합한 GPU로 라우팅하여 재계산 비용을 절감합니다.

동적 리소스 관리: GPU 플래너로 변동성 있는 워크로드에 맞춰 GPU를 동적으로 추가/제거/재할당, 스마트 라우터로 대규모 클러스터 내 최적 GPU 탐색을 통해 쿼리 처리 지연 최소화, 메모리 매니저로 고비용 메모리 사용량을 최적화하기 위해 데이터를 저렴한 저장장치로 오프로드 합니다.

 

 

 

Blackwell 에 Dynamo를 활용하여 기존 Hopper 의 추론방식에 비해 40배의 급격한 성능향상을 이루었습니다. 젠슨 황 사장은 "새로운 GPU를  더 많이 구입하면, 더 많이 절약할 수 있고, 또한 더 많이 생성할 수 있다" 고 자신있게 언급하였습니다.

 

엔비디아 다이나모는 오픈 소스 운영 시스템으로 개발자 커뮤니티 참여 유도로 생태계 주도권을 확보하려 합니다. 엔비디아의 차세대 GPU는 Blackwell 보다 엄청난 성능의 향상을 가져오게 됩니다. 각각의 기업은 (Enterprise AI) 고성능의 GPU를 엔비디아 다이나모를 이용하여 적절하게 운영할 수 있게 됩니다. 엔비디아 다이나모는 AI의 대중화와 산업 적용 가속화를 이끌 전략적 AI 운영체재가 될 것으로 평가할 수 있습니다.