온라인 ZOOM (사전 접수시 등록된 이메일로 링크 추후 공지)

학부 및 대학원생, 연구원

최근, 거대언어모델 (LLM)의 알고리즘 기술 발전에 힘입어, 산업계 전반의 많은 응용 분야에서 LLM을 적극적으로 활용하려는 움직임이 나타나고 있다. 문자 그대로, “거대” 모델인 LLM을 서비스에 활용하기 위해서는 추론 연산에 천문학적 규모의 컴퓨팅 자원이 필요하고, 이를 비용 및 에너지 효율적으로 연산할 수 있는 시스템을 개발하는 것은 AI의 지속가능한 발전을 위해 현대 사회가 당면한 매우 중요한 연구 문제이다. 본 강의에서는, 연산 중심 AI가속기인 NPU와 메모리 중심 AI 가속기인 PIM을 동시에 활용하여, 비용 효율적 LLM 추론 서비스 시스템을 제안한 NeuPIMs 연구에 대해 소개한다. NeuPIMs는 삼성전자 HBM-PIM과, SK하이닉스 AiM으로 대표되는 최신Digital PIM 디바이스를 기반으로 한 시스템 솔루션이다. 이 강의에서는, NeuPIMs가 LLM 추론 서비스에 특화하여 효율성을 높일 수 있도록 활용한, (1) PIM 내부 컴퓨터구조 설계 기법과 (HW), (2) 추론 서비스 시스템 차원에서의 작업 스케쥴링 기법에 대해 (SW), 논하고자 한다.