우수국제학술대회 IEEE International Symposium on Cluster, Cloud, and Internet Computing (CCGRID) 2026 정규 발표 논문 채택
데이터 중심 AI 컴퓨팅 및 시스템 연구실 (DISCOS) 백소양(제1저자, 석사졸업), 정보돈(공동1저자, 박사과정), 변홍수 박사, 박성용 교수 (교신저자)가 작성한 “QUICKTOPIA: Iteration-Level GPU Frequency Control for Energy-Latency Co-Optimization in LLM Inference" 논문이 The IEEE International Symposium on Cluster, Cloud, and Internet Computing (CCGRID) 2026 에 게재가 확정되었습니다. 올해 총 247편의 논문이 제출되었으며, 이 중 62편이 정규 논문으로 채택되었습니다 (Acceptance rate 25.1%).
최근 대규모 언어 모델(LLM)의 배포 환경은 대규모 데이터센터를 넘어 단일GPU 서버, 온프레미스 인프라, 엣지 디바이스 등 자원이 제한된 환경으로 빠르게 확장되고 있으며, 이에 따라 추론 과정에서 발생하는 전력 소모와 운영 비용이 핵심 병목으로 부상하고 있습니다. 이를 완화하기 위해GPU의DVFS(Dynamic Voltage and Frequency Scaling)를 활용한 연구가 진행되어 왔으나, 기존 기법들은 명시적 Service Level Objectives (SLO)를 만족하는 범위 내에서만 주파수를 조정하거나 정적인 프로파일링에 의존하는 방식이 주를 이루었습니다. 그러나 실제 Large Language Model (LLM) 추론 엔진은Continuous Batching으로 인해 매Iteration마다 연산량이 급격히 변동함에도 이러한 동적 특성을 충분히 반영하지 못하며, Latency와Energy 중 하나에 집중되어 Energy-Delay Product(EDP) 관점에서의 종합적인 최적화를 달성하지 못하는 한계가 있습니다.
그림1. QUICKTOPIA의 트리구조와 Pareto Optimality 기반 EDP 최적화 과정
본 연구는 이러한 한계를 극복하기 위해, LLM 추론의Iteration 단위 실행 특성을 실시간으로 분석하여 에너지와 지연 시간 간의 최적 균형점을 동적으로 탐색하는GPU 주파수 제어 프레임워크QUICKTOPIA를 제안합니다. QUICKTOPIA는 모델 구조 수정이나 오프라인 프로파일링 없이 런타임 변동성에 즉각적으로 적응하며, 다목적 최적화 개념인 파레토 최적성(Pareto Optimality)을 기반으로Latency와Energy라는 상충 목표 간의 최적 트레이드-오프를 실시간으로 평가합니다. 또한, 트리 기반 세그먼트 매니저를 설계하여 제어 오버헤드를 최소화하고 노이즈가 존재하는 환경에서도 안정적인 주파수 정책을 유지함으로써, 실질적인 시스템 효율 극대화를 달성합니다.
제안한QUICKTOPIA를 최신LLM 추론 프레임워크인 vLLM에 통합하여 단일GPU 환경에서 평가한 결과, 다양한 워크로드에서 Latency는1~5% 이내로 억제하면서도, 종합 효율 지표인EDP를 기존 최신 연구기법 대비 최대22%까지 감소시키는 성과를 달성하였습니다. 이는QUICKTOPIA가 LLM 서비스 전반에 걸쳐 에너지 효율성과 응답성을 동시에 확보할 수 있는, 실용적이고 효과적인LLM 추론 최적화 솔루션임을 실증적으로 보여줍니다.
본 논문의1저자인 백소양 연구원(석사졸업)은 “저는 앞으로AI 모델이 발전할수록 이를 뒷받침하는 시스템 소프트웨어가 더욱 중요해질 것이라 생각합니다. 성능과 에너지의 균형을 다룬 이번 연구가, AI와 시스템 소프트웨어에 관심있는 많은 학부생과 후배 연구자분들에게 좋은 영향을 끼칠 수 있기를 바랍니다.” 라고 소감을 전했습니다.
IEEE CCGRID는 클러스터, 클라우드 및 인터넷 컴퓨팅 분야의 세계적인 국제 학술대회로, 대규모 분산 시스템 클라우드 인프라, 고성능 컴퓨팅, 데이터 집약적 시스템 연구의 최신 성과를 공유하는 권위 있는 학회로 올해 행사는 5월 18일부터 21일까지 호주 시드니에서 개최될 예정입니다.