2024년 ISSCC(국제고체회로컨퍼런스)에서 한국과학기술원(KAIST) 과학자팀이 획기적인 '상보형 변압기' AI 칩을 선보이며 AI 가속기 기술에 중요한 이정표를 세웠다. 세계 최초의 초저전력 AI 가속기 칩으로 LLM(Large Language Model) 처리가 가능한 C-Transformer 칩은 놀라운 효율성과 성능으로 주목을 받았다.

보도 자료에서 연구원들은 자신의 창작물을 Nvidia의 A100 Tensor Core GPU와 대담하게 비교하여 C-Transformer의 뛰어난 전력 효율성을 강조했다. 그들의 주장에 따르면 C-Transformer 칩은 삼성이 제작한 혁신적인 뉴로모픽 컴퓨팅 기술 덕분에 Nvidia의 GPU보다 전력을 625배 더 적게 소비하고 크기도 41배 더 작다. 그러나 이러한 비교는 인상적이지만 직접적인 성능 지표가 부족하여 칩의 실제 기능에 대한 의문이 제기된다.

현재 삼성의 28nm 공정으로 생산되는 C-Transformer 칩은 20.25mm2의 컴팩트한 다이 면적을 자랑하며 최대 200MHz의 주파수에서 작동하며 500mW 미만의 전력을 소비한다. 적당한 사양에도 불구하고 이 칩은 최대 3.41 TOPS(초당 조 연산)를 달성할 수 있다. 이는 Nvidia A100 GPU의 624 TOPS와 비교하면 미미하지만 C-Transformer의 탁월한 전력 효율성은 모바일 컴퓨팅 애플리케이션을 위한 강력한 선택이다.

C-Transformer 아키텍처의 핵심에는 세 가지 주요 기능 블록이 있다. HMAU(Hybrid Multiplication-Accumulation Unit)를 갖춘 Homogeneous DNN-Transformer/Spiking-transformer Core(HDSC)는 동적 에너지 분포를 효율적으로 처리한다. OSSU(Output Spike Speculation Unit)는 스파이크 도메인 처리에서 대기 시간과 계산을 줄이는 반면, ESC(Extended Sign Compression)를 갖춘 IWGU(Implicit Weight Generation Unit)는 EMA(외부 메모리 액세스)의 에너지 소비를 최소화한다.

C-Transformer 칩의 주요 혁신 중 하나는 뉴로모픽 컴퓨팅 기술을 활용하여 LLM의 큰 매개변수를 정확하게 압축하는 것. LLM의 뉴로모픽 컴퓨팅 정확도에 대한 이전 제한 사항은 KAIST 연구팀에 의해 극복되어 심층 신경망(DNN)의 정확도와 일치한다.

업계 표준 AI 가속기와 비교하여 칩 성능에 대한 불확실성이 남아 있지만 모바일 컴퓨팅 애플리케이션에 대한 C-Transformer의 잠재력은 부인할 수 없다. 삼성 테스트 플랫폼을 사용한 칩의 성공적인 개발과 GPT-2 모델을 사용한 광범위한 테스트는 AI 가속기 환경에서 유망한 미래를 강조한다. 작성자: Impact Lab