알고리즘이 성장하고 더욱 복잡해짐에 따라 현재 컴퓨터 칩에 점점 더 큰 부담을 주고 있다. 여러 회사에서 전력 소비를 줄이기 위해 AI에 맞춤화 된 칩을 설계했다. 하지만 그것들은 모두 하나의 기본 규칙에 기초하고 있다. 바로 전기를 사용한다는 것이다.

 

이번 달 중국 칭화대학교 팀이 레시피를 바꿨다. 그들은 AI 모델을 훈련하고 실행하는 데 사용되는 최첨단 칩인 NVIDIA H100의 에너지 비용보다 훨씬 적은 에너지 비용으로 AI 작업을 실행하기 위해 전기 대신 빛을 사용하는 신경망 칩을 구축했다.

 

Taichi라고 불리는 이 칩은 두 가지 유형의 광 기반 처리를 내부 구조에 결합한다. 이전 광학 칩에 비해 Taichi는 손으로 쓴 숫자나 기타 이미지를 인식하는 등 비교적 간단한 작업에서 훨씬 더 정확하다. 이전 제품과 달리 이 칩은 콘텐츠도 생성할 수 있다. 예를 들어 네덜란드 예술가 빈센트 반 고흐를 기반으로 한 스타일이나 요한 세바스티안 바흐에서 영감을 받은 클래식 음악 번호로 기본 이미지를 만들 수 있다.

 

Taichi의 효율성 중 일부는 구조 때문이다. 칩은 칩렛(Chiplet)이라고 불리는 여러 구성요소로 구성된다. 뇌의 조직과 유사하게 각 칩렛은 자체 계산을 병렬로 수행하며 그 결과는 다른 칩렛과 통합되어 솔루션에 도달한다.

1,000개가 넘는 카테고리의 이미지를 분리해야 하는 어려운 문제에 직면한 Taichi는 거의 92%의 성공률을 보여 현재 칩 성능과 일치하면서도 에너지 소비를 1,000배 이상 줄였다.

AI의 경우 "더 진보된 작업을 처리하는 추세는 되돌릴 수 없다"라고 저자는 썼다. "Taichi는 대규모 광자(광 기반) 컴퓨팅을 위한 길을 열어준다." 에너지 비용을 낮추면서 보다 유연한 AI를 구현한다.”

 

컴퓨터 칩의 구조적 문제

오늘날의 컴퓨터 칩은 AI와 잘 맞지 않는다.

문제의 일부는 구조적이다. 기존 칩의 처리와 메모리는 물리적으로 분리되어 있다. 그들 사이에서 데이터를 전송하는 데는 엄청난 양의 에너지와 시간이 소요된다.

상대적으로 간단한 문제를 해결하는 데는 효율적이지만 ChatGPT를 지원하는 대규모 언어 모델과 같은 복잡한 AI의 경우 설정이 엄청나게 전력을 소모한다.

 

가장 큰 문제는 컴퓨터 칩이 어떻게 만들어지는가이다. 각 계산은 계산에 사용되는 0과 1을 나타내기 위해 스위치를 켜거나 끄는 트랜지스터에 의존한다. 엔지니어들은 칩에 더 많은 것을 집어넣을 수 있도록 수십 년 동안 트랜지스터를 극적으로 축소해 왔다. 그러나 현재의 칩 기술은 더 작아질 수 없는 한계점을 향해 순항하고 있다.

 

과학자들은 오랫동안 현재의 칩을 개량하려고 노력해 왔다. 뇌에서 영감을 얻은 한 가지 전략은 동일한 위치에서 정보를 계산하고 저장하는 뉴런을 연결하는 생물학적 "도크"인 "시냅스"에 의존한다. 뇌에서 영감을 받은 이 칩은 신경 형태의 칩으로 에너지 소비를 줄이고 계산 속도를 높인다. 그러나 현재의 칩과 마찬가지로 전기에 의존한다.

또 다른 아이디어는 완전히 다른 컴퓨팅 메커니즘인 빛을 사용하는 것이다. 저자들은 “광자 컴퓨팅”이 “점점 더 많은 관심을 끌고 있다”고 썼다. 전기를 사용하는 대신 빛 입자를 납치하여 빛의 속도로 AI에 전력을 공급하는 것이 가능할 수도 있다.

 

빛이 있으라.

전기 기반 칩에 비해 빛은 훨씬 적은 전력을 사용하며 여러 계산을 동시에 처리할 수 있다. 과학자들은 이러한 특성을 활용하여 전기 대신 AI 칩에 광자(빛의 입자)를 사용하는 광학 신경망을 구축했다.

 

이 칩은 두 가지 방식으로 작동할 수 있다. 하나는 칩이 광 신호를 공학적 채널로 산란시켜 결국 광선을 결합하여 문제를 해결하는 것이다. 회절이라고 불리는 이 광학 신경망은 인공 뉴런을 서로 밀접하게 연결하여 에너지 비용을 최소화한다. 하지만 쉽게 변경할 수 없다. 즉, 하나의 간단한 문제에만 작업할 수 있다는 의미이다.

 

다른 설정은 간섭이라는 빛의 또 다른 속성에 따라 달라진다. 바다의 파도처럼 빛의 파도도 서로 결합하고 상쇄된다. 칩의 마이크로 터널 내부에서는 충돌하여 서로를 증폭시키거나 억제할 수 있다. 이러한 간섭 패턴은 계산에 사용될 수 있다. 간섭 기반 칩은 간섭계라는 장치를 사용하여 쉽게 재구성할 수 있다. 문제는 물리적으로 부피가 크고 엄청난 양의 에너지를 소비한다는 것이다.

 

그러면 정확성에 문제가 있다. 간섭 실험에 자주 사용되는 조각된 채널에서도 빛이 반사되고 산란되어 계산을 신뢰할 수 없게 된다. 단일 광학 신경망의 경우 오류는 허용 가능하다. 그러나 광 네트워크가 더 커지고 문제가 더욱 정교해지면 소음이 기하급수적으로 증가하여 감당할 수 없게 된다.

 

이것이 바로 빛 기반 신경망이 쉽게 확장될 수 없는 이유이다. 지금까지는 숫자나 모음 인식과 같은 기본적인 작업만 해결할 수 있었다.

“기존 아키텍처의 규모를 확대한다고 해서 성능이 비례적으로 향상되는 것은 아니다.”고 팀은 썼다.

 

이중 문제

새로운 AI인 Taichi는 두 가지 특성을 결합하여 광학 신경망을 실제 사용에 적용했다.

팀은 단일 신경망을 구성하는 대신 작업의 여러 부분을 여러 기능 블록에 위임하는 칩렛 방식을 사용했다. 각 블록에는 고유한 장점이 있었다. 하나는 회절을 분석하기 위해 설정되었으며, 이를 통해 짧은 시간에 많은 양의 데이터를 압축할 수 있다. 간섭을 제공하기 위해 또 다른 블록에는 간섭계가 내장되어 있어 작업 간에 칩을 쉽게 재구성할 수 있다.

 

딥 러닝과 비교하여 Taichi는 작업이 여러 칩렛에 분산되는 "얕은" 접근 방식을 취했다.

표준 딥 러닝 구조에서는 오류가 여러 계층과 시간에 걸쳐 누적되는 경향이 있다. 이 설정은 초기 단계의 순차적 처리에서 발생하는 문제를 해결한다. 문제에 직면했을 때 Taichi는 여러 개의 독립 클러스터에 워크로드를 분산하여 오류를 최소화하면서 더 큰 문제를 더 쉽게 처리할 수 있도록 한다.

 

전략은 성과를 거두었다.

Taichi는 학습과 기억을 인코딩하는 뇌 연결을 모방하는 거의 1,400만 개의 매개변수를 포함하여 총 4,256개의 인공 뉴런의 계산 능력을 갖추고 있다. 이미지를 1,000개의 카테고리로 분류할 때 광자 칩은 거의 92% 정확했으며 이는 "현재 널리 사용되는 전자 신경망"과 비교할 수 있다고 팀은 썼다.

 

이 칩은 또한 다양한 알파벳의 손으로 쓴 문자를 식별하는 등 다른 표준 AI 이미지 인식 테스트에서도 탁월했다.

마지막 테스트로 팀은 포토닉 AI에 도전하여 다양한 아티스트와 음악가의 스타일로 콘텐츠를 파악하고 재현했다. 바흐의 레퍼토리로 훈련을 받은 AI는 결국 음악가의 음높이와 전반적인 스타일을 학습했다. 마찬가지로 유명한 그림 '절규'의 작가인 반 고흐나 에드바르 뭉크의 이미지를 AI에 입력하면 유사한 스타일의 이미지를 생성할 수 있었지만 대부분은 유아용 레크리에이션처럼 보였다.

 

광학 신경망은 아직 갈 길이 멀다. 그러나 광범위하게 사용된다면 현재 AI 시스템보다 에너지 효율적인 대안이 될 수 있다. Taichi는 이전 버전보다 에너지 효율이 100배 이상 높다. 그러나 칩에는 여전히 전력 및 데이터 전송 장치용 레이저가 필요하며 이는 응축하기 어렵다.

다음으로 팀은 쉽게 사용할 수 있는 미니 레이저 및 기타 구성 요소를 응집력 있는 단일 광자 칩에 통합하기를 희망하고 있다. 한편, 그들은 Taichi가 결국 강력하고 에너지 효율적인 AI의 "새로운 시대"로 이어질 수 있는 "더 강력한 광학 솔루션의 개발을 가속화"하기를 바라고 있다.

이미지 출처: spainter_vfx / Shutterstock.com