MIT의 양성자 저항기를 통해 아날로그 방식으로 딥 러닝이 급증할 수 있음

향상된 성능으로 아날로그 "곡"을 디지털 칩의 세계로 가져옵니다.

MIT(매사추세츠 공과대학) 연구진은 차세대 전자 기기 스케일링, 특히 기계 학습 및 신경망과 같은 AI 처리 작업을 위한 새로운 하드웨어 저항기 설계를 연구해 왔습니다.

그러나 후퇴처럼 보일 수 있는 경우(미래로의 후퇴가 존재할 수 있는 경우) 그들의 작업은 본질적으로 디지털보다 아날로그에 더 가까운 디자인에 중점을 둡니다. 우리 자신의 뉴런(및 상호 연결 시냅스)을 모방하여 AI 네트워크를 가속화하는 동시에 작동을 백만 번 가속화하도록 구축된 양성자 프로그래밍 가능 저항기를 입력하세요. 이는 단순한 과장이 아니라 실제 수치입니다.

이 모든 작업은 Cerebras의 기록적인 Wafer Scale Engine 2와 같이 현재 기계 학습 작업 부하에 사용되는 트랜지스터 기반 설계에 필요한 것의 일부로 에너지 소비를 줄이면서 수행됩니다.

우리의 시냅스와 뉴런은 계산적 관점에서 볼 때 매우 인상적이지만 "습식" 매체인 물에 의해 제한됩니다.

물의 전기 전도는 우리 뇌가 작동하기에 충분하지만 이러한 전기 신호는 약한 전위를 통해 작동합니다. 즉, 약 100밀리볼트의 신호는 상호 연결된 뉴런의 나무를 통해 밀리초에 걸쳐 전파됩니다(시냅스는 뉴런이 전기 신호를 통해 통신하는 접합부에 해당함). 한 가지 문제는 액체 물이 1.23V의 전압으로 분해된다는 것입니다. 이는 현재 최고의 CPU에서 사용하는 작동 전압과 거의 동일합니다. 따라서 컴퓨팅을 위해 생물학적 설계를 단순히 "재활용"하는 데는 어려움이 있습니다.

"장치의 작동 메커니즘은 가장 작은 이온인 양성자를 절연 산화물에 전기화학적으로 삽입하여 전자 전도도를 조절하는 것입니다. 우리는 매우 얇은 장치로 작업하고 있기 때문에 강한 전기를 사용하여 이 이온의 운동을 가속화할 수 있습니다. 이 이온 장치를 나노초 작동 체제로 끌어올릴 수 있다고 핵과학과 재료과학 및 공학과의 Breene M. Kerr 교수이자 수석 저자인 Bilge Yildiz는 설명합니다.

또 다른 문제는 생물학적 뉴런이 현대 트랜지스터와 동일한 규모로 구축되지 않는다는 것입니다. 직경이 4미크론(.004mm)부터 100미크론(.1mm)까지 크기가 훨씬 더 큽니다. 사용 가능한 최신 GPU가 이미 6nm 범위(나노미터는 1마이크론보다 1,000배 더 작음)의 트랜지스터를 탑재하고 있다면 규모의 차이를 거의 상상할 수 있으며 동일한 공간에 이러한 인공 뉴런을 얼마나 더 많이 넣을 수 있는지 상상할 수 있습니다. .

이 연구는 이름에서 알 수 있듯이 전기 흐름에 대한 저항을 생성하는 고체 저항기를 만드는 데 중점을 두었습니다. 즉, 전자(음전하를 띤 입자)의 규칙적인 움직임에 저항합니다. 전기의 움직임에 저항하는(따라서 열을 발생시키는) 물질을 사용하는 것이 직관에 어긋나는 것처럼 들리면 그렇습니다. 그러나 디지털 딥러닝에 비해 아날로그 딥러닝에는 두 가지 뚜렷한 장점이 있습니다.

첫째, 저항기를 프로그래밍할 때 저항기 자체 훈련에 필요한 데이터를 포함시킵니다. 저항을 프로그래밍하면(이 경우 칩의 특정 영역에서 양성자 수를 늘리거나 줄여서) 특정 칩 구조에 값을 추가하게 됩니다. 이는 정보가 이미 아날로그 칩에 존재한다는 것을 의미합니다. 외부 메모리 뱅크를 향해 더 많은 정보를 주고받을 필요가 없습니다. 이는 정확히 대부분의 최신 칩 설계(및 RAM 또는 VRAM)에서 발생하는 일입니다. 이 모든 것이 대기 시간과 에너지를 절약합니다.

둘째, MIT의 아날로그 프로세서는 매트릭스로 설계되었습니다(Nvidia의 Tensor 코어를 기억하십니까?). 이는 병렬 작업을 수행한다는 점에서 CPU보다는 GPU와 더 유사하다는 것을 의미합니다. 모든 계산은 동시에 이루어집니다.

MIT의 양성자 저항기 설계는 실온에서 작동하는데, 이는 우리 뇌의 38.5°C~40°C보다 달성하기 더 쉽습니다. 그러나 이는 또한 최신 칩에 필요한 기능인 전압 변조를 허용하여 작업 부하 요구 사항에 따라 입력 전압을 높이거나 낮출 수 있으며 결과적으로 전력 소비 및 온도 출력에 영향을 미칩니다.