Google은 자사의 AI 슈퍼컴퓨터가 Nvidia A100 칩보다 더 빠르고 친환경적이라고 밝혔습니다.

4월 4일(로이터) - Alphabet Inc(GOOGL.O)의 Google은 인공 지능 모델을 훈련하는 데 사용하는 슈퍼컴퓨터에 대한 새로운 세부 정보를 화요일에 발표했습니다. 이 시스템은 Nvidia Corp(NVDA)의 유사한 시스템보다 더 빠르고 전력 효율적이라고 밝혔습니다. .영형).

Google은 TPU라는 자체 맞춤형 칩을 설계했습니다. 이 칩은 회사의 인공 지능 훈련 작업의 90% 이상에 이 칩을 사용합니다. 모델을 통해 데이터를 공급하여 인간과 같은 텍스트로 쿼리에 응답하거나 이미지를 생성하는 등의 작업에 유용하게 만드는 프로세스입니다.

Google TPU는 이제 4세대입니다. 구글은 화요일에 개별 기계를 연결하는 데 도움이 되도록 자체 개발한 광학 스위치를 사용하여 4,000개 이상의 칩을 슈퍼컴퓨터에 연결한 방법을 자세히 설명하는 과학 논문을 발표했습니다.

Google의 Bard 또는 OpenAI의 ChatGPT와 같은 기술을 지원하는 소위 대규모 언어 모델의 크기가 폭발적으로 증가하여 단일 칩에 저장할 수 없을 만큼 크기 때문에 이러한 연결을 개선하는 것이 AI 슈퍼컴퓨터를 구축하는 회사들 사이에서 경쟁의 핵심 포인트가 되었습니다.

대신 모델을 수천 개의 칩으로 분할해야 하며, 그런 다음 모델을 훈련하기 위해 몇 주 이상 함께 작동해야 합니다. 현재까지 공개된 언어 모델 중 최대 규모인 Google의 PaLM 모델은 50일 동안 4,000개 칩 슈퍼컴퓨터 중 두 대에 분할하여 학습되었습니다.

구글은 자사의 슈퍼컴퓨터를 통해 칩 간의 연결을 즉석에서 쉽게 재구성할 수 있어 문제를 방지하고 성능 향상을 위해 조정할 수 있다고 말했습니다.

Google 펠로우 Norm Jouppi와 Google 수석 엔지니어 David Patterson은 이 시스템에 대한 블로그 게시물에서 "회로 전환을 사용하면 고장난 구성 요소를 쉽게 우회할 수 있습니다."라고 썼습니다. "이러한 유연성을 통해 우리는 슈퍼컴퓨터 상호 연결의 토폴로지를 변경하여 ML(기계 학습) 모델의 성능을 가속화할 수도 있습니다."

Google은 현재 슈퍼컴퓨터에 대한 세부 정보만 공개하고 있지만 2020년부터 오클라호마 주 메이스 카운티에 있는 데이터 센터에서 회사 내부를 온라인으로 공개하고 있습니다. 구글은 스타트업 미드저니(Midjourney)가 이 시스템을 사용하여 모델을 훈련했다고 밝혔는데, 이 시스템은 몇 단어의 텍스트를 입력한 후 새로운 이미지를 생성합니다.

논문에서 구글은 비슷한 크기의 시스템의 경우 자사 칩이 4세대 TPU와 동시에 시장에 출시된 엔비디아 A100 칩 기반 시스템보다 최대 1.7배 빠르고 전력 효율성이 1.9배 더 높다고 밝혔습니다. .

Nvidia 대변인은 논평을 거부했습니다.

Google은 H100이 Google의 칩 이후에 시장에 출시되었으며 더 새로운 기술로 만들어졌기 때문에 4세대를 Nvidia의 현재 주력 제품인 H100 칩과 비교하지 않았다고 말했습니다.

Google은 Nvidia H100과 경쟁할 새로운 TPU를 개발 중일 수 있음을 암시했지만 자세한 내용은 제공하지 않았습니다. Jouppi는 Google이 "미래 칩의 건전한 파이프라인"을 보유하고 있다고 Reuters에 말했습니다.

우리의 표준: Thomson Reuters 신뢰 원칙.