AI 시대에 메모리가 주도권을 가지려면
|
독점 업체는 항상 사악해진다 |
Chat-GPT 쇼크로 가장 수혜를 본 기업은 단연 엔비디아다.
독점력을 확인한 엔비디아는 AI 생태계 조성에 긍정적인 역할을 하지 않고 있다.
우선 트랜스포머 모델에는 막대한 메모리가 지원돼야 하지만, 의도적으로 메모리 짠돌이 모습을 보이고 있다.
CPU용 메모리는 A100 > H100으로 가면서 그리 증가하지 않았다. GPU용 HBM도 40GB~80GB 수준 밖에 증가하지 않았다. 메모리가 덜 필요해서 그런게 아니다.
AI에서 메모리는 병목이기 때문에 많이 쓸수록 성능은 좋아진다.
그러나 엔비디아는 메모리로 자사가 설계한 서버 성능을 업그레이드하기보다는 GPU를 최대한 비싸게 팔기 위해 메모리 사용량에 제한을 걸어두었다.
즉 GPU 사양을 높여야 성능 향상이 체감되도록 한 것이다.
엔비이다의 대항마로 AMD에 거는 기대가 큰 이유다. 최근 엔비디아 주가가 고공 행진을 보이는 가운데 AMD 주가 흐름도 나쁘지 않다. 이는 AMD에 대한 테크 기업들의 기대감이 크기 때문이다.
TSMC가 파운드리를 독점하면서 횡포가 심해졌고, 팹리스들이 삼성 파운드리에 희망을 걸고 있는 것과 같은 맥락이다.
AMD는 마이크로소프트와 협업해 칩렛 기술로 H100 성능을 넘볼 수 있는 MI300을 선보였다.
전작 MI250과 비교해 AI 성능이 8배 빠르고, 와트당 성능은 5배, 가격도 1만~1.5만 달러로 H100의 절반 이하다.
4개의 6nm 칩렛 위에 9개의 5nm 칩렛을 적층해 비싼 3nm를 사용하지 않고 원가 절감에 성공했다.
NVLink 인터커넥트 기술을 쓰는 엔비디아와 달리, AMD는 GPU를 아예 붙여버렸다. 하이브리드 본딩 기술이 적용된 것으로 보인다.
기존 인터커넥션 역할을 캐시 메모리를 넓혀서 해결했다.
엔비디아가 인수한 멜라녹스 기술로 모듈간 인터커넥션한 것과 달리 AMD는 PCIe 칩렛 전용 버전인 UCIe를 적용해 해결한 것으로 보인다. 2등 클라우드 업체 마이크로소프트가 AMD와 협력한 다는 것만 봐도 엔비디아의 독점 횡포가 얼마나 심각한지 알 수 있다.
AMD가 엔비디아를 어느 정도 견제해 주는게 고객 입장에서는 좋아진다. 메모리를 대량으로 적용해 값 싸게 성능을 향상시킬 수도 있다.
데이터 트레이닝에서는 GPU 성능이 압도적이지만, 추론 영역에서는 ASIC NPU가 더 좋을 수 있다. 추론용 칩은 저비용, 저전력, 초저지연 등에 초점을 두고 개발되고 있다.
많은 스타트업 기업들이 이 시장을 노리고 있다.
추론 시장이 개화되면 많은 기업들이 차제 칩을 사용할 것으로 보인다.
자사 데이터를 다른 기업에 넘겨주면 보안 이슈가 있어 국가별, 기업별 자체 생태계를 꾸리려 한다.
구글은 TPU를 개발해 데이터센터에 사용 중이고, 아마존은 인퍼런티아, 마이크로소프트는 브레인웨이브를 개발했다. 국내에서는 SKT가 사피온에 투자했고, KT는 리벨리온에 투자했다.
퀄컴은 엣지 디바이스 추론용 AI 칩을 개발해 좋은 성과를 내고 있다.
인텔은 너바나, 하바나라는 스타트업 2곳을 인수해 개발 중이다.
트랜스포머 이전 개발한 AI 칩은 곤란한 상황에 처했다. 메모리를 대폭 사용하게 될 것을 예측 못해 D램이 아닌 캐시 메모리(S램) 위주로 설계했다.
GPT 모델에서는 수백 GB 단위로 D램이 필요하다.
메모리 산업 입장에서는 엔비디아 독점 구조보다 다양한 NPU가 활성화되는게 유리하다.
|
엔비디아 독주가 이어질수록 주목받는 국내 기업들 |
많이 본 콘텐츠
전일 00시~24시까지 집계한 결과입니다.
