메모리 칩 부족 현상, 언제 그리고 어떻게 끝날 것인가

미국 - 이크바리 뉴스 통신사

메모리 칩 부족 현상, 언제 그리고 어떻게 끝날 것인가

최근 기술 분야의 모든 것이 인공지능(AI)에 관한 것처럼 느껴진다면, 그것은 사실이기 때문입니다. 그리고 컴퓨터 메모리 시장만큼이나 분명한 곳은 없습니다. AI 데이터 센터의 그래픽 처리 장치(GPU) 및 기타 가속기에 전력을 공급하는 데 사용되는 동적 랜덤 액세스 메모리(DRAM) 유형에 대한 수요와 수익성은 매우 엄청나서, 다른 용도로 사용될 공급을 전환시키고 있으며, 이는 가격의 급격한 상승을 초래하고 있습니다. Counterpoint Research에 따르면, DRAM 가격은 이번 분기에 이미 80-90% 상승했습니다.

주요 AI 하드웨어 회사들은 2028년까지 칩 공급을 확보했다고 보고하고 있습니다. 그러나 이는 PC 제조업체, 소비자 가전제품, 그리고 수십억 개의 비트를 임시 저장해야 하는 모든 다른 장치 제조업체들을 희소한 공급과 부풀려진 비용에 대처하기 위해 고군분투하게 만듭니다. 전자 산업은 어떻게 이 곤경에 빠졌으며, 더 중요하게는, 어떻게 벗어날 것인가?

경제학자와 메모리 전문가들은 여러 요인의 복합적인 작용이라고 지적합니다: DRAM 산업의 역사적인 호황과 불황 주기, 그리고 전례 없는 규모의 AI 하드웨어 인프라 구축. AI 분야의 중대한 붕괴가 없다면, 새로운 생산 능력과 기술 발전이 공급과 수요를 일치시키기까지는 수년이 걸릴 것으로 예상됩니다. 균형이 달성된 후에도 가격이 높게 유지될 가능성도 있습니다.

이 상황의 역학 관계를 이해하기 위해서는, 공급과 수요 변동의 주요 동인인 고대역폭 메모리(HBM)를 이해하는 것이 중요합니다. HBM은 3D 칩 패키징 기술을 사용하여 무어의 법칙 속도 저하를 우회하려는 DRAM 산업의 전략을 나타냅니다. 각 HBM 칩은 '다이(dies)'라고 불리는 12개의 얇게 썬 DRAM 칩으로 구성됩니다. 각 다이는 실리콘 관통 전극(TSVs)이라는 수많은 수직 연결을 포함합니다. 이 다이들은 서로 위에 쌓이고, TSV에 정렬된 미세한 솔더 볼 배열로 상호 연결됩니다. 약 750마이크로미터 두께의 이 DRAM 스택은 – 날씬한 타워라기보다는 거친 느낌의 사무실 건물에 더 가깝습니다 – 메모리 다이와 프로세서 간의 데이터 전송을 관리하는 기본 다이에 장착됩니다.

이 정교한 기술 조립체는 GPU 또는 다른 AI 가속기에서 1밀리미터 이내의 거리에 배치되며, 최대 2,048개의 마이크로 스케일 연결로 연결됩니다. HBM은 일반적으로 프로세서의 양쪽에 부착되어 GPU와 메모리를 단일 패키지 유닛으로 통합합니다. GPU와의 이러한 밀접한 근접성과 고속 연결의 목적은 '메모리 벽'을 극복하는 것입니다. 이는 대규모 언어 모델(LLM)을 실행하는 데 필요한 초당 테라바이트의 데이터를 GPU로 공급하려고 할 때 발생하는 에너지 및 시간 장벽입니다. 메모리 대역폭은 LLM의 작동 속도를 제한하는 중요한 병목 현상입니다.

HBM 기술은 10년 이상 존재해 왔고 DRAM 제조업체들이 지속적으로 기능을 개선해 왔지만, AI 모델의 크기가 증가함에 따라 GPU에 대한 중요성도 급증했습니다. 이러한 중요성의 증가는 상당한 비용을 수반했습니다. SemiAnalysis는 HBM이 일반적으로 다른 메모리 유형보다 3배 더 비싸고 패키지화된 GPU 총 비용의 50% 이상을 차지한다고 추정합니다.

업계 관찰자들은 DRAM 부문이 본질적으로 주기적이며, 상당한 호황 후 심각한 침체가 특징이라는 데 동의합니다. 새로운 제조 시설(팹)의 비용이 150억 달러 이상이므로, 기업들은 용량 확장에 매우 망설이며, Coughlin Associates의 스토리지 및 메모리 전문가이자 사장인 Thomas Coughlin이 설명하듯이, 종종 시장 최고점 동안에만 그렇게 할 재정적 자원을 갖습니다. 그러나 그러한 팹의 건설 및 시운전은 18개월 이상 걸릴 수 있으며, 이는 새로운 용량이 초기 수요 급증 이후 훨씬 나중에 온라인에 들어오는 것을 사실상 보장합니다. 이는 종종 시장 포화와 가격 하락으로 이어집니다.

Coughlin에 따르면, 현재 주기의 뿌리는 COVID-19 팬데믹 당시의 칩 공급 부족 사태로 거슬러 올라갑니다. 공급망 중단을 완화하고 원격 근무로의 신속한 전환을 지원하기 위해, Amazon, Google, Microsoft와 같은 하이퍼스케일 데이터 센터 운영자들은 막대한 양의 메모리와 스토리지를 구매하여 가격을 인위적으로 부풀렸습니다. 이후, 공급망이 정상화되고 2022년에 데이터 센터 확장이 둔화되면서 메모리와 스토리지 가격이 폭락했습니다. 이러한 하락세는 2023년에도 지속되었으며, 삼성과 같은 주요 메모리 및 스토리지 회사들이 생산 비용 이하로 가격이 떨어지는 것을 막기 위해 생산량을 최대 50%까지 줄이도록 강요했습니다. 이는 기업들이 일반적으로 투자 비용을 회수하기 위해 시설을 최대 용량으로 운영해야 한다는 점을 고려할 때, 비정상적이고 절박한 조치였습니다.

2023년 말에 시작된 회복 이후, "모든 메모리 및 스토리지 회사들은 생산 능력을 다시 늘리는 것에 대해 매우 신중해졌습니다,"라고 Coughlin은 말합니다. "결과적으로, 2024년 내내 그리고 2025년 대부분 동안 신규 생산 능력에 대한 투자는 거의 또는 전혀 없었습니다."

이러한 신규 투자 부족은 이제 새로운 데이터 센터에 의해 촉발된 수요 급증과 정면으로 충돌하고 있습니다. Data Center Map에 따르면, 전 세계적으로 약 2,000개의 신규 데이터 센터가 계획 중이거나 건설 중입니다. 만약 이 모든 시설이 완료된다면, 이는 현재 약 9,000개의 시설에 달하는 전 세계 공급량의 20% 증가를 의미할 것입니다.

현재의 구축 속도가 지속된다면, McKinsey는 2030년까지 기업들이 7조 달러를 투자할 것으로 예측합니다. 이 투자 중 대부분인 5.2조 달러는 AI 중심 데이터 센터에 할당될 것입니다. 이 부분 내에서, 3.3조 달러는 서버, 데이터 스토리지, 네트워크 장비에 할당될 것으로 예상됩니다.

GPU 제조업체인 Nvidia는 AI 데이터 센터 붐의 가장 중요한 수혜자였습니다. 데이터 센터 사업부의 매출은 2019년 4분기 10억 달러 미만에서 2025년 10월 말 분기에 510억 달러로 급증했습니다. 이 기간 동안, 서버 GPU는 점점 더 많은 DRAM 기가바이트를 요구했을 뿐만 아니라, 증가하는 수의 DRAM 칩도 요구했습니다. 최근 출시된 B300 모델은 각각 12개의 DRAM 다이 스택으로 구성된 8개의 HBM 칩을 사용합니다. 경쟁업체들도 Nvidia의 HBM 사용을 대부분 모방하고 있습니다. 예를 들어, AMD의 MI350 GPU도 8개의 12-다이 HBM 칩을 통합합니다.

이처럼 엄청난 수요로 인해 HBM은 DRAM 제조업체의 수익 흐름에 점점 더 많이 기여하고 있습니다. SK Hynix와 Samsung에 이어 3위 제조업체인 Micron은 HBM 및 기타 클라우드 관련 메모리가 2023년 DRAM 매출의 17%를 차지했으며, 이 수치는 2025년에 거의 50%로 급증했다고 보고했습니다. Micron은 HBM의 총 시장이 2025년 350억 달러에서 2028년 1000억 달러로 확장될 것이며, 이는 2024년 전체 DRAM 시장보다 큰 수치라고 예측합니다.

이크바리 뉴스 통신사