본문 바로가기
  • If you can concentrate always on the present, you'll be a happy man.
  • Forget about failure. But we must never forget the lessons it has taught us.
  • A person who draws a dream for a long time finally resembles the dream.
반응형

전체 글379

실리콘 포토닉스·CPO 광통신 기술 전쟁｜AI 데이터센터는 왜 전기 대신 빛으로 데이터를 보내려 하나 IngressCoWoS·SoIC·Foveros·EMIB 첨단 패키징 기술 전쟁｜TSMC·삼성전자·인텔은 AI 칩을 어떻게 하나로 묶는가에서는 CoWoS·SoIC·Foveros·EMIB를 따라가며 GPU와 HBM, 여러 칩렛을 하나의 거대한 AI 반도체 시스템으로 묶는 첨단 패키징 기술을 살펴봤습니다. 그런데 칩을 아무리 가깝게 배치해도 AI 컴퓨팅 규모가 계속 커지면 결국 또 하나의 문제가 나타납니다.데이터를 얼마나 빠르고 적은 전력으로 이동시킬 것인가?하나의 AI 가속기 안에서는 GPU와 HBM이 데이터를 주고받습니다.하나의 서버에서는 여러 가속기가 통신합니다.랙 안에서는 수십 개의 GPU가 연결되고, 데이터센터 규모에서는 수천~수만 개의 GPU가 서로 데이터를 주고받아야 합니다.더 나아가 AI 인프라.. 2026. 9. 24.
CoWoS·SoIC·Foveros·EMIB 첨단 패키징 기술 전쟁｜TSMC·삼성전자·인텔은 AI 칩을 어떻게 하나로 묶는가 IngressCUDA·ROCm·XLA·Neuron AI 소프트웨어 전쟁｜엔비디아의 진짜 해자는 GPU가 아니라 개발자 생태계일까에서는 CUDA·ROCm·XLA·Neuron을 따라가며 AI 반도체 경쟁력이 하드웨어 하나만으로 완성되지 않는다는 사실을 살펴봤습니다.그런데 다시 반도체 제조현장으로 돌아오면 또 하나의 거대한 문제가 기다리고 있습니다.최첨단 GPU를 만들었습니다.GPU 옆에 초고속 HBM도 준비했습니다.CPU·GPU·I/O 등 서로 다른 기능을 담당하는 칩렛도 만들었습니다. 그렇다면 이 칩들을 어떻게 연결해야 하나의 거대한 AI 반도체처럼 움직일 수 있을까요?바로 **첨단 패키징(Advanced Packaging)**의 역할입니다.과거 반도체 패키징은 완성된 칩을 외부 충격으로부터 보호하고 기판.. 2026. 9. 24.
CUDA·ROCm·XLA·Neuron AI 소프트웨어 전쟁｜엔비디아의 진짜 해자는 GPU가 아니라 개발자 생태계일까 IngressD-11에서는 GPU·TPU·ASIC을 살펴봤습니다.D-12에서는 GPU에 데이터를 공급하는 HBM을 따라갔고, D-13에서는 수많은 AI 가속기를 하나의 거대한 컴퓨터처럼 연결하는 NVLink·InfiniBand·Ultra Ethernet을 살펴봤습니다.이제 AI 데이터센터의 하드웨어는 거의 완성된 것처럼 보입니다.전력을 확보하고, GPU를 설치하고, HBM을 붙이고, 초고속 네트워크까지 연결했습니다.그런데 마지막으로 아주 중요한 질문이 남습니다.개발자는 이 복잡한 하드웨어를 어떻게 사용할까요?GPU에 수백억 개의 트랜지스터가 들어 있어도 개발자가 프로그램을 작성하기 어렵고, 기존 AI 모델이 제대로 실행되지 않으며, 성능을 최적화할 도구가 없다면 하드웨어의 성능을 충분히 활용하기 어렵습니.. 2026. 9. 24.
NVLink·InfiniBand·Ultra Ethernet AI 네트워크 전쟁｜수만 개 GPU를 하나의 AI 컴퓨터로 묶는 기술 GPU·TPU·ASIC AI 가속기 기술 전쟁｜엔비디아·구글·AWS·마이크로소프트는 왜 자체 칩 전쟁에 뛰어들었나에서 GPU를 살펴봤습니다. HBM4·HBM4 E AI 메모리 전쟁｜삼성전자·SK하이닉스·마이크론, GPU보다 뜨거워진 차세대 HBM 경쟁에서는 GPU에 데이터를 공급하는 HBM을 살펴봤습니다. 이제 GPU도 빠르고 메모리도 빨라졌습니다.그렇다면 문제가 끝났을까요?오히려 새로운 병목이 시작됩니다.오늘날 초대형 AI 모델은 GPU 한 개로 처리하지 않습니다. 여러 GPU에 모델과 데이터를 나누고 각 GPU가 계산한 결과를 계속 주고받습니다.GPU 한 개가 계산을 끝냈는데 다른 GPU의 결과가 도착하지 않았다면 먼저 끝난 GPU도 기다려야 합니다.AI 데이터센터에서는 이 짧은 기다림이 .. 2026. 9. 20.
HBM4·HBM4E AI 메모리 전쟁｜삼성전자·SK하이닉스·마이크론, GPU보다 뜨거워진 차세대 HBM 경쟁 D-11에서 GPU·TPU·ASIC을 살펴보면서 한 가지 중요한 문제를 발견했습니다.AI 가속기의 계산능력은 엄청나게 빨라지고 있는데 계산에 필요한 데이터를 제시간에 공급하지 못하면 그 비싼 반도체가 기다려야 한다는 것입니다.이것이 **메모리 벽(Memory Wall)**입니다.AI 시대에 HBM이 중요한 이유도 바로 여기에 있습니다.그리고 경쟁의 중심은 HBM3E에서 HBM4와 HBM4E로 빠르게 이동하고 있습니다.삼성전자는 2026년 HBM4 양산 출하를 공식 발표했고 SK하이닉스와 Micron 역시 차세대 HBM 경쟁을 벌이고 있습니다.그렇다면 HBM4 시대에는 누가 메모리를 더 많이 쌓느냐가 아니라 무엇이 진짜 승부를 가르게 될까요?목차AI 시대에 HBM이 필수 부품이 된 이유HBM4는 HBM3E.. 2026. 9. 20.
GPU·TPU·ASIC AI 가속기 기술 전쟁｜엔비디아·구글·AWS·마이크로소프트는 왜 자체 칩 전쟁에 뛰어들었나 AI 데이터센터에 막대한 전력을 공급했다고 해서 AI가 저절로 만들어지는 것은 아닙니다.D-10에서 원전·SMR·가스발전·재생에너지·ESS까지 살펴봤다면 이제 그 전력을 실제 ‘지능’으로 바꾸는 장치를 볼 차례입니다.바로 AI 가속기입니다.ChatGPT와 Gemini 같은 생성형 AI가 질문에 답할 때 데이터센터에서는 엄청난 양의 행렬 연산이 일어납니다. 과거에는 CPU가 컴퓨터 성능의 중심이었다면 AI 시대에는 GPU를 비롯한 AI 가속기가 데이터센터의 핵심 자원으로 올라섰습니다.그런데 흥미로운 일이 벌어지고 있습니다.NVIDIA GPU가 AI 시장의 핵심 플랫폼으로 자리 잡았는데도 Google은 TPU를 계속 개발하고, AWS는 Trainium을 만들고, Microsoft까지 Maia를 개발하고 있습.. 2026. 9. 20.
AI 데이터센터 24시간 전력은 누가 공급할까｜원전·SMR·가스발전·재생에너지·ESS 기술 전쟁 AI 데이터센터가 필요로 하는 것은 단순히 많은 전기가 아닙니다.GPU 수만 장이 동시에 작동하는 AI 인프라에는 필요한 순간에 안정적으로 공급되는 고품질 전력이 중요합니다.직전 I-02에서 살펴봤듯이 AI 데이터센터 건설 속도와 전력망 확충 속도 사이에는 큰 차이가 있습니다.데이터센터는 몇 년 안에 건설할 수 있지만 송전망과 발전소는 훨씬 긴 시간이 필요할 수 있습니다.그래서 세계의 기술기업들은 새로운 질문과 마주하고 있습니다.“AI 데이터센터에 필요한 24시간 전력을 어디에서 가져올 것인가?”원전과 SMR은 안정적인 저탄소 전력원으로 다시 주목받고 있습니다.천연가스 발전은 비교적 빠른 구축과 출력 조절 능력 때문에 단기적인 전력 확보 수단으로 부상하고 있습니다.태양광과 풍력은 빠르게 확대할 수 있는 .. 2026. 9. 19.
AI 데이터센터는 왜 전기 있는 곳을 찾아 이동할까｜전력망·원전·재생에너지가 바꾸는 입지 전쟁 과거 데이터센터의 입지를 결정하는 핵심 조건은 비교적 분명했습니다.넓은 토지, 빠른 통신망, 안정적인 전력, 자연재해 위험, 세금과 인허가 환경 등이 중요했습니다.AI 시대에는 이 가운데 전력의 중요성이 압도적으로 커지고 있습니다.수십 MW 규모의 기존 데이터센터를 넘어 수백 MW, 나아가 GW급 전력을 요구하는 AI 컴퓨팅 캠퍼스가 등장하면서 상황이 달라졌기 때문입니다.IEA Energy and AI 보고서에 따르면 세계 데이터센터 전력소비는 2030년 약 945TWh까지 증가할 것으로 전망됩니다. 이는 2024년 수준에서 두 배 이상 증가하는 규모이며 AI가 증가의 가장 중요한 동인으로 분석됩니다.그러나 발전소가 있다고 곧바로 데이터센터를 연결할 수 있는 것은 아닙니다.발전소와 송전선, 변전소, 변압.. 2026. 9. 19.
AI 데이터센터의 버려지는 열은 에너지가 될 수 있을까｜폐열 회수·히트펌프·지역난방의 원리 AI 데이터센터에는 거대한 에너지의 흐름이 있습니다.발전소에서 생산된 전기가 송전망과 변압기, 전력반도체를 지나 데이터센터로 들어오고, 800VDC와 여러 전력변환 단계를 거쳐 GPU에 도착합니다.GPU는 이 전기에너지를 이용해 AI 모델을 학습하고 추론합니다.그렇다면 사용된 에너지는 어디로 갈까요?상당 부분은 결국 열이 됩니다.직전 E-05에서 살펴본 액체냉각은 이 열을 GPU에서 빠르게 빼내는 기술입니다. 하지만 냉각은 열을 없애는 기술이 아닙니다. 열을 GPU에서 냉각수로, 다시 데이터센터 밖으로 이동시키는 기술입니다.그렇다면 여기서 새로운 질문이 생깁니다.비용을 들여 밖으로 내보낸 열을 그냥 버려야 할까?실제로 유럽을 중심으로 데이터센터에서 발생한 폐열을 회수해 히트펌프로 온도를 높이고 주택과 상.. 2026. 9. 19.
반응형

티스토리툴바