AI 투자 큰 그림 (온사이트 발전, HBM, GPU)

AI 데이터 센터 한 곳의 전력 소비량이 소규모 도시 하나에 맞먹는 수준이라는 사실, 처음 접했을 때 솔직히 숫자가 잘 안 믿겼습니다. 그런데 실제로 투자 흐름을 들여다보기 시작하면서, 이 에너지 문제가 단순한 인프라 이슈가 아니라 AI 투자 전체의 판을 바꾸는 핵심 변수라는 걸 점점 실감하게 되었습니다.

GPU가 왜 AI의 심장이 됐는가

AI가 학습을 한다는 말은 자주 들어도, 그게 실제로 어떤 계산인지 아는 사람은 많지 않습니다. 본질은 의외로 단순합니다. 수백만 개의 더하기, 빼기, 곱하기를 동시에 반복하는 작업입니다. 복잡한 수식이 아니라, 초등학생 수준의 계산을 엄청난 속도로 병렬 처리하는 것이 핵심입니다.

여기서 GPU(Graphics Processing Unit)가 등장합니다. GPU란 원래 게임이나 영상 렌더링을 위해 개발된 반도체로, 단순 연산을 수천 개 코어가 동시에 처리할 수 있도록 설계된 칩입니다. 반면 CPU는 복잡한 연산을 순차적으로 처리하는 데 특화되어 있습니다. AI 학습처럼 단순 계산을 수백만 번 동시에 돌려야 하는 환경에서는, 정교한 CPU 한 대보다 단순한 GPU 수천 대가 압도적으로 유리합니다.

엔비디아가 AI 인프라의 중심이 된 이유가 여기에 있습니다. 제가 처음 엔비디아를 진지하게 들여다봤을 때, 게임 회사인 줄 알았습니다. 그런데 알고 보니 이 회사가 만든 GPU가 AI 학습의 거의 전 과정을 담당하고 있었고, 지금은 AI 데이터 센터 자체가 엔비디아 GPU를 얼마나 쌓아놓느냐로 규모를 측정할 만큼 위상이 달라졌습니다.

전력망이 막히자 꺼낸 카드, 온사이트 발전

AI 데이터 센터는 전력을 어마어마하게 씁니다. 요즘 데이터 센터 규모를 이야기할 때 컴퓨팅 성능이 아니라 "6GW짜리"처럼 전력 용량으로 표현하는 것도 그 때문입니다. 문제는 이 전력을 기존 전력망에서 끌어오는 게 생각보다 훨씬 어렵다는 점입니다.

발전소에서 데이터 센터까지 전선을 연결하는 과정, 즉 송배전망 구축에는 짧게는 5년, 길게는 7년 이상이 소요된다고 알려져 있습니다. 전력 기기 수요가 폭발적으로 늘어난 지금, 그 대기 줄은 더 길어졌습니다. AI 데이터 센터를 빨리 지어야 하는 빅테크 입장에서는 이 7년이라는 시간 자체가 사업 기회를 날리는 치명적인 병목입니다.

그래서 나온 해법이 온사이트(On-site) 발전입니다. 온사이트 발전이란 데이터 센터 부지 안이나 바로 인근에 독립적인 발전 설비를 직접 구축해, 외부 전력망에 의존하지 않고 전력을 자급자족하는 방식입니다. 제가 이 개념을 처음 접했을 때, "그냥 발전소를 거기 갖다 놓으면 되는 거 아닌가?"라고 단순하게 생각했는데, 실제로 그게 지금 벌어지고 있는 일이었습니다.

초기에는 미국에 풍부한 천연가스를 활용한 가스 터빈 방식이 주목받았습니다. 그런데 최근에는 연료전지 기술이 빠르게 부상하고 있습니다. 연료전지란 수소나 천연가스 같은 연료를 산화반응시켜 전기를 직접 생산하는 장치로, 연소 과정 없이 화학에너지를 전기에너지로 변환하기 때문에 효율이 높고 탄소 배출도 상대적으로 낮습니다. 냉장고 수십 대 크기의 연료전지 모듈을 데이터 센터 옆에 줄지어 세워두는 풍경이 이미 미국 일부 현장에서 현실이 되었습니다.

온사이트 발전 방식의 핵심 구성요소를 정리하면 다음과 같습니다.

• 가스 터빈: 천연가스를 태워 발전, 초기 온사이트 발전의 주력
• 연료전지: 화학반응으로 직접 전기 생성, 효율·친환경성 측면에서 빠르게 주목받는 중
• ESS(에너지 저장 시스템): 발전량과 소비량의 편차를 흡수하는 대용량 배터리 장치
• 수소 기반 발전: 아직 상용화 초기 단계지만 장기적으로 유력한 후보

여기서 ESS란 발전소나 태양광·연료전지처럼 출력이 일정하지 않은 발전원에서 생산된 전기를 일시 저장했다가 필요할 때 공급하는 대용량 배터리 시스템을 말합니다. 최근 2차전지 관련 종목들이 다시 움직이기 시작한 것도 이 흐름과 무관하지 않다고 봅니다.

HBM과 파운드리, 엔비디아 생태계의 두 축

GPU가 수천 개 동시에 돌아가면 또 다른 문제가 생깁니다. 처리해야 할 데이터를 빠르게 실어 나르는 통로가 필요해집니다. 기존 방식대로라면 데이터를 한 줄씩 보내야 하는데, 수천 개 코어가 동시에 데이터를 요청하면 병목이 생깁니다.

이 문제를 해결하기 위해 등장한 것이 HBM(High Bandwidth Memory)입니다. HBM이란 여러 개의 D램 칩을 수직으로 쌓아 올려 데이터 전송 속도를 극대화한 고대역폭 메모리로, 마치 왕복 12차선 고속도로처럼 대량의 데이터를 한꺼번에 GPU로 전달할 수 있습니다. 이 분야의 대표 주자가 SK하이닉스입니다.

한편 엔비디아가 설계한 GPU를 실제로 제조하는 역할은 파운드리(Foundry) 업체가 담당합니다. 파운드리란 반도체 설계를 의뢰받아 위탁 생산만 전문으로 하는 기업을 말하며, TSMC가 이 분야의 절대 강자입니다. 그런데 최근 테슬라가 삼성전자에 AI 칩 생산을 맡기면서, 삼성전자도 파운드리 시장에서 다시 존재감을 드러내기 시작했습니다. TSMC 일변도였던 구도에 균열이 생기는 신호로 읽힙니다.

삼성전자는 HBM 쪽에서도 재기를 노리고 있습니다. 기존에는 발열 문제로 엔비디아 납품에 어려움을 겪었는데, 차세대 아키텍처인 '루빈'이 수냉 방식을 기본으로 채택하면서 발열 기준 자체가 완화되었습니다. 이 변화가 삼성전자에 유리한 환경을 만들었고, 동시에 AMD와 오픈AI의 협력 소식까지 더해지면서 HBM 공급사들의 협상력도 자연스럽게 높아지는 구조가 형성되고 있습니다.

학습에서 추론으로, 수요는 예상보다 훨씬 크다

AI 인프라 투자가 닷컴 버블처럼 끝나지 않겠냐는 시각도 있습니다. 저도 솔직히 이 부분을 상당히 오래 고민했습니다. 2000년대 초 시스코가 인터넷 인프라 구축의 수혜를 받다가 수요가 포화되자 급락했던 사례가 자꾸 머릿속에 걸렸습니다.

그런데 한 가지 결정적인 차이가 있습니다. 지금 AI는 학습(Training) 단계를 넘어 추론(Inference) 단계로 넘어가고 있습니다. 학습이란 AI 모델이 데이터를 반복적으로 처리해 가중치를 최적화하는 과정이고, 추론이란 학습이 완료된 모델이 실제 사용자의 질문에 답하는 과정입니다. 문제는 추론 단계에서 소모되는 컴퓨팅 자원과 전력이 학습 단계보다 약 7배 더 많다는 분석이 있다는 점입니다(출처: IEA - Electricity 2024 보고서).

서비스가 출시되고 사용자가 폭발적으로 늘어날수록, 추론을 위한 컴퓨팅 수요도 함께 폭증합니다. 챗GPT 하나만 해도 하루 수억 건의 추론이 이루어집니다. 오픈AI가 이미 너무 커진 나머지 "이 회사가 무너지면 연관 산업 전체가 흔들린다"는 말이 나올 정도가 된 것도, 이 추론 수요 확장의 규모가 그만큼 크다는 방증입니다. 실제로 국제에너지기구(IEA)는 데이터 센터 전력 수요가 2026년까지 두 배 이상 증가할 것으로 전망했습니다(출처: IEA).

물론 기술 개발 과정에서 일시적인 지연이나 예상 밖의 변수가 생길 수 있습니다. 제 경험상 어떤 기술 사이클이든 중간에 한 번은 덜컹거리는 구간이 있었습니다. 그 구간에서 흔들리지 않으려면, 지금처럼 큰 그림을 먼저 이해해 두는 것이 결국 가장 중요한 준비입니다.

AI와 에너지는 지금 이 시대에 가장 긴밀하게 연결된 두 축입니다. 어느 한쪽만 보면 전체 그림이 잘 안 보입니다. GPU가 필요해서 파운드리가 바빠지고, 데이터 센터가 늘어나서 전력이 부족해지고, 전력망이 막히니까 온사이트 발전이 뜨고, 거기에 ESS와 연료전지까지 연결되는 이 흐름을 한 번 머릿속에 정리해 두면, 앞으로 어떤 종목 뉴스가 나와도 맥락을 잡는 속도가 훨씬 빨라집니다. 저도 이 큰 그림을 먼저 그린 뒤로 개별 종목을 보는 시각이 많이 달라졌습니다.

이 글은 개인적인 경험과 의견을 공유한 것이며, 전문적인 투자 조언이 아닙니다. 투자 결정은 반드시 본인의 판단과 책임 하에 하시기 바랍니다.

---

참고: https://www.youtube.com/watch?v=Hy09L1YxGxo