AI 칩 자급률 0% — 한국이 놓친 10년의 의사결정

AI 칩 자급률이 0%에 머물러 있는 한국 반도체 산업의 현실을 상징적으로 보여주는 이미지입니다.

며칠 전 한 반도체 업계 보고서를 보다가 손에 들고 있던 커피를 내려놓게 만든 숫자가 있었습니다. 바로 ‘AI 칩 자급률 0%’라는 표현이었어요. 메모리 반도체 강국이라는 자부심이 무색해지는 순간이었습니다. 우리가 매일 사용하는 스마트폰, 클라우드 서비스, 그리고 요즘 폭발적으로 성장하는 생성형 AI 서비스의 두뇌 역할을 하는 칩을 단 하나도 우리 손으로 만들지 못하고 있다는 뜻이니까요.

물론 한국이 반도체 강국이라는 말은 여전히 유효합니다. 삼성전자와 SK하이닉스는 전 세계 메모리 시장을 주도하고 있고, D램과 낸드플래시 없이는 어떤 첨단 기기도 작동하지 않아요. 하지만 AI 시대의 진짜 두뇌는 메모리가 아니라 연산을 담당하는 프로세서, 특히 GPU와 NPU 같은 AI 가속기 쪽으로 넘어간 지 오래입니다. 이 시장을 사실상 엔비디아가 독점하고 있고, 그 칩들은 대만의 TSMC가 찍어내고 있죠. 한국은 그 흐름에서 완전히 비껴나 있었습니다.

이 글은 단순히 ‘우리가 뒤처졌다’는 자책을 하려는 게 아니에요. 지난 10년 동안 어떤 의사결정들이 이 결과를 만들었는지, 그리고 지금부터라도 우리가 어떤 선택을 할 수 있을지 냉정하게 들여다보려고 합니다. 특히 AI 반도체 시장에 투자하거나 관련 산업에 종사하는 분들이라면, 이 흐름을 이해하는 게 단기적인 투자 판단에도 꽤 중요한 기준이 될 수 있을 거예요.

GPU 밖에 없던 시대, 한국의 선택

2010년대 초반만 해도 AI 반도체라는 개념 자체가 지금처럼 명확하지 않았어요. 당시에는 ‘딥러닝’이라는 단어조차 학계 일부에서만 쓰이던 시절이었습니다. 그런데 엔비디아는 이미 2006년에 CUDA라는 병렬 컴퓨팅 플랫폼을 발표하면서 GPU가 단순한 그래픽 처리 장치가 아니라 범용 연산 가속기로 진화할 수 있다는 비전을 제시하고 있었어요. 젠슨 황 CEO는 그때부터 GPU가 ‘미래의 두뇌’가 될 거라고 확신하고 있었던 셈이죠.

한국은 그 시기에 무엇을 하고 있었을까요? 삼성전자와 SK하이닉스는 모바일과 서버용 D램 시장에서 치열한 미세 공정 경쟁을 벌이고 있었습니다. 2010년대 중반까지도 메모리 반도체는 슈퍼 호황기였고, 굳이 리스크를 감수하면서 AI 연산용 프로세서라는 불확실한 시장에 뛰어들 이유가 없었어요. 당시 업계 관계자들의 이야기를 들어보면, ‘GPU는 엔비디아가 하는 거고 우리는 메모리로 승부한다’는 인식이 지배적이었다고 합니다. 이 판단 자체가 틀렸다고 말하기는 어렵지만, 결과적으로 AI 시대의 주도권을 처음부터 내준 결정이었던 건 분명해요.

더 큰 문제는 정부 차원의 R&D 전략도 비슷한 방향으로 흘러갔다는 점입니다. 국가 연구개발 예산은 주로 메모리 공정 미세화와 시스템 반도체 중에서도 비교적 진입 장벽이 낮은 아날로그·전력 반도체 쪽에 집중됐어요. AI 가속기 같은 고성능 컴퓨팅 칩 설계는 ‘언젠가 필요하겠지만 지금 당장은 아니다’라는 판단 아래 후순위로 밀렸습니다. 이 10년의 시간 차이가 지금의 자급률 0%라는 결과로 돌아온 거죠.

팹리스 생태계, 결정적 10년을 허비하다

AI 칩 자급률을 논할 때 빼놓을 수 없는 게 바로 팹리스 산업의 현실입니다. 팹리스는 공장 없이 반도체를 설계만 하는 회사를 말하는데, 엔비디아, AMD, 퀄컴이 모두 팹리스 기업이에요. 이들은 생산은 TSMC나 삼성전자 같은 파운드리에 맡기고, 오직 설계와 아키텍처 개발에 집중하면서 막대한 부가가치를 창출합니다. 한국에도 팹리스 기업이 없는 건 아니지만, 대부분 중소형 규모에 머물러 있고 글로벌 시장에서 의미 있는 점유율을 가진 AI 칩 설계 기업은 사실상 전무한 상태예요.

왜 한국 팹리스는 성장하지 못했을까요? 여러 업계 보고서와 전문가 인터뷰를 종합해 보면 크게 세 가지 이유가 겹쳐 있어요. 첫 번째는 자금 조달의 어려움입니다. AI 칩 설계는 초기 개발 비용이 수백억 원 단위로 들어가고, 양산까지 가는 데 최소 3~5년이 걸려요. 그런데 국내 벤처캐피털 시장은 이렇게 긴 호흡의 하드웨어 스타트업에 투자하는 데 소극적이었습니다. 두 번째는 검증된 인재 풀의 부재예요. 칩 설계 엔지니어는 대부분 삼성전자나 SK하이닉스 같은 대기업에 흡수되거나, 연봉이 훨씬 높은 해외 빅테크로 빠져나갔습니다. 세 번째는 초기 시장의 부재입니다. 국내에는 AI 칩을 대량으로 구매해 줄 클라우드 사업자나 데이터센터가 해외에 비해 턱없이 적었고, 이는 스타트업이 레퍼런스를 쌓을 기회 자체를 제한했어요.

이 3가지 요인이 복합적으로 작용하면서, 2015년부터 2020년 사이 AI 반도체 설계 분야에서 글로벌 기업들과의 격차는 기하급수적으로 벌어졌습니다. 엔비디아가 A100, H100 같은 데이터센터용 GPU를 연이어 출시하며 AI 생태계를 장악하는 동안, 국내에서는 몇몇 스타트업이 NPU 설계에 도전했지만 상용화와 대량 양산의 벽을 넘지 못했어요. 지금 돌아보면 이 5~6년이 한국 AI 칩 산업의 운명을 가른 결정적 시기였습니다.

인재는 어디로 흘러갔나

반도체는 결국 사람이 만드는 산업입니다. 아무리 첨단 장비와 막대한 자본이 있어도, 칩 아키텍처를 설계하고 최적화할 엔지니어가 없으면 아무것도 할 수 없어요. 그런데 지난 10년간 한국의 반도체 인재 지형은 AI 칩 설계에 결코 유리하지 않은 방향으로 흘러갔습니다.

국내 반도체 관련 학과 졸업생들의 진로를 보면, 상당수가 삼성전자와 SK하이닉스의 메모리 사업부로 향합니다. 안정적인 고용과 높은 연봉, 그리고 무엇보다 ‘검증된 커리어 패스’라는 점이 강력한 풀 팩터로 작용해요. 여기에 더해 최근 5년 사이에는 애플, 구글, 엔비디아, AMD 같은 해외 빅테크 기업들이 한국 엔지니어들을 공격적으로 채용하면서 두뇌 유출이 가속화됐습니다. 이들 기업이 제시하는 연봉과 스톡옵션은 국내 대기업조차 따라잡기 어려운 수준이에요.

문제는 이렇게 빠져나간 인재들이 주로 ‘시스템 아키텍처’와 ‘칩 설계’ 분야의 핵심 인력이라는 점입니다. 메모리 공정 엔지니어가 아니라, AI 가속기의 두뇌를 설계할 수 있는 사람들이 해외로 흘러가면서 국내에는 이 분야의 시니어 엔지니어 풀이 형성되지 못했어요. 스타트업이 AI 칩을 만들고 싶어도, 팀을 꾸릴 핵심 인력 자체를 구하기가 극도로 어려운 구조가 고착화된 거죠.

정책과 예산, 엇나간 지원의 10년

정부가 반도체 산업에 쏟아부은 예산이 적었던 건 절대 아닙니다. 매년 수천억 원에서 수조 원 단위의 R&D 자금이 반도체 분야에 배정됐고, 특히 시스템 반도체 육성은 여러 정권에 걸쳐 주요 국정 과제로 제시됐어요. 그런데 왜 AI 칩 설계 역량만 유독 제자리였을까요?

예산 배분의 방식을 들여다보면 답이 보입니다. 정부 R&D 과제는 대부분 2~3년 단위의 단기 프로젝트로 설계됐고, 성과 지표도 ‘특허 출원 건수’나 ‘시제품 제작’처럼 가시적인 단기 결과물에 맞춰져 있었어요. 그런데 AI 칩 설계는 최소 3년, 길게는 5년 이상의 장기 투자가 필요한 분야입니다. 단기 성과를 내기 어려운 구조에서는 아무래도 ‘안전한 과제’에 예산이 쏠리기 마련이에요. 이미 검증된 메모리 공정 개선이나 전력 반도체 쪽에 자금이 집중되고, AI 가속기 같은 고위험·장기 과제는 상대적으로 소외될 수밖에 없었습니다.

또 한 가지는 ‘팹리스-파운드리-수요 기업’을 연결하는 생태계 조성 정책이 부족했다는 점이에요. 대만은 TSMC를 중심으로 수많은 팹리스 스타트업이 성장할 수 있는 인프라를 일찍부터 구축했고, 이 생태계 안에서 엔비디아 같은 기업이 탄생할 수 있었습니다. 한국은 삼성전자 파운드리가 있음에도 불구하고, 국내 팹리스와의 연계 프로그램이나 초기 양산 지원 체계가 충분히 활성화되지 못했어요. 최근에서야 삼성전자가 파운드리 고객 유치와 생태계 확장에 적극적으로 나서고 있지만, 이미 10년이라는 시간이 흘러버린 뒤입니다.

HBM의 역설, 우리는 왜 두뇌를 못 만들까

여기서 한 가지 재미있는 역설이 있어요. 한국은 AI 칩의 핵심 부품 중 하나인 HBM, 즉 고대역폭 메모리 시장을 사실상 독점하고 있습니다. 엔비디아의 최신 GPU인 H100, H200, 그리고 곧 출시될 B200 모두 삼성전자와 SK하이닉스의 HBM 없이는 작동하지 않아요. AI 가속기의 두뇌 옆에 붙어서 데이터를 초고속으로 주고받는 필수 부품을 우리가 만들고 있는 거죠.

그런데 정작 그 두뇌 자체, 즉 GPU나 NPU는 만들지 못하고 있습니다. 이건 마치 자동차의 최고급 엔진오일은 생산하면서 정작 엔진은 만들지 못하는 상황과 비슷해요. HBM에서 벌어들이는 수익이 상당하지만, AI 반도체 시장에서 발생하는 부가가치의 대부분은 여전히 칩 설계와 소프트웨어 생태계를 장악한 기업들에 돌아가고 있습니다.

이 역설이 중요한 이유는, HBM에서의 성공이 오히려 ‘AI 칩까지 만들 필요가 있나’라는 안일한 인식을 강화했을 가능성이 있기 때문이에요. 메모리만으로도 충분한 수익을 내고 있는데 굳이 리스크를 감수하고 AI 프로세서 설계에 뛰어들 이유를 찾지 못했던 거죠. 하지만 AI 시장이 성숙할수록 메모리와 프로세서를 함께 최적화할 수 있는 기업의 경쟁력은 더욱 커질 수밖에 없습니다. 엔비디아가 자체적으로 메모리 인터페이스를 설계하고 HBM 공급사와 긴밀하게 협업하는 이유도 바로 그 때문이에요.

지금부터라도 뒤집을 수 있을까

여기까지 읽으면 꽤 암울하게 느껴질 수 있어요. 하지만 최근 2~3년 사이에 감지되는 변화들은 꽤 의미 있는 신호들을 보내고 있습니다. 완전히 늦었다고 보기에는 아직 변수들이 남아 있어요.

가장 눈에 띄는 변화는 국내 AI 반도체 스타트업들의 등장입니다. 리벨리온, 퓨리오사AI, 사피온 같은 기업들이 각자 NPU 설계에 도전하며 국내외 투자 유치에 성공하고 있어요. 특히 리벨리온의 아톰(ATOM) NPU는 일부 데이터센터에 납품되기 시작했고, 퓨리오사AI는 워보이(Warboy)라는 추론용 칩으로 주목을 받았습니다. 아직 엔비디아의 GPU와 직접 경쟁할 수준은 아니지만, 특정 AI 추론 작업에서는 나름의 효율성을 입증하며 틈새시장을 파고들고 있어요.

삼성전자의 움직임도 주목할 만합니다. 파운드리 사업부는 AI 칩 고객 유치를 위해 선단 공정 투자를 대폭 확대하고 있고, 자체적으로 설계한 AI 가속기 ‘마하(Mach)’ 시리즈도 조용히 개발 중이라는 이야기가 업계에 돌고 있어요. SK하이닉스 역시 HBM을 넘어 AI 메모리 솔루션 전반으로 사업 영역을 확장하려는 움직임을 보이고 있습니다. 정부도 2023년부터 AI 반도체 특별 예산을 편성하고, 팹리스 스타트업에 대한 세제 혜택과 자금 지원을 늘리고 있어요.

하지만 현실적인 장벽도 분명히 존재합니다. 가장 큰 벽은 역시 CUDA 생태계예요. 엔비디아가 15년 이상 구축해 온 CUDA 플랫폼은 전 세계 AI 개발자들의 표준으로 자리 잡았고, 이 생태계를 벗어난 칩은 아무리 성능이 좋아도 실제 사용으로 이어지기 어렵습니다. 국내 스타트업들이 아무리 좋은 NPU를 만들어도, 개발자들이 기존에 짜 놓은 코드를 그대로 옮겨 쓸 수 없다면 도입 장벽이 엄청나게 높아지는 거죠. 이 소프트웨어 생태계의 격차를 메우는 게 하드웨어 스펙을 따라잡는 것보다 훨씬 더 어려운 과제입니다.

• ✅ 체크 1: 국내 AI 반도체 스타트업 중 실제 양산 레퍼런스를 보유한 기업이 몇 곳인지 확인해 보세요. 투자 유치 규모보다 납품 실적이 더 중요한 지표입니다.
• ✅ 체크 2: 삼성전자 파운드리의 AI 칩 고객사 리스트가 확대되고 있는지 주기적으로 살펴보는 게 좋습니다. 파운드리 수주는 국내 팹리스 생태계 성장의 바로미터예요.
• ✅ 체크 3: 정부의 AI 반도체 R&D 예산이 실제로 얼마나 집행됐는지, 단순 발표가 아니라 결산 기준으로 확인해 보세요.
• ✅ 체크 4: CUDA 대비 국산 NPU의 소프트웨어 호환성과 개발자 도구 지원 수준을 비교해 보면 실제 도입 가능성을 가늠할 수 있어요.
• ✅ 체크 5: 해외로 나갔던 반도체 설계 인력이 국내 스타트업이나 연구소로 재유입되는 사례가 늘고 있는지도 중요한 신호입니다.

자주 묻는 질문 (FAQ)

AI 칩 자급률 0%라는 게 정말 사실인가요?

완전히 0%라고 단정하기는 어렵지만, 글로벌 AI 연산용 프로세서 시장에서 한국 기업의 점유율은 1% 미만으로 추정됩니다. 특히 데이터센터용 고성능 AI 가속기 시장에서는 엔비디아가 80% 이상을 차지하고 있고, 한국산 칩은 아직 상업적으로 의미 있는 규모로 납품된 사례가 거의 없어요. 다만 엣지 디바이스용 소형 NPU나 특정 추론 작업에 특화된 칩에서는 국내 스타트업들의 진입이 시작되고 있습니다.

삼성전자가 AI 칩을 만들면 안 되나요?

삼성전자는 이미 자체 AI 가속기 개발을 추진 중인 것으로 알려져 있어요. 하지만 삼성전자의 주력 사업은 여전히 메모리와 파운드리이고, AI 프로세서 시장에 본격적으로 뛰어들기 위해서는 엔비디아와의 경쟁뿐 아니라 기존 파운드리 고객사들과의 이해관계 충돌 문제도 고려해야 합니다. 단기간에 GPU 시장에 진입하기보다는, 특정 용도에 특화된 NPU나 모바일 AP에 통합된 AI 엔진 형태로 접근할 가능성이 높아요.

HBM을 독점하고 있으면 AI 칩 시장에서도 유리한 거 아닌가요?

HBM은 AI 가속기의 핵심 부품임이 분명하지만, 그 자체로 AI 칩 설계 역량을 대체할 수는 없습니다. HBM은 메모리 기술의 연장선에 있고, AI 프로세서는 완전히 다른 설계 철학과 소프트웨어 생태계를 필요로 해요. HBM에서의 우위를 활용해 엔비디아 등과의 협상력을 높일 수는 있지만, 그것만으로 AI 칩 시장을 주도하기는 어렵습니다.

국내 AI 반도체 스타트업 중에 투자할 만한 곳이 있나요?

리벨리온, 퓨리오사AI, 사피온 등이 국내에서 가장 주목받는 AI 반도체 스타트업입니다. 하지만 초기 단계의 하드웨어 스타트업은 투자 회수까지 시간이 오래 걸리고, 기술 검증과 양산 과정에서 예상치 못한 리스크가 발생할 수 있어요. 투자를 고려한다면 각 기업의 실제 납품 실적, 고객사 레퍼런스, 그리고 소프트웨어 스택의 완성도를 꼼꼼히 확인해 보는 게 중요합니다.

정부 지원이 늘어나면 상황이 바뀔까요?

정부의 예산 확대와 세제 지원은 분명 긍정적인 신호예요. 하지만 예산 규모보다 더 중요한 건 지원 방식입니다. 단기 성과 위주의 과제 평가 시스템이 바뀌지 않으면, 예산이 늘어나도 정작 장기 투자가 필요한 AI 칩 설계 분야에는 자금이 제대로 흘러가지 않을 수 있어요. 또한 인재 양성과 해외 인력 유치를 위한 정책이 함께 뒷받침되지 않으면, 예산만으로 생태계를 구축하기는 어렵습니다.

중국은 AI 칩 자급이 가능한가요?

중국은 미국의 수출 규제로 인해 최신 GPU를 확보하기 어려워지면서, 자체 AI 칩 개발에 막대한 자원을 쏟아붓고 있습니다. 화웨이의 어센드(Ascend) 시리즈는 이미 일부 데이터센터에 납품되고 있고, 비트메인, 바이두 등도 자체 AI 칩을 개발 중이에요. 다만 최첨단 공정에서는 여전히 TSMC 의존도가 높고, 미국의 장비 규제로 인해 선단 공정 확보에 어려움을 겪고 있습니다. 한국과는 다른 방식으로, ‘규제 우회’에 초점을 맞춘 자급화 전략을 펴고 있는 셈이죠.

AI 칩 자급률이 낮으면 구체적으로 어떤 위험이 있나요?

가장 큰 위험은 공급망 불안정성입니다. 미중 갈등이나 대만 해협 위기 같은 지정학적 리스크가 현실화되면, 한국 기업들은 AI 연산에 필요한 칩을 제때 공급받지 못할 수 있어요. 또한 AI 기술 주권 측면에서도, 핵심 하드웨어를 해외에 의존하면 소프트웨어와 서비스의 독자적 발전에도 제약이 생깁니다. 장기적으로는 AI 산업의 부가가치가 칩 설계 기업에 집중되는 구조가 고착화될 위험도 있어요.

일반 투자자도 AI 반도체에 투자할 수 있는 방법이 있나요?

국내 AI 반도체 스타트업들은 대부분 비상장 기업이기 때문에, 일반 투자자가 직접 주식을 매수하기는 어렵습니다. 다만 삼성전자, SK하이닉스 같은 대기업을 통해 간접적으로 AI 반도체 밸류체인에 투자할 수 있고, 최근에는 AI·반도체 관련 ETF도 여러 종류가 출시되어 있어요. 해외 투자로는 엔비디아, AMD, TSMC 등의 주식이나 관련 ETF를 고려해 볼 수 있습니다. 투자 전에 각 기업의 AI 칩 관련 매출 비중과 성장 전망을 꼼꼼히 확인해 보는 게 좋습니다.

📢 본 콘텐츠는 2025년 7월 기준으로 작성된 정보성 글입니다. AI 반도체 산업은 기술 변화와 국제 정세에 따라 빠르게 상황이 바뀔 수 있어요. 특정 기업이나 국가의 기술 수준을 평가한 부분은 공개된 자료와 업계 보도를 바탕으로 한 것이며, 실제 투자나 비즈니스 의사결정은 반드시 최신 공시 자료와 전문가의 조언을 함께 참고하시길 권해 드립니다. 본문에 언급된 기업명과 제품명은 각 소유권자의 자산이며, 특정 투자를 권유하는 목적이 아님을 밝혀 둡니다.