GPU 샀는데 놓을 데가 없다?…금융권 AX 발목 잡는 '옛날 전산실'

금융권 AX(AI 전환)가 뜻밖의 벽에 막혔다. 고성능 GPU(그래픽처리장치)를 확보해도 설치할 데이터센터가 마땅치 않아서다. 내부 구축 수요는 크지만 오래된 전산센터는 최신 GPU가 요구하는 전력·냉각 능력을 갖추지 못했다.

금융사들은 생성형 AI를 상담과 자산관리, 이상거래 탐지, 업무 자동화 등에 적용하기 위한 투자를 늘리고 있다. 자체 데이터를 활용해 대규모언어모델(LLM)을 학습·운영하려면 수십~수백장 규모 GPU가 필요하다.

기존 금융권 전산센터는 일반 업무용 서버를 기준으로 지어졌다. GPU는 AI 학습이 시작되면 소비전력과 발열이 순간적으로 치솟는다. 여러 장을 클러스터로 묶을수록 랙당 전력·냉각 부담도 커진다. 클라우드 업계 관계자는 "전력 사용량이 일반 서버는 비교적 적지만 GPU는 작업이 시작되면 0에서 100으로 한꺼번에 뛴다"며 "기존 전산센터의 전력과 냉각설비로 감당하기 어렵다"고 말했다.

최신 AI 데이터센터는 서버를 쌓아 꽂는 선반(랙) 하나에 GPU 서버 여러 대를 넣도록 설계된다. 지난 3월 문을 연 NHN클라우드 양평 데이터센터는 랙 1개에 엔비디아의 최신 AI 반도체를 탑재한 '블랙웰' 서버 6대를 설치했다. 반면 노후 금융권 센터 상당수는 같은 장비를 한 열에 1대 수준으로 분산해야 한다.

외부 데이터센터를 이용하기도 쉽지 않다. 고객정보 등 데이터를 외부 처리하려면 △망 분리 △보안성 △데이터 반출 기준 등을 충족해야 한다. 자체 센터는 GPU를 받지 못하고, 외부 인프라는 규제에 막히는 상황이다. 금융권 관계자는 "AI 활용을 확대하려 해도 기존 전산센터는 고밀도 GPU를 충분히 수용하기 어렵다"며 "외부 데이터센터를 이용하려면 보안과 규제 요건을 충족해야 해 장비 확보보다 실제 운영 환경을 마련하는 데 시간이 더 걸린다"고 했다.

노후 센터를 AI용으로 바꾸려면 서버 뿐만 아니라 전력설비와 냉각장비, 배관, 바닥 등을 함께 손봐야 한다. 과거 전산센터는 ㎡당 0.5~1톤의 하중을 기준으로 설계된 곳이 많은데, 최신 GPU 서버에 수랭 배관과 냉각설비까지 더해야 하는 AI 데이터센터는 ㎡당 2톤 이상의 하중이 요구된다. AI 데이터센터가 더 무거운 하중을 견뎌야 한다는 뜻이다.

기존처럼 공기로 식히는 공랭 방식만으로는 고밀도 GPU의 열을 잡기 어려워 서버에 냉각수를 직접 공급하는 수랭 방식이 확산하고 있다. 그러나 오래된 전산센터는 배관 공간과 하중 여유가 부족해 전환 비용이 신축에 버금갈 수 있다. 강민수 NHN클라우드 CIO는 "과거에는 서버룸에 물이 들어가는 것 자체를 꺼려 수랭을 고려하지 않았다"며 "기존 시설을 AI 데이터센터로 바꾸려면 전력과 배관, 건물 구조를 모두 손봐야 한다"고 설명했다.

금융사가 모든 AI 인프라를 직접 소유하기보다 외부 데이터센터에 전용 GPU 환경을 구축하는 방식이 늘어날 전망이다. 민간 센터 안에 금융사 전용 공간을 만들고, 공간도 전산망도 다른 고객과 분리하는 형태다.

다만 이를 확대하려면 규제도 손봐야 한다. 데이터 중요도·업무 특성에 따라 외부 인프라 이용 범위를 나누고, 금융사 전용 AI 인프라에 적용할 보안 기준을 구체화해야 한다는 지적이 나온다.