AI 에브리웨어를 위한 인텔의 소프트웨어 전략

하드웨어에 구속받지 않는 생성 AI 구현

인텔은 최근 ‘AI 에브리웨어’란 캐치프레이즈를 전면에 걸었다. 클라우드, 데이터센터, 디바이스에 이르는 AI 전 영역에서 입지를 새롭게 다지려는 시도다. PC용 코어 프로세서, 서버용 제온 프로세서, AI 가속기 등을 통해 생성형 AI 개발과 배포, 사용에 이르는 전 수명주기를 뒷받침하겠다고 강조한다.

최상의 AI 성능을 제공하는 하드웨어 및 소프트웨어 솔루션을 지원해 고객이 클라우드, 네트워크는 물론 PC와 엣지 인프라까지 AI를 원활하게 구축하고 확장해나갈 수 있도록 지원한다는 것이인텔 AI 에브리웨어 전략의 골자다.

이런 인텔의 AI 에브리웨어 전략은 하드웨어와 소프트웨어 등에서 전방위적으로 진행된다. CPU는 AI 연산 역량을 자체적으로 내장하고, GPU나 가속기는 업계 선두권의 성능을 내도록 발전하고 있다. AI 소프트웨어 생태계에도 공격적으로 투자하고 있다.

인텔 AI 에브리웨어 스택

현재 챗GPT나 구글 바드 같은 생성 AI 서비스는 대규모 클라우드에서만 돌아가는 것으로 여겨진다. 대규모언어모델(LLM)이란 개념 자체가 방대한 GPU 클러스터를 활용해야만 적절한 속도로 서비스될 수 있다고 보기 때문이다. 이는 생성 AI 서비스 사용자가 반드시 인터넷에 접속돼 있어야 한다는 뜻이기도 하다. 안정적인 네트워크를 활용하지 못하는 상황에선 생성 AI를 제대로 활용하기 어렵다.

인텔은 AI를 클라우드에서만 하게 되면, 시간적 지연, 데이터 이동, 데이터 주권 등에 따른 비용 상승이 일어난다고 지적한다. 민감하거나 기밀인 데이터를 옮기지 않고 AI 모델을 PC에서 개발하고, 완성된 모델을 클라우드로 옮기거나 그냥 PC나 모바일 기기에서 구동하면 앞서 지적한 문제를 해소할 수 있다고 강조한다.

인텔의 AI 에브리웨어 전략이 제대로 기능하려면 기본적으로 ‘하이브리드 AI’ 환경을 구현해야 한다. LLM의 연산 위치를 클라우드와 사용자 디바이스 어디로든 옮기기 편해야 하는 것이다. 트랜스포머 아키텍처에 기반한 LLM은 그 크기가 매우 크다. 이를 디바이스 환경에서도 작동하려면 사용자 기기의 사양으로도 빠르고 고품질로 성능을 내도록 경량화, 최적화하는 게 필요하다.

나승주 인텔코리아 상무는 “하이브리드 AI는 하드웨어만 갖고 되지 않고, 한몸과 같은 소프트웨어의 역할이 중요하다”며 “각 하드웨어에서 최적 성능을 뽑아내고, 모든 곳에서 모델을 운영하게 하는 역할이 소프트웨어 부분”이라고 설명했다.

인텔 AI 소프트웨어

인텔의 AI 소프트웨어 스택은 기본적으로 다양한 하드웨어 위에 존재한다. 제온 프로세서, 코어 프로세서, 가우디 프로세서 등이 생성 AI를 잘 구동할 수 있게 준비됐다.

이런 하드웨어를 운영하기 위한 인프라 소프트웨어가 존재한다. 운영체제(OS)와 쿠버네티스나 레드햇 오픈시프트 같은 가상화나 컨테이너 기술이 올라간다. 그 위에 모델 개발과 서비스 환경이 자리한다. AI옵스, 개발 및 운영 흐름 등을 처리하는 곳이다. 데이터를 수집하고, 가공하며, 모델을 학습시키고, 모델을 추론하도록 배포하며, 결과를 다시 가져와 재학습시키는 ‘루프’가 올라간다.

이런 기반 위에 다양한 AI 라이브러리가 있다. 하드웨어와 직접 소통하는 라이브러리로, DNN, DAL, MPI, KNN, CCL 등이 대표적이다. 이 라이브러리를 개발자가 더 쉽게 활용할 수 있는 파이토치, 텐서플로우, 오픈비노 같은 프레임워크가 그 위에 있다. 데이터 분석용 도구도 있다.

인텔은 기본적인 라이브러리와 각종 도구를 직접 개발하거나, 오픈소스를 최적화해 제공하고 있다. 원API를 기본으로, 원DNN, 원MKL, 원DAL, 인텔오픈MP, 원CCL, 인텔MPI 등을 이용할 수 있다. 시중의 여러 프레임워크와 미들웨어를 활용할 수 있도록 인텔 옵티마이제이션(ITEX 및 IPEX)을 제공하고 있다. 파이토치, 텐서플로우, 오픈비노 등의 개방형 프레임워크는 업스트림 개발에 참여함으로써 인텔 하드웨어와 라이브러리를 쓸 수 있게 한다.

나승주 상무는 “파이토치, 텐서플로우, ONNX 런타임 등은 인텔의 소유가 아니므로 업스트림에 참여해 최적화하고, 업스트림에서 모든 걸 만족시킬 수 없는 부분의 경우 익스텐션으로 보강한다”며 “가령 파이토치에서 인텔 익스텐션을 쓰면 더 뛰어난 성능을 얻을 수 있고, 하드웨어에서 기대한 성능을 얻지 못하는 경우 익스텐션으로 그 성능을 더 끌어올릴 수 있다”고 설명했다.

나 상무는 “라이브러리뿐 아니라 뉴럴컴프레셔 같은 자체 툴도 제공하고, 데이터 수집, 학습, 추론, 배포에 이르는 모든 과정을 커버하는 소프트웨어를 보유했다”며 “최근 ML옵스 업체인 컨버지드닷아이오를 인수함으로써 모든 오퍼레이션도 다 다룰 수 있게 됐다”고 강조했다.

오픈비노 툴킷

인텔의 AI 소프트웨어는 기본적으로 ‘원API’란 개방형 표준을 따른다. 원API는 리눅스재단에서 관리하는 오픈소스다. 인텔은 표준의 원API를 자사 하드웨어에 최적화한 버전으로 ‘인텔 원API’란 것을 고객사에 제공한다. 엔비디아 쿠다에 최적화된 라이브러리나 코드를 인텔 하드웨어에서 사용할 수 있도록 C++ 기반 개방형 프로그래밍 모델 SYCL로 변환하는 툴도 제공한다.

작년말 AI 에브리웨어 전략을 실현하는 새로운 코어 울트라 프로세서는 이런 인텔 소프트웨어를 바탕으로 ‘온디바이스 AI’를 작동시킨다.

모델이 경량화돼 다른 곳으로 옮겨갔을 때 정확도 문제도 해결 가능한 문제라 본다. 나 상무는 “매개변수 감소나 플로팅포인트 변경 같은 경량화가 이뤄지면 이론 상 성능은 빨라지고 정확도가 줄어들게 된다”며 “하지만 실제 환경에서 정확도 차이는 1~2% 정도이며, 트랜스포머 아키텍처 자체가 반복적인 재학습을 통해 정확도로 올린다는 특성을 갖기 때문에 에너지 효율이나 성능 문제가 두드러지는 시나리오에서 크게 문제되지 않는다”고 설명했다.

인텔의 AI 소프트웨어를 활용하면 기존의 LLM이나 모델을 여러 하드웨어 환경에 맞게 만들 수 있다. 인텔 하드웨어에서도 AI 소프트웨어만 바꿔도 모델의 성능을 바로 향상시킬 수 있다. 굳이 모든 AI 모델을 GPU에서만 구동하는 것도 낭비라고 본다. CPU와 소프트웨어 최적화로 LLM 비용을 절감할 수 있다는 것이다.

나 상무는 “만약 4세대 제온 프로세서 기반의 AI 시스템이라면, 소프트웨어만 바꿔서 32% 성능을 올릴 수 있다”며 “파치토치에 제온 8480 프로세서, 인텔 익스텐션 등을 활용하면 10주 만에 3~5배 성능 향상을 누릴 수 있게 된다”고 말했다.

나 상무는 “LLM은 GPU 집약적인 컴퓨팅 외에도 엔터프라이즈에서 운영되는 여러 일반 서버와 엣지 서버, 단말기 등에서도 활용된다”며 “5세대 제온 기반 서버는 싱글노드에서 라마2 13B 같은 경량의 LLM에 대해 레이턴시를 75밀리초 이내로 매우 빠르게 처리하며, GPT-J 6B의 경우 25~50 밀리초로 처리한다”고 강조했다.

그는 “LLM의 성능에서 매개변수도 중요하지만, 이를 실제 성능을 유지하게면서 디바이스로 가져오기 위한 경량화나 알고리즘 기법이 많다”고 덧붙였다.

인텔은 생성 AI 분야에서 텍스트를 넘어선 비전, 오디오 등의 발전에 주목하고 있다. GPT로 대표되는 텍스트 모델은 어느정도 성숙해졌지만, 비전과 오디오 분야는 이제 막 시작됐다. 인텔 가우디의 경우 비주얼랭귀지모델을 돌릴 때 엔비디아 H100 GPU보다 더 빠르다는 결과가 허깅페이스에서 나오기도 했다.

나 상무는 “비전을 처리하려면 이미지 트레이닝으로 시작하는데, 이미지를 가져와 JPEG나 MP4 같은 인코딩을 로우 데이터로 변환하는 디코딩 과정과 증강하는 과정이 필요하다”며 “디코딩부터 증강까지 단계를 엔비디아는 GPU 대신 CPU에서 처리하게 하지만, 인텔은 전체 프로세싱을 가우디 안에서 한번에 하게 하므로 시간이 덜 걸리는 것”이라고 설명했다.

그는 “AI PC와 AI 에브리웨어는 AI를 어디서나 쓸 수 있게 하는 것”이라며 “모든 AI의 혜택을 모든 사람이 저렴하고 쉽게 얻게 하는 게 인텔의 전략”이라고 강조했다.