인텔은 IBM 클라우드가 클라우드 서비스 제공사로는 처음으로 인텔 가우디 3(Intel Gaudi 3) AI 가속기 기반 상용 서비스를 제공한다고 밝혔다. 인텔은 이로써 클라우드 서비스 고객이 고성능 인공지능 역량을 보다 쉽게 활용할 수 있도록 지원하고, AI 특화 하드웨어의 높은 비용 장벽을 낮출 수 있을 것이라고 밝혔다. 이번 IBM 클라우드 상용화는 가우디 3의 첫 대규모 상업 배포이다. 양사는 IBM 클라우드에서 인텔 가우디 3를 활용해 고객이 합리적인 비용으로 생성형 AI를 테스트·혁신·배포하도록 돕는 것을 목표로 하고 있다. 가트너의 최근 조사에 따르면 2025년 전 세계 생성형 AI 관련 지출은 2024년 대비 76.4% 증가한 6440억 달러에 이를 전망이다. 가트너는 “생성형 AI가 IT 지출 전 영역에 변혁적 영향을 미치고 있으며, 이에 따라 AI 기술이 기업 운영과 소비재에 필수 요소로 자리 잡을 것”이라고 분석했다. 많은 기업이 생성형 AI와 같은 도구가 자동화·워크플로 개선·혁신 촉진 등에 분명한 이점이 있다는 것을 알고 있으나, AI 애플리케이션 구축에는 막대한 연산 능력이 필요하고 대개의 경우 고가의 특화된 프로세서를 요구하기 때문에 많은 기업들은 AI 혜택을 누리지 못하고 있다.     인텔 가우디 3 AI 가속기는 개방형 개발 프레임워크를 지원하면서 생성형 AI·대규모 모델 추론·파인튜닝 등에 대한 폭발적인 수요를 충족하도록 설계됐으며, 멀티모달 LLM(대규모 언어 모델)과 RAG(검색 증강 생성) 워크로드에 최적화되어 있다. IBM 클라우드는 다양한 기업 고객, 특히 금융 서비스, 의료 및 생명 과학, 공공 부문 등 규제 산업에 종사하는 고객에게 서비스를 제공한다. 현재 가우디 3는 독일 프랑크푸르트, 미국 워싱턴 D.C., 택사스 댈러스의 IBM 클라우드 리전에 적용되어 사용할 수 있다. 가우디 3은 IBM의 광범위한 AI 인프라스트럭처 제품에도 통합되고 있다. 고객들은 현재 IBM VPC(가상 프라이빗 클라우드)의 IBM 클라우드 가상 서버를 통해 가우디 3를 사용할 수 있으며, 2025년 하반기부터 다양한 아키텍처에 배포할 수 있다. 레드햇 오픈시프트(Red Hat OpenShift)와 IBM 왓슨엑스 AI 플랫폼(IBM’s watsonx AI platform)에 대한 지원은 이번 분기 내 가능해질 예정이다. 인텔의 사우라브 쿨카니(Saurabh Kulkarni) 데이터센터 AI 전략 담당은 “인텔 가우디 3 AI 가속기가 IBM 클라우드에 도입되며 기업 고객에게 추론 및 파인 튜닝을 위해 최적화된 성능으로 생성형 AI 워크로드를 확장할 수 있도록 지원하게 되었다”면서, “이번 협력은 전 세계 기업이 AI를 더 쉽게, 비용효율적으로 구현할 수 있도록 지원하려는 양사의 공동 노력의 일환”이라고 밝혔다. IBM의 사틴더 세티(Satinder Sethi) 클라우드 인프라스트럭처 서비스 총괄은 “더 많은 데이터 처리 능력과 더 높은 성능 구현은 전 세계 고객의 AI 도입을 촉진할 것”이라며 “인텔 가우디 3는 고객에게 AI의 하드웨어에 대한 더 많은 선택권과 더 많은 자유, 더 비용 효율적인 플랫폼을 제공해준다”고 밝혔다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 전문적인 BIM 자료를 이해할 수 있는 대규모 언어 모델(LLM, Large Language Model)을 개발하는 방법을 알아본다. BIM 기반 LLM을 개발하는 방법은 여러 가지가 있으나, 여기에서는 그 중 하나인 RAG(Retrieval Augumented Generation, 증강 검색 생성) 시 LLM이 잘 추론할 수 있도록 모델을 파인튜닝(fine-turning)하는 기술을 사용해 본다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast   LLM 모델 파인튜닝의 개념 파인튜닝이란 사전에 학습된 LLM을 특정 도메인이나 작업에 맞게 최적화하는 과정이다. 기본적으로 LLM은 일반적인 자연어 처리 작업을 수행하도록 설계되어 있지만, 전문적인 특정 지식 도메인(예 : 건설 분야의 BIM 데이터)이나 문제를 다룰 때는 환각 현상이 심해지므로 해당 도메인에 특화된 데이터로 모델을 재학습시켜야 한다. 이를 통해 모델이 특정 영역에서 더 정확하고 유용한 결과를 생성하도록 만든다. 파인튜닝 과정은 다음과 같은 단계로 이루어진다.  ① 사전 학습된 모델 선택 : 이미 대규모 데이터로 학습된 LLM을 선택한다. ② 도메인 특화 데이터 준비 : 대상 분야와 관련된 고품질 데이터를 수집하고, 이를 정제 및 전처리한다. ③ 모델 파라미터 조정 : LoRA(Low-Rank Adaptation)같은 기법을 사용하여 모델 파라미터를 특정 도메인에 맞게 업데이트한다.  ④ 훈련 및 검증 : 준비된 데이터로 모델을 학습시키고, 성능을 검증하며 최적화한다. 여기서, LoRA 기술은 LLM을 파인튜닝하는 데 사용되는 효율적인 기법이다. 이 방법은 모델 전체를 다시 학습시키는 대신, 모델의 일부 파라미터에만 저차원(lowrank) 업데이트를 적용하여 파인튜닝한다. 이를 통해 학습 비용과 메모리 사용량을 대폭 줄이면서도 높은 성능을 유지할 수 있다. 이 글에서 사용된 라마 3(Llama 3)는 메타가 개발한 LLM 제품이다. 모델은 15조 개의 토큰으로 구성된 광범위한 데이터 세트에서 훈련되었다.(라마 2의 경우 2T 토큰과 비교) 700억 개의 파라미터 모델과 더 작은 80억 개의 파라미터 모델의 두 가지 모델 크기가 출시되었다. 70B 모델은 MMLU 벤치마크에서 82점, HumanEval 벤치마크에서 81.7점을 기록하며 이미 인상적인 성능을 보여주었다. 라마 3 모델은 컨텍스트 길이를 최대 8192개 토큰(라마 2의 경우 4096개 토큰)까지 늘렸으며, RoPE를 통해 최대 32k까지 확장할 수 있다. 또한 이 모델은 128K 토큰 어휘가 있는 새로운 토크나이저를 사용하여 텍스트를 인코딩하는 데 필요한 토큰 수를 15% 줄인다.   개발 환경 준비 개발 환경은 엔비디아 지포스 RTX 3090 GPU(VRAM 8GB), 인텔 i9 CPU, 32GB RAM으로 구성되었다. 이러한 하드웨어 구성은 대규모 BIM 데이터를 처리하고 모델을 학습시키는 최소한의 환경이다. 이 글에서는 사전 학습모델은 허깅페이스(HF)에서 제공하는 Llama-3-8B 모델을 사용한다. 파인튜닝을 위해서는 다음과 같은 환경이 준비되어 있다고 가정한다.  파이토치 설치 : https://pytorch.org/get-started/locally  올라마(Ollama) 설치 : https://ollama.com 허깅페이스에서 제공하는 LLM 모델을 사용할 것이므로, 접속 토큰(access token)을 얻어야 한다. 다음 링크에서 가입하고 토큰을 생성(Create new token)한다. 이 토큰은 다음 소스코드의 해당 부분에 입력해야 동작한다.  허깅페이스 가입 및 토큰 획득 : https://huggingface.co/ settings/tokens   그림 1   명령 터미널에서 다음을 실행해 라이브러리를 설치한다.   pip install langchain pypdf fastembed chardet pandas pip install -U transformers pip install -U datasets pip install -U accelerate pip install -U peft pip install -U trl pip install -U bitsandbytes pip install -U wandb   개발된 BIM LLM 모델 성능이 향상되었는지를 검증할 수 있도록, 기초 모델이 인터넷에서 쉽게 수집 후 학습할 수 있는 BIM 자료를 제외한 데이터를 학습용으로 사용할 필요가 있다. 이런 이유로, 최근 릴리스되어 기존 상용 대규모 언어 모델이 학습하기 어려운 ISO/TS 19166에 대한 기술 논문 내용을 테스트하고, 학습 데이터 소스로 사용한다. 참고로, ISO/TS 19166은 BIM-GIS conceptual mapping 목적을 가진 국제표준으로 기술 사양(TS)을 담고 있다. 학습 데이터로 사용될 파일을 다음 링크에서 PDF 다운로드하여 저장한다.  BIM-GIS 매핑 표준 논문 PDF 파일 : https://www.mdpi. com/2220-9964/7/5/162   BIM 기반 LLM 모델 학습 데이터 준비와 파인튜닝 파라미터 설정 학습 데이터를 자동 생성하기 위해, 미리 다운로드한 PDF 파일을 PyPDF 및 라마 3를 이용해 질문-답변 데이터를 자동 생성한 후 JSON 파일로 저장한다. 이를 통해 수 백개 이상의 QA 데이터셋을 자동 생성할 수 있다. 이 중 품질이 낮은 데이터셋은 수작업으로 삭제, 제거한다.    그림 2. 자동화된 BIM 기반 LLM 학습 데이터 생성 절차     ■ 자세한 기사 내용은 PDF로 제공됩니다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 지난 연재를 통해 설명한 생성형 AI 기술을 바탕으로 BIM(건설 정보 모델링) 전문가 시스템을 개발하는 방법을 간단히 알아보도록 한다.    ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/ GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast   이 글에서는 LLM(대규모 언어 모델)과 RAG(검색 증강 생성) 기술을 적용하여 BIM IFC(Industry Foundation Classes) 데이터의 정보를 검색하고, 이를 바탕으로 BIM 지식 전문가 에이전트를 개발하는 방법을 소개한다. 이런 에이전트는 자연어 기반의 사용자 쿼리를 통해 필요한 정보를 신속하고 정확하게 제공하며, 건설 프로젝트의 전반적인 효율성을 높일 수 있다. 이 글에서 소개하는 방법은 RAG를 이용해 전문가 시스템을 개발하는 여러 가지 대안 중 하나임을 미리 밝힌다. IFC와 같은 포맷을 이용한 RAG와 LLM 사용 기법은 목적에 따라 구현 방법의 차이가 다양하다.    LLM RAG 기반 BIM 전문가 시스템 프로세스 현재 대중적인 목적으로 개발된 LLM 기술인 ChatGPT(오픈AI), Gemini(구글), Llama(메타), Phi(마이크로소프트)는 BIM의 일반적인 지식, 예를 들어 BIM 관련 웹사이트에서 공개된 일반적인 개념 설명, PDF에 포함된 텍스트를 학습한 모델을 제공하고 있다. 다만, 이들 LLM 도구는 BIM 모델링 정보를 담고 있는 IFC와 같은 특수한 데이터셋 파일은 인식하지 않는다. 현재는 PDF같은 일반적인 파일 형식만 검색 증강 생성을 지원하는 RAG 기술을 이용해, 도메인에 특화된 지식 생성을 지원한다. 이는 특정 도메인 지식을 훈련하기 위해 필요한 비용이 너무 과대하며, 도메인 지식을 모델 학습에 맞게 데이터베이스화하는 방법도 쉽지 않기 때문이다. 예를 들어, ChatGPT-4 모델을 훈련할 때 필요한 GPU 수는 엔비디아 A100×25,000개로 알려져 있으며, 학습에 100일이 걸렸다. A100 가격이 수천 만원 수준인 것을 감안하면, 사용된 GPU 비용만 천문학적인 금액이 소모된 것을 알 수 있다.  이런 이유로, LLM 모델을 전체 학습하지 않고 모델 중 작은 일부 가중치만 갱신하는 파인튜닝(fine-tuning), 범용 LLM는 운영체제처럼 사용하여 정보 생성에 필요한 내용을 미리 검색한 후 컨텍스트 프롬프트 정보로서 LLM에 입력해 정보를 생성하는 검색 증강 생성 기술인 RAG이 주목받고 있다. RAG는 <그림 1>과 같은 순서로 사용자 질문에 대한 답변을 생성한다.   그림 1. RAG 기반 BIM 전문가 시스템 작업 흐름(한국BIM학회, 2024)   RAG는 LLM에 입력하는 템플릿에 답변과 관련된 참고 콘텐츠를 프롬프트에 추가하여 원하는 답을 생성하는 기술이다. 이런 이유로, 답변에 포함된 콘텐츠를 처리하고, 검색하는 것이 매우 중요하다. LLM은 입력 프롬프트에 생성에 참고할 콘텐츠를 추가하지 못하면 환각 문제가 발생되는 단점이 있다. 각 RAG 단계는 검색이 가능하도록 데이터셋을 청크(chunk) 단위로 분할(split)하고, 데이터는 임베딩(embedding)을 통해 검색 연산이 가능한 벡터 형식으로 변환된다. 이 벡터는 저장 및 검색 기능을 가진 벡터 데이터베이스(vector database)에 저장된다. 사용자의 질문은 검색 알고리즘을 통해 벡터 데이터베이스에서 가장 근사한 정보를 포함하는 콘텐츠를 얻고, 프롬프트에 추가된 후 LLM에 입력된다. 그 결과 LLM은 원하는 답변을 출력한다. 이를 통해 학습하지 않은 전문 분야의 토큰을 인식하지 못하는 LLM이 원하는 결과를 생성할 수 있도록 한다.   BIM IFC 콘텐츠 데이터 구조 분석 앞서 살펴본 바와 같이 RAG 성능은 입력되는 데이터셋의 특징과 검색 알고리즘에 큰 영향을 받는다. 그러므로, 개방형 BIM 데이터 형식으로 사용되는 IFC의 특징을 분석하여 BIM RAG를 위한 데이터 처리 시 이를 고려한다. IFC 파일 구조는 STEP(ISO 10303), XML 스키마 형식을 준용한다. IFC는 객체지향 모델링과 그래프 모델 구조의 영향을 많이 받았다. 확장성을 고려해 BIM을 구성하고 있는 건축 객체의 부재들, 관계, 속성집합에 Instance ID 및 GUID(Globally 2025/1 Unique IDentifier)와 같은 해시값(hash)을 할당하고, 이들 간의 관계를 해시번호로 참조하여, 거대한 온톨로지 그래프 구조를 정의한다. <그림 2~3>은 이를 보여준다.   그림 2. IFC 객체 그래프 구조(Wall instance)   그림 3. IFC 그래프 구조 표현(강태욱, 2022)     ■ 자세한 기사 내용은 PDF로 제공됩니다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 LLM(대규모 언어 모델)의 자연어 처리에서 핵심 기술인 토큰, 임베딩 및 모델 파인튜닝의 이해를 위한 개념과 임베딩 모델의 동작 메커니즘을 살펴본다. 여기서 토큰은 문장을 구성하는 단어로 가정하면 이해하기 쉽다. 토큰과 임베딩은 입력 시퀀스에 대한 출력을 학습, 예측할 때 훈련의 전제가 되는 LLM의 기본조건이다. 이에 대해 좀 더 깊게 이해해 보자.    ■ 강태욱  건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다.  페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com  홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast    최근 대규모 언어 모델(LLM : Large Language Model)과 검색 증강 생성(RAG : Retrieval-Augmented Generation) 기술을 이용해 다양한 전문가 서비스 에이전트를 개발하는 사례가 많아지고 있다. 특히, 전문가처럼 행동하며 문제를 해결하거나 의사결정을 지원하는 멀티 에이전트 기술은 이미 선진국을 중심으로 금융, 제조, 건설 등 엔지니링 분야에 개발되고 있다.    도메인 의존 정보와 토큰  의학과 같은 특별한 분야에서는 환각 현상 등으로 인해 챗GPT(ChatGPT)와 같은 범용 LLM이 제대로 정보를 생성하지 못하는 경우가 많다. 이런 문제를 해결하기 위해 전문 분야의 지식을 기존 LLM 모델을 이용해 재학습하는 방법이 생겨났는데, 파인튜닝은 그 중 한 가지 방법이다.  파인튜닝은 빅테크 업체가 공개한 LLM 모델을 특정 도메인 지식을 잘 표현할 수 있도록 재학습하는 방법 중 하나이다. LLM의 신경망 전체를 재학습하기 위해서는 매우 비싼 GPU 사용 비용이 필요하다. 이는 일반적인 기업에서 수행할 수 없는 수준이다. 이런 이유로, 파인튜닝은 메타에서 공개한 라마(LLaMA)와 같은 파운데이션 LLM 모델의 신경망에 별도의 작은 신경망을 추가해, 이를 별도로 준비된 데이터로 학습하는 방식을 사용한다.  LLM을 파인튜닝하기 전에 어떤 토큰이 사용되었는지, 임베딩 모델이 무엇인지 확인해야 한다. 파인튜닝 시 용어가 LLM에 사전 학습되어 있지 않다면, 용어 간 관계를 통계적으로 추론하는 학습 절차가 매우 비효율적으로 계산된다. 일반적으로 모델을 파인 튜닝하려면 LLM 토큰 확인 및 개발, 임베딩 모델의 적절한 사용이 필요하다.  <그림 1>은 토큰이 수치화된 결과를 보여준다. 참고로, 토큰이 숫자로 표현되지 못하는 문제를 OOV(Out-Of-Vocabulary)라 한다.    그림 1. 숫자 토큰화 결과   임베딩은 학습 모델이 입력되는 문장의 토큰 패턴을 통계적으로 계산하기 전, 토큰을 수치화시키는 함수이다. 이 함수를 임베딩 모델이라 한다. 임베딩 모델은 토큰을 수치화하여 모델 학습에 사용하는데 필요한 입력값을 출력한다. 이런 이유로, 토큰 사전과 임베딩 모델이 다르면 제대로 된 모델 학습, 예측, 패턴 계산 결과를 얻기 어렵다. 임베딩 모델도 별도의 신경망 모델이며 다양한 방식으로 학습될 수 있다. 이번 호에서는 구글에서 공개한 BERT(Bidirectional Encoder Representations from Transformers) 임베딩 모델을 사용한다.  이와 관련된 실험을 하기 위해, 개발 환경을 설치하고 파이썬 코드를 준비해 본다.    개발 환경 준비 미리 컴퓨터에 파이썬, 아나콘다 등 필수적인 라이브러리가 설치되어 있다는 조건에서, 실습을 위해 명령창에서 다음을 실행해 설치한다. pip install transformers torch   참고로, 다음은 파인튜닝에 사용하는 오픈소스 라이브러리를 보여준다. Torch : 텐서 계산 및 딥 러닝을 위한 핵심 라이브러리이다. PEFT : 낮은 순위의 적응 기술을 사용하여 대규모 언어 모델을 효율적으로 미세 조정할 수 있다. 특히 리소스가 제한된 장치에서 학습 가능한 매개 변수의 수를 줄여 모델을 압축하고 더 빠르게 미세 조정할 수 있다. bitsandbytes : 신경망에 대한 양자화 및 이진화 기술을 제공하여 모델 압축을 지원한다. 모델 압축에 도움이 되므로 메모리와 계산 능력이 제한된 에지 장치에 모델을 보다 실현 가능하게 만들 수 있다. Transformers : 대규모 언어 모델 작업을 간소화하여 사전 학습된 모델 및 학습 파이프라인을 제공한다. trl : 대규모 언어 모델의 경우 효율적인 모델 학습 및 최적화에 중점을 둔다. accelerate : 다양한 하드웨어 플랫폼에서 학습 및 추론을 가속화한다. dataset : 기계 학습 작업을 위한 데이터 세트 로드 및 준비를 간소화한다. pipeline : 사용자 지정 학습 없이 일반적인 NLP 작업에 대해 사전 학습된 모델의 사용을 간소화한다. PyArrow : 효율적인 데이터 로드 및 처리를 위해 사용될 수 있다. LoraConfig : LoRA 기반 미세 조정을 위한 구성 매개변수를 보유한다. SFTTrainer : 모델 학습, 최적화 및 평가를 처리한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

스노우플레이크는 기업이 강력한 AI 애플리케이션을 대규모로 쉽게 활용 및 구축할 수 있도록 스노우플레이크 코텍스 AI(Snowflake Cortex AI)에서 메타의 라마 3.1에 대한 호스팅을 개시한다고 발표했다. 라마 3.1은 다중 언어 오픈소스 대규모 언어 모델(LLM)의 컬렉션이다. 이번에 출시한 서비스에는 메타에서 가장 큰 규모이자 강력한 성능의 오픈소스 LLM인 라마 3.1 405B가 제공된다. 스노우플레이크는 실시간의 고처리량 추론을 구현함은 물론 강력한 자연어 처리 및 생성 애플리케이션의 보편화를 증진하는 추론 시스템 스택을 개발하고 오픈 소싱한다. 스노우플레이크의 AI 리서치팀은 추론 및 파인튜닝에 대해 라마 3.1 405B를 최적화함으로써 서비스 개시 첫날부터 거대한 128K 컨텍스트 윈도를 지원한다. 동시에 기존 오픈소스 솔루션에 비해 엔드 투 엔드 지연시간은 최대 3분의 1로 낮아지고 처리량은 1.4배 높아진 실시간 추론을 구현한다. 또한, 코텍스 AI에서 하나의 GPU 노드만을 사용해 거대 모델을 미세 조정할 수 있어 개발자와 사용자 모두에게 비용과 복잡성을 완화해준다. 메타와 협력을 통해 스노우플레이크 고객은 AI 데이터 클라우드에서 메타의 최신 모델에 원활하게 액세스하고 파인튜닝하여 배포할 수 있다. 스노우플레이크는 사용이 간편하고 효율성 및 신뢰도 높은 방법은 물론, 기본적으로 내장된 신뢰도 및 안전성에 대한 포괄적인 접근방식을 제공한다.     스노우플레이크 AI 리서치팀은 AI 커뮤니티에 정기적으로 기여하고 최첨단 LLM 기술 구축 방식에 대한 투명성을 높여 오픈소스 혁신의 한계를 넓혀가고 있다. 또한, 라마 3.1 405B의 출시와 더불어 딥스피드(DeepSpeed), 허깅페이스(HuggingFace), vLLM 및 보다 폭넓은 AI 커뮤니티와의 협업을 통해 자사의 초거대 LLM 추론 및 파인튜닝 시스템 최적화 스택을 오픈 소스화하고 있다. 이러한 혁신을 통해 수천억 개의 매개변수 모델에 대한 오픈소스 추론 및 파인튜닝 시스템에 필요한 새로운 최첨단 솔루션을 구축한다. 초거대 모델의 규모 및 메모리에 대한 요구사항은 실시간 유스케이스에 요구되는 저지연성 추론과 비용 효율을 위한 높은 처리량, 그리고 다양한 엔터프라이즈급 생성형 AI 유스케이스에 필요한 긴 컨텍스트 지원을 실현하고자 하는 사용자에게 있어 상당한 도전 과제다. 모델 및 활성 상태 저장에 대한 메모리 요구사항도 파인튜닝을 어렵게 하며, 훈련을 위한 모델의 상태에 맞춰야 하는 대규모 GPU 클러스터에 데이터 과학자가 액세스할 수 없는 경우도 빈번하다. 스노우플레이크는 초거대 LLM 추론 및 파인튜닝 시스템 최적화 스택은 고급 병렬화 기술과 메모리 최적화를 통해 복잡하고 고비용의 인프라가 없어도 효율적인 AI 처리가 가능하다고 설명했다. 라마 3.1 405B의 경우 스노우플레이크의 시스템 스택은 단일 GPU 노드 하나로도 실시간의 고처리량 성능을 발휘하고 다중 노드 설정 전반에 걸쳐 128k 개의 거대한 컨텍스트 윈도를 지원한다. 이러한 유연성은 차세대 하드웨어와 레거시 하드웨어 모두에 유효해, 보다 광범위한 기업들이 이용할 수 있다. 또한 데이터 과학자들이 전보다 적은 개수의 GPU 상에서 복합 정밀 기술을 사용해 라마 3.1 405B를 파인튜닝할 수 있으므로 대규모 GPU 클러스터에 대한 필요성이 사라진다. 이에 따라 기업들은 강력한 엔터프라이즈급 생성형 AI 애플리케이션을 보다 편리하고 효율적이며 안전하게 채택하고 배포할 수 있다. 스노우플레이크의 AI 리서치팀은 기업들이 이러한 유스케이스를 코텍스 AI에서 쉽게 적용할 수 있도록 모델 증류, 안전 가드레일, 검색 증강 생성(RAG), 합성 데이터 생성 등 파인튜닝에 최적화된 인프라도 개발했다. 한편, 스노우플레이크는 코텍스 AI에 구축된 모든 LLM 애플리케이션 및 자산을 유해한 콘텐츠로부터 더욱 강도 높게 보호하기 위해 업계 선도 기업과 협업하고 있다고 전했다. 메타의 모델 또는 AI21 랩스(AI21 Labs), 구글, 미스트랄 AI(Mistral AI), 레카(Reka) 및 스노우플레이크 등이 제공하는 LLM을 통해 스노우플레이크 코텍스 가드를 일반인들이 이용할 수 있도록 공개하고 있다는 것이다. 스노우플레이크의 비벡 라구나단(Vivek Raghunathan) AI 엔지니어링 부사장은 “스노우플레이크의 AI 리서치팀은 기업과 오픈 소스 커뮤니티가 라마 3.1 405B 등의 최첨단 오픈 모델을 적극 활용해 효율 극대화를 위한 추론 및 파인튜닝을 가능하게 한다”면서, “스노우플레이크는 메타의 첨단 모델을 스노우플레이크 코텍스 AI를 통해 고객에게 직접 제공할 뿐만 아니라, 더 폭넓은 생태계에서 AI를 고도화하기 위해 128K 컨텍스트 윈도와 다중노드 추론, 파이프라인 병렬화, 8비트 부동 소수점 양자화 등을 지원하는 새로운 연구 및 오픈소스 코드로 기업과 AI 커뮤니티의 역량을 강화하고 있다”고 말했다.

아마존웹서비스(AWS)는  AI 모델 훈련 인프라부터 AI 구축 도구, AI를 활용한 애플리케이션까지 폭넓은 생성형 AI(generative AI) 서비스 포트폴리오를 내세우고 있다. 작년부터 300개가 넘는 생성형 AI 기능을 추가하고 있는 AWS는 올해 기업의 생성형 AI 활용이 본격화될 것으로 보고, 이 시장을 리드하기 위한 기술을 적극 소개한다는 계획이다. ■ 정수진 편집장   생성형 AI의 본격 활용 확대 전망 2023년에는 생성형 AI(generative AI)가 전 세계적으로 큰 관심을 받았다. 많은 기업이 생성형 AI에 관심을 갖고, 활용 가능성을 검토하기 시작했다. AWS코리아에서 AI/ML 사업 개발을 담당하는 김선수 수석 스페셜리스트는 “많은 기업이 생성형 AI를 활용하기 위한 시범 과제를 진행했지만, 기술 자체에 매몰되면서 실질적으로 어떻게 적용할지에 대한 고민이 부족한 모습도 보였다. 반면, 올해에는 생성형 AI를 실질적으로 기업 환경에 적용하는 방법에 대한 고민과 논의가 본격화되고 있다”고 짚었다. 기업에서는 AI 모델뿐만 아니라 이를 활용하기 위한 데이터 연계, 내부 시스템과의 통합, 보안, 책임감 있는 AI 구현의 중요성에 주목하고 있다. 김선수 수석 스페셜리스트는 “AWS는 2023년 이후 326개의 생성형 AI 기능을 출시했는데, 이는 지난 18개월동안 다른 주요 AI 서비스 제공업체를 합친 것보다 두 배 이상 많은 숫자”라면서, “AWS는 광범위한 AI 기능과 서비스를 제공하고 있으며, 이를 통해 기업들이 생성형 AI 기술을 효과적으로 활용할 수 있도록 돕고 있다”고 소개했다. AWS의 생성형 AI  서비스는 AI 모델을 직접 구축하고 훈련하며 추론하는 인프라와 플랫폼부터 기업이 다양한 AI 애플리케이션을 구축할 수 있도록 돕는 도구, AI를 활용하는 애플리케이션까지 다양하다. 이 중 아마존 베드록(Amazon Bedrock)은 단일 API를 통해 여러 AI 모델을 손쉽게 사용할 수 있게 해주는 서비스로, 기업들이 파운데이션 모델(FM)을 활용해 생성형 AI 애플리케이션을 구축 및 확장할 수 있도록 돕는다. 특정 AI 모델에 의존하지 않고 필요에 맞는 모델을 선택하여 다양한 산업 요구에 대응할 수 있다는 것이 베드록이 내세우는 주요한 이점이다.   ▲ AWS의 생성형 AI 서비스 3단계 스택   생성형 AI의 구축과 활용 돕는 서비스 강화 AWS는 지난 7월 ‘AWS 서밋 뉴욕 2024’ 이벤트에서 아마존 베드록의 새로운 기능을 발표했다. 아마존 베드록은 아마존뿐 아니라 앤트로픽(Anthropic), 메타(Meta), 미스트랄 AI(Mistral AI) 등 다양한 회사의 AI 모델을 선택해 사용하도록 지원하는데, 이번에 앤트로픽의 클로드 3(Claude 3) 모델에 대한 미세조정(파인튜닝) 작업을 설정할 수 있게 됐다. 이로써 더 많은 생성형 AI 모델에 대한 최적화가 가능해졌다는 것이 AWS의 설명이다. 김선수 수석 스페셜리스트는 생성형 AI 모델을 전문화/개인화하는 데에 쓰이는 검색 증강 생성(Retrieval Augmented Generation) 기법을 소개하면서, AI 모델이 기업의 내부 데이터를 연계하여 더욱 정확하고 산업에 특화된 답변을 제공할 수 있도록 돕는 ‘지식 기반을 위한 확장된 데이터 커넥터’가 추가됐다고 소개했다. 이 커넥터는 CSV, PDF 등 다양한 데이터를 연결해 기업이 AI 모델을 커스터마이징하도록 돕는다. 이를 통해 산업별로 특화된 답변을 제공하거나, 실시간 데이터를 활용해 더욱 정교한 결과를 얻을 수 있다. 또한, AWS는 책임감 있는 AI를 구현하기 위해 보안/보호 기능의 일부로 아마존 베드록에 추가된 가드레일(Guardrails for Amazon Bedrock)을 소개했다. 가드레일은 생성형 AI 애플리케이션을 만들 때 개인정보 보호와 안전 조치를 만들 수 있도록 돕고, 이를 통해 AI 모델이 유해한 콘텐츠를 85% 이상 줄이도록 돕는다. 가드레일의 그라운딩 체크(Grounding Checks) 기능은 AI 모델이 제공하는 답변이 사용자가 의도한 참조 자료와 일치하는지, 그리고 질의 내용과 관련성이 있는지를 평가해 환각 현상을 감지/차단하면서 신뢰할 수 있는 결과를 제공하도록 한다. 김선수 수석 스페셜리스트는 “AWS는 다양한 AI 모델과 기술, 그리고 이를 지원하는 도구와 함께 기업이 필요로 하는 AI 구현에 대한 요구를 충족시키는 다양한 기능을 제공하고 있다”면서, “앞으로도 AWS는 AI 기술과 서비스의 발전을 추진하며, 기업이 생성형 AI를 통해 새로운 비즈니스 기회를 창출할 수 있도록 지원할 것”이라고 전했다.   ▲ 아마존 Q 디벨로퍼의 커스터마이제이션 기능   생성형 AI로 개발자의 업무 효율 높인다 AWS코리아의 윤석찬 수석 테크 에반젤리스트는 “AWS의 생성형 AI 기술은 개발자가 더욱 창의적이고 가치 있는 작업에 집중할 수 있도록 돕고 있으며, 기업의 디지털 혁신을 가속화하는 데에 중요한 역할을 한다”면서, 개발자를 위한 생성형 AI 기술을 소개했다. 가트너(Gartner)에 따르면, 일반적으로 개발자는 27%의 시간을 새로운 기능을 개발하는 데에 사용하고, 73%의 시간은 기존 코드의 유지보수나 보안 취약점 해결에 사용한다. 생성형 AI가 이 73%의 시간을 줄여서 개발 생산성을 높일 수 있다는 것이 윤석찬 수석 테크 에반젤리스트의 설명이다. AWS의 ‘아마존 Q 디벨로퍼(Amazon Q Developer)’는 AWS가 20년간 축적한 데이터를 기반으로 학습된 생성형 AI를 활용해 개발자의 작업을 지원하는 생성형 AI 챗봇 서비스이다. 새로운 코드를 생성하는 것뿐만 아니라 기존 코드의 업그레이드에도 쓰이며, 인프라를 관리하거나 생산성을 높이는 데에 도움을 준다는 것이 AWS의 설명이다. 윤석찬 수석 테크 에반젤리스트는 Q 디벨로퍼가 소프트웨어 개발의 전체 단계에서 쓰일 수 있다고 설명했다. 웹 애플리케이션을 만들 때 챗봇을 통해 개발 방식에 대한 가이드를 받고, 코드를 구현할 때에도 AI가 제안한 코드를 검토해 수용할 수 있다. 코드 테스트와 품질 보장 기능은 보안 취약점이나 비용이 많이 드는 코드 등을 쉽게 확인할 수 있게 한다. 또한, 자바(Java) 8에서 자바 11 또는 17로 코드를 자동 변환하는 기능은 개발자가 수작업으로 코드를 수정하는 번거로움을 덜어준다. AWS는 Q 디벨로퍼에 커스터마이제이션 기능을 추가했는데, 이 기능을 통해 회사 내 소스 코드 저장소나 규정 문서를 기반으로 기존의 코드 및 사내 규정에 맞는 맞춤형 코드 제안을 받을 수 있다. 이 기능은 벡터 데이터베이스에 회사 데이터를 저장하고, 이를 AI 모델에 연결해 제안할 수 있게 한다.  또한, Q 디벨로퍼는 보안과 데이터 관리, 그리고 생성형 AI의 응답에 대한 가드레일 기능을 기본으로 탑재해 안전성을 높였다. 윤석찬 수석 테크 에반젤리스트는 “영국의 브리티시 텔레콤 그룹의 경우, Q 디벨로퍼 도입 후 4개월 동안 10만 줄 이상의 새로운 코드를 생성하고, 반복 작업의 12%를 자동화하여 효율을 높였다. 또한, 생성형 AI가 제안한 코드의 37%는 개발자가 바로 수락해 사용할 정도로 유용성이 입증되었다”고 전했다. 한편, AWS는 개발자 리소스가 부족한 기업에서 일반 직원도 쉽게 애플리케이션을 개발할 수 있도록 돕는 ‘AWS 앱 스튜디오(AWS App Studio)’를 발표했다. 이 로코드 도구는 개발자가 아닌 사람들도 손쉽게 애플리케이션을 만들 수 있도록 도와주며, 이를 통해 업무 효율을 높일 수 있다.     ■ 기사 내용은 PDF로도 제공됩니다.

파수가 9월 12일 오전 ‘FDI 서밋 2023(Fasoo Digital Intelligence Summit 2023)’을 개최, AI 시대를 대비하기 위한 데이터 관리 및 보안 전략을 제시하고 관련 로드맵을 공개했다.  여의도 페어몬트 앰배서더 서울에서 개최된 FDI 2023은 ‘생성형 AI 시대를 준비하는 데이터 관리 및 보안 전략’을 주제로, 다양한 산업 분야의 기업과 기관 CIO 및 CISO 50여 명이 함께했다. 총 3개의 세부 세션으로 구성돼, ‘기업의 생성형 AI 활용 현황 설문조사 결과 분석’, ‘생성형 AI 시대의 데이터 관리 및 보안 전략’, ‘파수의 AI 현재와 미래’가 소개됐다.  먼저 이강만 파수 부사장이 발표한 첫번째 세션에서는 파수가 지난 7월 진행한 ‘생성형 AI 활용 현황’ 설문조사의 세부 결과가 공개됐다. 국내 보안, IT 담당자 1,012명이 참여한 설문 결과, 프라이빗 AI 서비스 도입에 대한 높은 관심에 비해 현실적인 준비는 부족한 것으로 나타났다. 특히 AI 학습을 위한 조직 내 ROT(Redundant, Obsolete, Trivial: 중복되고 오래된, 중요하지 않은) 데이터 관리에 대해 56%가 ‘관리 노력은 하지만 정확한 현황 파악은 되지 않고 있다’고 답했다. 관리되지 않는 ROT 데이터는 ‘민감정보 및 개인정보 유출’(63.1%, 중복응답)과 ‘데이터 관리 및 유지 비용’(48.5%) 등의 문제를 야기할 것으로 우려됐다.  두 번째 세션에서는 실제 조직에서 생성형 AI를 적용하기 위한 구체적인 모델별 문제점과 해결 방안을 나눴다. 발표를 맡은 김용길 파수 상무는 조직 내 생성형 AI도입을 위한 하이브리드 아키텍처를 제시하며, AI를 학습시킬 내부 데이터의 양과 질이 AI 활용의 성공을 결정한다고 강조했다. 또한 생성형 AI 언어 모델의 알고리즘 특성을 고려하면 최적의 학습 데이터 유형은 일반 텍스트형이며, 보통 조직 내에서 일반 텍스트의 90% 이상이 문서형 데이터로 존재한다고 설명했다. 이어 내부 비정형 문서 데이터의 자산화, 버전 관리, ROT 관리를 위한 최적의 방안으로 콘텐츠 가상화 기술을 제안하고, 해당 기술 기반의 차세대 문서관리 플랫폼 ‘랩소디(Wrapsody)’를 소개했다.  마지막 윤경구 파수 전무 세션에서는 AI 시대 데이터 관리와 보안을 위한 파수의 로드맵을 공개했다. AI기술 기반으로 비정형 데이터 내 개인정보를 식별 및 보호하는 ‘파수 AI-R Privacy(Fasoo AI Radar Privacy)’는 LLM 활용시 개인정보 유출을 방지한다. 올해 11월 경 출시될 ‘파수 AI-R DLP(Fasoo AI Radar DLP)’는 인증관리와 접근제어, 데이터 트랜잭션 모니터링 기능을 통해 생성형 AI로 내보내는 정보를 모니터링하고 제어할 수 있다. 또한 내년 초 선 뵐 예정인 기업용 프라이빗 LLM ‘파수 엔터프라이즈 LLM(Fasoo Enterprise LLM)’도 공개됐다. 한글과 영어를 기본 언어로 갖춘 거대 언어 모델인 파수 엔터프라이즈 LLM은 고객별 파인튜닝(미세 조정)을 지원한다.  조규곤 파수 대표는 “AI의 도입과 활용은 산업의 구분을 넘어 모든 기업과 기관에 가장 중요한 과제로 자리잡을 것이며, 이에 발빠른 내부 점검과 대응이 시급하다”며, “파수는 AI의 수준을 결정하는 학습 데이터의 관리 및 보안을 위한 솔루션 외에도, 내년 초에는 프라이빗 LLM도 선보이는 등, AI 활용을 위한 혁신 방안을 선제적으로 제시해 나갈 것”이라고 말했다.