데이터 클라우드 기업 스노우플레이크가 높은 개방성과 성능을 내세운 엔터프라이즈급 대규모 언어 모델(LLM)인 ‘스노우플레이크 아크틱(Snowflake Arctic)’을 출시했다. 스노우플레이크의 전문가혼합(MoE) 방식으로 설계된 아크틱은 기업의 복잡한 요구사항 처리에도 최적화되어 SQL 코드 생성, 명령 이행 등 다양한 기준에서 최고 조건을 충족한다. 특히 아크틱은 무료로 상업적 이용까지 가능한 아파치 2.0 라이선스로, 스노우플레이크는 AI 학습 방법에 대한 연구의 자세한 사항을 공개하며 엔터프라이즈급 AI 기술에 대한 개방 표준을 제안했다. 또한 아크틱 LLM은 스노우플레이크 아크틱 모델군(Snowflake Arctic model family)의 일부로, 검색 사용을 위한 텍스트 임베딩 모델도 포함됐다. 오픈소스 모델인 아크틱은 코드 템플릿과 함께 추론과 학습방식을 선택할 수 있는 유연성도 제공한다. 사용자는 엔비디아 NIM, 텐서RT-LLM(TensorRT-LLM), vLLM, 허깅페이스(Hugging Face) 등 기업이 선호하는 프레임워크로 아크틱을 사용하고 커스터마이징할 수 있다. 스노우플레이크 코텍스(Snowflake Cortex)에서는 서버리스 추론을 통해 아크틱을 즉시 사용할 수도 있다. 스노우플레이크 코텍스는 완전 관리형 서비스로, 허깅페이스, 라미니(Lamini), 마이크로소프트 애저, 엔비디아 API 카탈로그, 퍼플렉시티(Perplexity), 투게더 AI(Together AI) 등 다양한 모델 목록과 함께 데이터 클라우드에서 머신러닝 및 AI 솔루션을 제공한다. 아마존웹서비스(AWS)에서도 아크틱 사용이 가능해질 예정이다.     스노우플레이크는 기업이 각자의 데이터를 활용해 실용적인 AI/머신러닝 앱 제작에 필요한 데이터 기반과 최첨단 AI 빌딩 블록을 제공한다. 고객이 스노우플레이크 코텍스를 통해 아크틱을 사용할 경우 데이터 클라우드의 보안 및 거버넌스 범위 내에서 프로덕션급 AI 앱을 적정 규모로 구축하는 것이 더욱 쉬워진다.  아크틱 LLM이 포함된 스노우플레이크 아크틱 모델군에는 스노우플레이크가 최근 출시한 최첨단 텍스트 임베딩 모델 중 하나인 아크틱 임베드(Arctic embed)도 포함된다. 이 제품은 아파치 2.0 라이선스로 오픈소스 커뮤니티에서 무료로 사용할 수 있다. 5가지 모델로 구성된 이 제품군은 허깅페이스에서 바로 사용할 수 있으며, 스노우플레이크 코텍스에 내장돼 프라이빗 프리뷰 형태로 공개될 예정이다. 유사 모델의 약 3분의 1 크기인 이 임베딩 모델은 높은 검색 성능을 발휘하도록 최적화되어, 기업들이 검색증강생성(RAG) 또는 시맨틱 검색 서비스의 일부로 고유의 데이터 세트를 LLM과 결합할 때 효과적이고 경제적인 솔루션을 제공한다. 스노우플레이크의 슈리다 라마스워미(Sridhar Ramaswamy) CEO는 “스노우플레이크 AI 연구팀은 AI 분야 최전방에서 혁신을 이끌며 자사에 중요한 전환점을 마련했다”면서, “스노우플레이크는 오픈소스로 업계 최고 성능과 효율을 AI 커뮤니티에 공개하면서 오픈소스 AI가 지닌 가능성의 영역을 넓혀가고 있다. 고객에게 유능하면서도 믿을 수 있는 AI 모델을 제공할 수 있는 스노우플레이크의 AI 역량도 높아지고 있다”고 말했다.

인텔은 연례 고객 및 파트너 콘퍼런스인 ‘인텔 비전 2024’에서 기업용 생성형 AI를 위한 성능, 개방성 및 선택권을 제공할 인텔 가우디 3(Intel Gaudi 3) 가속기를 공개했다. 그리고 이와 함께 생성형 AI 도입 가속화를 위한 새로운 개방형 스케일러블 시스템 스위트, 차세대 제품 및 전략적 협력도 발표했다.  인텔 가우디 3 AI 가속기는 공통 표준을 따르는 이더넷을 통해 최대 수만 개의 가속기를 연결해 AI 시스템을 구동한다. 인텔 가우디 3는 BF16에 대해 4배 더 많은 AI 컴퓨팅 및 기존 모델 대비 1.5배 커진 메모리 대역폭을 지원한다. 인텔은 “이 가속기는 생성형 AI를 대규모로 배포하려는 글로벌 기업에게 AI 학습 및 추론 분야에서 획기적인 도약을 지원할 수 있다”고 설명했다.   ▲ 인텔 팻 겔싱어 CEO   인텔은 가우디 3가 70억 개 및 130억 개의 매개변수가 있는 라마2(Llama2) 모델과 GPT-3 1750억개 매개변수 모델 전체에서 엔비디아 H100보다 평균 50% 더 빠른 학습 시간을 제공할 것으로 예상하고 있다. 또한 인텔 가우디 3 가속기 추론 처리량은 평균적으로 H100보다 50%, 전력 효율성의 경우 라마(Llama) 70억 개 및 700억 개 매개변수와 팔콘(Falcon) 1800억 개 매개변수 모델에서 평균 40% 더 우수할 것으로 예상한다. 인텔 가우디 3는 개방형 커뮤니티 기반 소프트웨어와 업계 표준 이더넷 네트워킹을 제공한다. 또한 기업은 싱글 노드에서 클러스터, 슈퍼 클러스터, 수천 개의 노드가 있는 메가 클러스터로 유연하게 확장할 수 있으며, 최대 규모의 추론, 미세 조정 및 학습을 지원한다. 인텔 가우디 3는 2024년 2분기에 델 테크놀로지스, HPE, 레노버, 슈퍼마이크로를 비롯한 OEM 시스템에 탑재될 예정이다. 또한 인텔은 하드웨어, 소프트웨어, 프레임워크, 툴 등을 포함한 개방형 스케일러블 AI 시스템에 대한 전략을 제시했다. 인텔의 이러한 접근법은 기업별 생성형 AI 요구 사항을 충족하는 솔루션을 제공하기 위한 것으로, 다양하고 개방적인 AI 생태계를 가능케 한다. 여기에는 장비 제조업체, 데이터베이스 공급자, 시스템 통합업체, 소프트웨어 및 서비스 공급자 등이 포함된다. 또한, 기업 고객이 이미 알고 신뢰하는 생태계 파트너 및 솔루션을 활용할 수 있는 부분도 장점으로 꼽힌다. 인텔은 다양한 업계의 기업 고객 및 파트너들과 새롭고 혁신적인 생성형 AI 응용 프로그램을 개발하기 위해 인텔 가우디를 활용해 협력하고 있다고 밝혔다. 예를 들어, 네이버는 클라우드에서부터 온디바이스까지 첨단 AI 서비스를 전세계에 배포하기 위해 강력한 LLM 모델을 개발하고 있는데, 대규모 트랜스포머 아키텍처 기반 모델의 컴퓨팅 작업을 뛰어난 와트 당 퍼포먼스로 실행하기 위해 인텔 가우디를 사용한다. 보쉬는 자사 기반 모델 개발을 포함한 스마트 제조의 가능성을 모색하고 있으며, 합성 데이터 세트 생성과 더불어 자동 광학 검사와 같은 견고하고 분산된 트레이닝 세트 제공한다. 이에 더해 구글 클라우드, 탈레스, 코히시티(Cohesity)가 클라우드 환경에서 기밀 컴퓨팅 역량을 활용할 수 있도록 인텔과의 협력을 발표했다.    인텔은 인텔 가우디 3 가속기 외에도 엔터프라이즈 AI의 모든 부문에 걸쳐 차세대 제품 및 서비스에 대한 업데이트를 발표했다. 새로운 인텔 제온 6 프로세서는 폐쇄적 데이터를 사용하여 비즈니스에 특화된 결과를 생성하는 RAG를 포함한 최신 생성형 AI 솔루션을 실행할 수 있다. 2024년 출시될 차세대 인텔 코어 울트라 클라이언트 프로세서 제품군(코드명 루나레이크)은 차세대 AI PC를 위해 플랫폼 기준 100 TOPS 이상, NPU에서 45TOPS 이상을 제공할 예정이다. 인텔은 울트라 이더넷 컨소시엄(UEC)을 통해 AI 패브릭을 위한 개방형 이더넷 네트워킹을 선도하며 다양한 AI 최적화 이더넷 솔루션을 선보이고 있다.  인텔의 팻 겔싱어(Pat Gelsinger) CEO는 “혁신은 전례 없는 속도로 발전하고 있으며, 반도체가 이 모든 것을 가능하게 한다. 또한 모든 기업이 빠르게 AI 기업으로 거듭나고 있다”면서, “인텔은 PC부터 데이터센터, 에지에 이르기까지 기업 전반의 모든 곳에 AI를 가능하게 하고 있다. 인텔의 최신 가우디, 제온 및 코어 Ultra 플랫폼은 변화하는 고객과 파트너의 요구를 충족하고 앞으로의 엄청난 기회를 활용할 수 있도록  유연한 솔루션 세트를 제공하고 있다”고 밝혔다.

인텔코리아가 4월 11일 여의도 FKI타워(전경련회관)에서 기자간담회를 열고, 미국 애리조나에서 4월 8일~9일(현지시간) 진행된 '인텔 비전 2024'에서 발표된 주요 내용들을 소개했다. 특히 올해 하반기에 새롭게 출시 예정인 기업용 AI를 위한 가우디 3에 대해 자세히 소개하는 시간을 마련했다. 한편 인텔은 네이버가 AI 서비스 개발을 위해 인텔의 가우디 2를 테스트베드로 사용하는데 협력하기로 했다고 전했다. ▲ 인텔 비전 2024을 소개한 국내 기자간담회 현장모습 먼저 인텔의 연례 고객 및 파트너 컨퍼런스인 인텔 비전 2024(Intel Vision 2024)에서 인텔은 기업용 생성형 AI(GenAI)를 위한 성능, 개방성 및 선택권을 제공할 인텔 가우디 3(Intel Gaudi 3) 가속기와 함께 생성형 AI 도입 가속화를 위한 새로운 개방형 스케일러블 시스템 스위트, 차세대 제품 및 전략적 협력을 발표했다.  인텔 CEO 팻 겔싱어(Pat Gelsinger)는 “혁신은 전례없는 속도로 발전하고 있으며, 반도체가 이 모든 것을 가능하게 한다. 또한 모든 기업이 빠르게 AI 기업으로 거듭나고 있다”라며 “인텔은 PC부터 데이터센터, 엣지에 이르기까지 기업 전반의 모든 곳에 AI를 가능하게 하고 있다. 인텔의 최신 가우디, 제온 및 코어 Ultra 플랫폼은 변화하는 고객과 파트너의 요구를 충족하고 앞으로의 엄청난 기회를 활용할 수 있도록  유연한 솔루션 세트를 제공하고 있다”고 밝혔다. ▲ 인텔 비전 2024에서 인텔의 새로운 비전을 소개한 인텔 팻 겔싱어(Pat Gelsinger) CEO  인텔은 기업이 생성형 AI를 파일럿 단계에서 업무에 적용하는 것으로 확장하고자 한다고 전했다. 이를 위해서는 복잡성, 단편화, 데이터 보안 및 규정 준수 요구 사항을 해결하면서 인텔 가우디 3(Intel Gaudi 3) AI 가속기와 같이 성능, 비용 및 전력 효율성이 뛰어난 프로세서를 기반으로 구축된 즉시 도입 가능한 솔루션이 필요하다고 소개했다. 인텔 가우디 3 AI 가속기는 공통 표준을 따르는 이더넷을 통해 최대 수만 개의 가속기를 연결해 AI 시스템을 구동한다. 인텔 가우디 3는 BF16에 대해 4배 더 많은 AI 컴퓨팅 및 기존 모델 대비 1.5배 커진 메모리 대역폭을 지원한다. 이 가속기는 생성형 AI를 대규모로 배포하려는 글로벌 기업에게 AI 학습 및 추론 분야에서 획기적인 도약을 지원할 수 있다. 엔비디아 H100과 비교하여 인텔 가우디 3는 70억개 및 130억개의 매개변수가 있는 라마2(Llama2) 모델과 GPT-3 1750억개 매개변수 모델 전체에서 평균3 50% 더 빠른 학습 시간을 제공할 것으로 예상한다. 또한 인텔 가우디 3 가속기 추론 처리량은 평균적으로 H100보다 50%1, 전력 효율성의 경우 라마(Llama) 70억개 및 700억개 매개변수와 팔콘(Falcon) 1800억개 매개변수 모델에서 평균 40% 더 우수할 것으로 예상한다. 인텔 가우디 3는 개방형 커뮤니티 기반 소프트웨어와 업계 표준 이더넷 네트워킹을 제공한다. 또한 기업은 싱글 노드에서 클러스터, 슈퍼 클러스터, 수천 개의 노드가 있는 메가 클러스터로 유연하게 확장할 수 있으며, 최대 규모의 추론, 미세 조정 및 학습을 지원한다. 인텔 가우디 3는 2024년 2분기에 델 테크놀로지스(Dell Technologies), HPE, 레노버(Lenovo), 슈퍼마이크로(Supermicro)를 비롯한 OEM 시스템에 탑재될 예정이다. 한편 인텔코리아 나승주 상무는 인텔 비전 2024에서 발표된 내용들을 간략히 정리해 소개하는 브리핑을 진행했다. 나승주 상무는 인텔은 기업용 AI 활성화를 위해 개방형 생태계의 힘을 적극적으로 활용할 계획이라며, 가우디 3 AI 가속기는 생성형 AI를 위한 선택권을 제공한다고 설명했다. 기업용 AI는 확장 가능한 개방형 시스템이 될 전망이라고 말했다. 또한 고객 및 파트너 모멘텀으로 네이버 등과 협력하고 있다. 또한 차세대 제품 및 서비스를 위해 가우디 3 등 제품 개발에 힘쓸 계획이라고 밝혔다. ▲ 인텔코리아 나승주 상무 이번 브리핑에 앞서 진행된 네이버와의 협력에 대해서 특별 게스트로 네이버클라우드 이동수 박사(하이퍼스케일 AI담당이사)가 온라인 참석해 협력 관계애 대한 설명과 함께 질의응답에 참여했다. 네이버클라우드 이동주 박사는 AI 반도체 평가와 분석하는 과정에서 인텔 가우디 3의 성능이 뛰어나다는 것을 알게 됐다며, AI 서비스를 지원하기 위해서는 AI 개발을 좀 더 손쉽게 하기 위해서는 소프트웨어 작업들을 많이 하고 있다고 밝혔다. 단기간에 그칠 것이 아니라 국내 스타트업들이 함께 AI 협력을 기대하고 있다고 소개했다. ▲ 네이버클라우드 이동수 박사(하이퍼스케일 AI담당이사) 

AI로 구현한 나문희 배우(좌)와 영문희(우) 국민 대(大)배우 나문희씨가 영화 ‘수상한 그녀‘처럼 20대 리즈 시절로 돌아갔다. 인공지능(AI)을 통해서다. AI 엔터테인먼트 기술 분야의 선두주자인 엠씨에이(이하 MCA)는 한국마사회와의 협업으로  'AI 나문희 배우'와 함께 하는 흥미로운 브랜디드 콘텐츠를 선보였다고 밝혔다.  '나문희의 첫사랑'이라는 제목으로 공개된 이번 영상은 AI로 구현한 현재의 나문희 배우와 젊어진 나문희 배우가  동시에 등장하여, 스타가 할 수 없는 것을 가능하게 하고 대중들에게 새로운 경험을 선사한다.  이번 MCA의 첫 번째 프로젝트는 나문희 배우의 AI 캐릭터 '영문희'로, 다양한 SNS 플랫폼에서 대중들에게  공개돼 큰 인기를 얻고 있다. 이를 통해 MCA는 스타를 영화나 드라마 같은 대형 미디어만이 아니라 SNS 영상에 지속적으로 등장시켜  대중의 일상 속으로 다가가 친근감을 높이고, 엔터테인먼트 산업에 새로운 지평을 제시하고자 했다.  MCA가 생성형 AI 기술을 사용하여 제작한 이번 브랜디드 콘텐츠는 한국마사회와 협업을 통해 나문희 배우의  '디지털 더블(Digital Double)'을 구현하고, 나문희 배우의 영상과 목소리를 만들어낸 MCA의 혁신적인 능력을  보여주었다는 점에서 의미가 크다. 특히 이번 브랜디드 콘텐츠는 기존 가상인간들보다 훨씬 유명하고 파급력 있는 스타를 활용했다는 점에서  한 차원 높은 콘텐츠라는 평가를 받고 있는데, 대중들에게 스타급 유명 배우가 등장해 보다 친근한 엔터테인먼트  경험을 제공함으로써 브랜디드 콘텐츠의 효과도 배가시켜줄 것으로 예상된다.  지금까지는 대다수 가상 인간이 무명인이나 무명 배우였으나 이번에 국민 대배우로 평가받는 나문희 배우를  대상으로 진행하였기 때문이다. 이와 함께 이번 AI 캐릭터 '영문희'는 단발성 광고가 아니라 지속적인 활용도 가능하다. MCA의 기술로 인해  합리적인 비용으로 대기업 뿐만 아니라 중소·벤처기업들도 유명인을 모델로 활용할 수 있게 된 것이다. 기존에는 대기업들이 주로 유명 배우나 모델을 사용할 수 있었지만 MCA의 기술로 중견·중소·벤처기업 및  스타트업들도 유명인을 모델로 기용해 자사 제품이나 기업홍보를 할 수 있게 됐다. MCA는 중견·중소기업 및 스타트업에서 합리적인 가격에 광고를 제작할 수 있도록 스타 배우들의 라이선스를  계약하고 있다. 이번 나문희 배우는 MCA와 10년 계약을 체결했다. 이번 동영상은 한국마사회 경마방송 KRBC 유튜브, 틱톡의 '나문희 채널 (문희41)'에서 볼 수 있으며 네이버  클립에서 '수상한 문희'를 검색해도 시청가능하다. 박재수 MCA 대표이사는 "이번 프로젝트에서 사용한 고급 AI 휴먼 기술과 AI 보이스 기술, 그리고 생성형 AI는  AI 관련 기술들이 급속도로 발전하고 있는 상황에서 이를 실제로 적용하고 활용한 사례"라며 "이러한 최첨단  AI 기술들이 막상 현실에 적용하기 어려울 뿐만 아니라, 일회성 사례로 그치는 경우가 많았다. 그러나 MCA는  이번 영상에서 최신 AI 기술들을 총동원하여 현실에 필요한 영상 콘텐츠를 만들어 AI 기술이 세상에 널리  도움을 줄 수 있다는 걸 보여주고자 했다"고 전했다. 이어 "MCA는 향후에도 계속해서 스타가 등장하는 친근한 영상들을 빠르게 제작하고, 지속적으로 제공할  예정"이라고 덧붙였다. 한편, MCA는 영화 산업 전문가들과 AI 기술 전문가들이 함께 모여 설립한 회사로, 스타의 AI 캐릭터를 영화,  드라마, 광고, 교육영상, AI 친구 등 다양한 분야에 편리하게 활용할 수 있게 하여 스타와 기업, 대중 모두를  이롭게 하는 것을 목표로 하는 기업이다.   나문희 배우  

BIM 칼럼니스트 강태욱의 이슈 & 토크   요즘 LLM 모델을 사용하는 방법이 점차 간편해지고 있어 자체적으로 LLM을 구축해 챗봇, 전문가 시스템 등을 자신의 서버에서 제공하는 경우가 많아지고 있다. 이번 호에서는 GPU가 있는 PC에서 직접 실행해 볼 수 있도록, 로컬 호스트 LLM(대규모 언어 모델) 오픈소스 기반의 BIM 전문가 챗봇 서비스를 간단히 개발해 본다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   이번 호에서는 기존의 BIM PDF 파일을 검색해 학습하고, LLM에 RAG(Retrieval-augmented generation) 증강 학습한 후, 이를 간단한 UI로 웹 서비스하는 과정을 간략히 따라해 본다. 이번 호의 내용은 로컬 LLM의 편한 개발을 지원하는 올라마(Ollama), LLM 프롬프트 엔지니어링 프레임워크인 랭체인(LangChain), 텍스트 임베딩 벡터 데이터베이스 크로마(Chroma), 손쉬운 웹 앱 개발 지원 도구인 스트림릿(Streamlit)을 사용한다. 이를 이용해 간단하게 BIM 전문 지식을 PDF로 학습한 챗봇을 개발한다.   그림 1. 로컬 호스트 LLM 챗봇 아키텍처   그림 2. 구현된 BIM 지식 챗봇 서비스   LLM에 관련된 깊은 내용은 다음의 링크를 참고한다. 이 글은 여러 참고 자료를 이용해 작성된 것이다. 상세 내용은 레퍼런스를 참고하기 바란다. Facebook LLAMA-2 paper : https://daddynkidsmakers.blogspot.com/2024/02/llama-2.html Facebook LLAMA-2 installation : https://daddynkidsmakers.blogspot.com/2023/09/llama2.html LLM은 빅테크 업체 간 경쟁이 심한 분야이다. 이와 관련해서 젬마(Gemma), MPT-7B과 같은 LLM 모델이 오픈소스로 공개되고 있어 선택지가 많아지고 있다. 이와 관련해서는 다음을 참고한다.  Google Gemma : https://github.com/google/gemma_pytorch Blooom : https://huggingface.co/bigscience/bloom   설치 설치를 위해서는 엔비디아 드라이버, CUDA, 텐서플로(TensorFlow), 파이토치(PyTorch) 등 기본 딥러닝 개발 환경이 설치되어 있어야 한다.(최소 구동을 위한 GPU RAM은 6GB이다.) TensorFlow 설치 : https://www.tensorflow.org/install/pip?hl=ko#windows-native_1 Start Locally | PyTorch 설치 : https://pytorch.org/get-started/locally/ 설치 순서는 다음과 같다.  1. 기본 패키지를 설치한다. LLM 모델 기반 서비스 개발 지원 라이브러리 랭체인, 웹 앱 UI 개발을 지원하는 스트림릿, 텍스트 임베딩 벡터 데이터베이스 크로마 DB 등을 설치한다. pip install langchain streamlit streamlit_chat pypdf fastembed chardet pip install chromadb==0.4.15   그림 3. 다양한 LLM 모델을 이용한 서비스 개발을 지원하는 랭체인 패키지   그림 4. 간단한 코드로 웹 앱 개발을 지원하는 UI 라이브러리 패키지 streamlit.io   혹은 pip와 유사한 패키지 설치 관리자인 poetry를 설치한 후, 다음 사용 패키지들을 pyproject.toml 이름으로 저장하고 설치한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

국내 협업 툴 ‘플로우’를 공급해 온 마드라스체크가 3월 7일 여의도 콘래드서울호텔에서 ‘flow 3.0 AI NOW’ 행사를 개최했다. 이번 행사에서는 플로우에 업데이트될 생성형 AI에 대한 소개 및 활용법, 실제 활용 사례 등이 공유되었다. 마드라스체크는 플로우 3.0에 생성형 AI가 더해져 업무 프로세스의 혁신을 가져올 수 있을 것으로 기대했다. ■ 최경화 국장     협업 툴 플로우 서비스 기업, 마드라스체크 마드라스체크는 ‘똑똑한 AI 업무비서’를 내세우는 플로우 3.0을 발표했다. 플로우는 기업 내 업무 협업을 돕는 플랫폼으로서 서비스형 소프트웨어(SaaS)와 온프레미스 형태로 제공된다.  마드라스체크는 K-협업 소프트웨어의 위상을 전 세계적으로 알리고자 글로벌 시장에 진출하여 플로우 사용을 확대, 전 세계 55개국 300개 유료 기업을 확보하며 업무 문화 혁신을 주도하고 있다.  이학준 대표는 “플로우는 메신저 기반 협업 툴과 작업 관리 협업 툴을 하나로 엮어 시장의 호응을 얻었다. 2018년에는 SaaS와 온프레미스를 동시에 제공했고, 이번에 생성형 AI로 또 한단계 도약할 것”이라고 밝혔다. 또한 플로우는 생성형 AI를 통해 누구나 쉽게 업무를 진행할 수 있도록 도울 것이다. 사용자는 동료들과 프로젝트 생성부터 업무 요약, 담당자 추천 등을 일일이 할 필요가 없으며, 플로우의 AI가 관련 업무를 대신할 수 있다고 소개했다.    ▲ 마드라스체크 이학준 대표   플로우는 CEO부터 신입까지 사용하기 쉬운 협업 툴로서 프로젝트 관리, 업무/일정관리, 메신저, OKR, 전자결재, 근태관리까지 한번에 가능하며, 업무에 최적화되어 줌/팀즈/구글 등이 연동되는 AI 협업 툴이다. 생성형 AI를 탑재한 플로우에는 오픈AI의 ‘GPT-4’와 메타의 ‘라마2’ 언어모델이 탑재되어 있다. 생성형 AI를 통한 플로우의 주요 기능은 ▲AI 프로젝트 템플릿 ▲AI 하위 업무 ▲AI 업무 필터 ▲AI 업무 일지 ▲AI 에디터 템플릿 ▲AI 담당자 추천 등이 있다.     이 대표는 “협업 툴 서비스는 시간이 갈수록 복잡해지고, 기업은 데이터가 쌓인다. 플로우는 AI를 활용해 UI/UX를 혁신하고, 데이터를 가치 있게 가공하고 제공하며, 시간을 절약하도록 서비스를 만든다. 대화하듯 업무하고 알아서 자료를 찾는 혁명을 이룰 것”이라고 말했다.      또한 이날 행사에서는 카이스트 전기 및 전자공학과 김대식 교수가 ‘AI와 챗GPT가 이끄는 세상’을 주제로 기조 발표를 했다. 김 교수는 “AI 개념은 수십 년 전에 나왔지만 컴퓨터 공학 단계에 머물렀다. 하지만 챗GPT로 코드 기반인 AI가 자연어 입력으로 바뀌면서 혁신의 시점이 왔다”라고 말했다.  김대식 교수가 말하는 올해 생성형 AI의 키워드는 ▲ 지적 능력의 한계를 넘어서는 생산성 ▲ 폼팩터의 전환 ▲온디바이스 AI를 위시한 sLLM의 등장이다. 핵심은 생산성의 향상이다. 김 교수는 휴대폰과 디스플레이 산업이 성장이 멈추고 있다면서, 포스트 스마트폰 디바이스는 디스플레이가 없는 쪽으로 변해가고 있다고 말했다. 또한 “제조 생산성은 높아지고 있지만 21세기에 들어서도 업무, 코딩, 디자인 등 인간의 지적능력이 필요하다”면서, 앞으로의 인공지능은 지적 노동자의 대량 생산을 돕는 방향으로 발전할 것으로 전망했다.    ▲ 카이스트 전기 및 전자공학과 김대식 교수   한편, 이어진 세션에서는 플로우 AI 사전 테스트를 진행하고, 생산성을 높인 사용 후기가 발표되었다. BGF리테일에서는 ‘글로벌 AI 편의점 CU, AI로 업무의 날개를 다는 법’, 한국전통문화고등학교에는 ‘교실로 들어온 생성형 AI’라는 제목으로 적용 사례를 소개해 호응을 얻었다.     ■ 기사 내용은 PDF로도 제공됩니다.

HPE는 엔비디아 GTC에서 생성형 AI, 딥러닝, 머신러닝 애플리케이션의 운영 고급화를 위한 통합 AI 네이티브 포트폴리오를 새롭게 업데이트했다고 발표했다. 이번에 발표된 업데이트는 ▲HPE와 엔비디아가 공동 엔지니어링한 풀스택 생성형 AI 솔루션 ▲HPE 머신러닝 추론 소프트웨어 프리뷰 버전 ▲엔터프라이즈급 검생증강생성(RAG : Retrieval-augmented generation) 레퍼런스 아키텍처 ▲신규 엔비디아 블랙웰(NVIDIA Blackwell) 플랫폼 기반 제품 개발 지원 등을 포함한다. 대규모 AI 모델의 개발 및 훈련을 위해 사전 구성 및 테스트된 풀스택 솔루션을 원하는 기업을 위해 생성형 AI용 HPE 슈퍼컴퓨팅 솔루션도 출시됐다. 고객들이 생성형 AI 및 딥러닝 프로젝트 개발을 가속할 수 있도록 목적 기반의 턴키 솔루션은 엔비디아 칩으로 구동되며 최대 168개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩(GH Grace Hopper Superchip)이 제공된다. 이 솔루션은 대기업, 연구소 및 정부 기관들이 인공지능 및 머신러닝 소프트웨어 스택을 활용한 모델 개발 과정을 더욱 단순화할 수 있도록 지원한다. 이러한 소프트웨어 스택은 고객들이 대규모 언어 모델(LLM), 추천 시스템, 벡터 데이터 베이스 등 생성형 AI와 딥러닝 프로젝트를 더욱 빠르게 추진할 수 있도록 한다. 설치에서부터 모든 서비스가 제공되는 턴키 솔루션을 이용해 AI 연구 센터와 대기업은 가치 창출까지의 시간을 더욱 단축하고 훈련은 2~3배 더욱 신속히 진행할 수 있다.     HPE의 생성형 AI용 엔터프라이즈 컴퓨팅 솔루션은 유연하고 확장 가능한 사용량 기반 과금 모델을 제공하는 HPE 그린레이크(HPE GreenLake)를 통해 이용할 수 있다. 엔비디아와 공동 엔지니어링하여 사전 구성된 미세 조정(fine-tuning) 및 추론 솔루션은 생성형 AI 애플리케이션을 제작하기 위해 필요한 정확한 컴퓨팅, 스토리지, 소프트웨어, 네트워킹 및 컨설팅 서비스를 제공함으로써 소요 시간과 비용을 절감해 준다. 이러한 AI 네이티브 풀스택 솔루션은 프라이빗 데이터 기반의 파운데이셔널 모델을 제작하기 위해 필요한 속도, 규모, 관리 기능을 제공하고 하이브리드 클라우드 모델 내 생성형 AI 애플리케이션을 배포할 수 있도록 지원한다. HPE와 엔비디아의 고성능 AI 컴퓨팅 클러스터 및 소프트웨어를 기반으로 하는 이 솔루션은 경량 모델 미세조정, RAG, 대규모 추론 등에 이상적이다. 이 솔루션을 실행하는 700억 개의 파라미터를 가진 라마 2(Llama 2) 모델의 미세 조정 시간은 노드 수에 따라 선형적으로 감소하여 16노드 시스템에서는 6분이 소요된다. 이러한 속도와 성능 덕분에 고객은 버추얼 어시스턴트, 지능형 챗봇, 기업용 검색과 같은 AI 애플리케이션으로 비즈니스 생산성을 개선하여 가치 실현을 더욱 빠르게 달성할 수 있다. 또한, 해당 솔루션은 HPE 프로라이언트 DL380a Gen11 서버(HPE ProLiant DL380a Server)를 기반으로 엔비디아 GPU, 엔비디아 스펙트럼-X 이더넷(NVIDIA Spectrum-X Ethernet) 네트워킹 플랫폼, 엔비디아 블루필드-3 DPU(NVIDIA BlueField-3 DPU)으로 사전 구성되어 있다. 이에 더해 HPE의 머신러닝 플랫폼과 애널리틱스 소프트웨어, 생성형 AI 모델 추론용으로 최적화된 엔디비아 NIM 마이크로서비스가 제공되는 엔비디아 AI 엔터프라이즈 5.0 소프트웨어뿐만 아니라 엔비디아 네모 리트리버(NeMo Retriever) 및 기타 데이터 사이언스와 AI 라이브러리를 이용할 수 있다. HPE의 안토니오 네리(Antonio Neri) CEO는 “생성형 AI의 미래를 실현하고 AI 생명주기 전반을 다루기 위한 솔루션은 설계부터 하이브리드로 제작되어야 한다. AI는 하이브리드 클라우드 환경이 필요한 워크로드로, 온프레미스나 코로케이션 시설, 퍼블릭 클라우드에서 AI 모델을 훈련하는 것부터 에지에서의 추론 작업까지 모든 환경에 걸쳐 진행된다”면서, “HPE와 엔비디아는 공동 설계한 AI 소프트웨어 및 하드웨어 솔루션을 지속적으로 선보이며, 고객들이 기획에서부터 제작까지 생성형 AI를 가속해서 개발하고 배포할 수 있도록 도와줄 것”이라고 말했다. 엔비디아의 젠슨 황(Jensen Huang) CEO는 “생성형 AI는 커넥티드 디바이스, 데이터 센터 및 클라우드 내 데이터에서 인사이트를 도출해내며 전 산업의 혁신을 일으킬 수 있다. 엔비디아와 HPE의 협력 확대를 통해 기업들은 데이터를 활용하여 새로운 AI 애플리케이션을 개발 및 배포함으로써 전례 없는 생산성 향상을 경험하고 비즈니스를 새롭게 전환할 수 있을 것”이라고 말했다.

데이터 클라우드 기업 스노우플레이크가 프랑스의 AI 솔루션 제공업체 미스트랄 AI(Mistral AI)와 파트너십을 맺고, 플래그십 대규모 언어 모델(LLM)인 ‘미스트랄 라지(Mistral Large)’를 스노우플레이크 데이터 클라우드 플랫폼에 적용한다고 밝혔다. ‘미스트랄 라지’는 고유한 추론 능력을 갖춘 LLM 모델로 코딩과 수학에 능숙하고 한 번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있다. 프랑스어, 영어, 독일어, 스페인어, 이탈리아어, 5개 언어 처리가 가능한데, 기존 생성형 AI 모델과 ‘대규모 다중 작업 언어 이해 측정(MMLU)’을 비교하는 과정에서 성능을 입증했다. 이와 함께, 미스트랄 AI의 최초 기본 모델인 ‘미스트랄 7B’와 오픈소스 모델 ‘믹스트랄(Mixtral) 8x7B’에 대한 엑세스 제공 및 스노우플레이크 산하 벤처 캐피탈인 스노우플레이크 벤처스(Snowflake Ventures)의 미스트랄 AI에 대한 시리즈 A 투자 등도 이번 파트너십 발표에 포함됐다. ‘미스트랄 7B’는 낮은 지연 시간과 메모리 요구사항에 비해 높은 처리량을 갖춘 것이 특징이고, ‘믹스트랄 8x7B’는 여러 성능 비교에서 챗GPT3.5보다 빠르고 품질이 우수한 것으로 나타났다. 미스트랄 AI의 모델들은 ‘스노우플레이크 코텍스(Snowflake Cortex)’에서 프리뷰 공개 형태로 고객에게 제공된다. 스노우플레이크 코텍스는 스노우플레이크 플랫폼에서 생성형 AI를 활용할 수 있는 완전 관리형 LLM 및 벡터 검색 서비스이다. AI/ML 기술 없이도 쉽고 강화된 보안 환경에서 생성형 AI를 활용할 수 있는 서비스로, 기업 고객은 데이터에 대한 보안, 개인 정보 보호 및 거버넌스는 유지하면서 데이터를 빠른 속도로 분석하고 AI 앱을 구축할 수 있다.     스노우플레이크는 2023년 감정 분석, 번역, 요약과 같은 특수 작업을 위한 LLM을 지원하는 코텍스를 처음 공개했다. 또한, 메타(Meta)의 ‘라마2(Llama 2)’ 모델을 시작으로 검색증강생성(RAG)을 포함한 기본 LLM 지원을 늘리고 있다. 스노우플레이크는 미스트랄 AI와의 파트너십을 통해 생성형 AI에 대한 투자를 이어가면서, 기본형 LLM을 스노우플레이크 코텍스에서 제공해 기업이 다방면 비즈니스에 최첨단 생성형 AI를 도입할 수 있도록 지원하고 있다. 스노우플레이크 코텍스 LLM 기능이 공개 프리뷰되면서, 스노우플레이크 기업 고객은 기업 고유의 데이터를 바탕으로 다양하게 AI를 활용할 수 있게 됐다. SQL 기술을 갖춘 사용자라면 누구나 수 초 내에 감정 분석, 번역, 요약과 같은 특수 작업을 비용 효율적으로 진행할 수 있다. 파이썬 개발자라면 스노우플레이크 코텍스에서 제공하는 미스트랄 AI의 LLM은 물론, 곧 공개될 스노우플레이크 스트림릿(Streamlit)의 대화형 기능을 통해 수 분 내에 챗봇과 같은 풀스택 AI 앱을 개발할 수 있게 된다. 간편해진 경험과 높은 수준의 보안은 역시 곧 공개될 스노우플레이크의 통합 벡터 기능과 벡터 데이터 유형을 통해 RAG에도 동일하게 적용될 예정이다. 스노우플레이크의 슈리다 라마스워미(Sridhar Ramaswamy) CEO는 “스노우플레이크는 미스트랄 AI와의 파트너십을 통해 최정상급 성능의 LLM을 고객에게 직접 제공하고, 사용자는 간편하면서도 혁신적인 AI 앱을 구축할 수 있게 되었다”면서, “스노우플레이크 코텍스를 통해 더 많은 기업이 데이터 클라우드의 보안과 개인 정보 보호는 강화하고 새롭고 경제적인 AI 사용 사례를 만들어 내기를 바란다”고 말했다. 미스트랄 AI의 아르튀르 멘슈(Arthur Mensch) CEO는 “미스트랄 AI는 전세계적으로 기업이 생성형 AI 활용에 더 가까워지도록 고성능, 고효율에 신뢰할 수 있는 AI 모델을 개발하겠다는 스노우플레이크의 목표에 공감한다”면서, “스노우플레이크 데이터 클라우드에서 미스트랄 AI의 모델을 활용함으로써, 고객이 민주화된 AI를 경험하고 더 큰 가치를 창출하는 고도화된 AI 앱을 생성할 수 있기를 기대한다”고 전했다.

엔비디아가 RTX AI PC와 워크스테이션 사용자를 위한 하드웨어, 소프트웨어, 도구, 가속화 등을 계속해서 선보일 예정이라고 밝혔다. 엔비디아는 2018년 RTX 기술과 AI용으로 제작된 소비자 GPU인 지포스 RTX(GeForce RTX)를 출시하면서 AI 컴퓨팅으로의 전환을 가속화했다. 이후 RTX PC와 워크스테이션상의 AI는 1억 명 이상의 사용자와 500개 이상의 AI 애플리케이션을 갖춘 생태계로 성장했다. 생성형 AI는 PC에서 클라우드에 이르기까지 새로운 차원의 기능을 선보이고 있다. 또한 엔비디아는 축적된 AI 경험과 전문성으로 모든 사용자가 다양한 AI 기능을 처리하는 데 필요한 성능을 갖출 수 있도록 지원한다는 계획이다. AI 시스템은 데이터 내부의 경험이나 패턴을 학습한 다음 새로운 입력이나 데이터가 공급되면 스스로 결론을 조정할 수 있다는 장점을 가지고 있다. AI 시스템은 이러한 자가 학습을 통해 이미지 인식, 음성 인식, 언어 번역, 의료 진단, 자동차 내비게이션, 이미지와 영상 품질 향상 등 수백 가지의 다양한 작업을 수행할 수 있다. AI 진화의 다음 단계는 생성형 AI(generative AI)라고 하는 콘텐츠 생성이다. 이를 통해 사용자는 텍스트, 이미지, 사운드, 애니메이션, 3D 모델 또는 기타 유형의 데이터를 포함한 다양한 입력을 기반으로 새로운 콘텐츠를 빠르게 제작하고 반복할 수 있다. 그런 다음 동일하거나 새로운 형식의 콘텐츠를 생성한다.     AI PC는 AI를 더 빠르게 실행할 수 있도록 설계된 전용 하드웨어가 장착된 컴퓨터이다. 점점 더 많은 유형의 AI 애플리케이션이 클라우드가 아닌 디바이스에서 특정 AI 작업을 수행할 수 있는 PC를 필요로 하게 될 것이다. AI PC에서 실행하면 인터넷 연결 없이도 항상 컴퓨팅을 사용할 수 있고 시스템의 짧은 지연 시간으로 응답성도 높아진다. 아울러 사용자가 AI 활용을 위해 민감한 자료를 온라인 데이터베이스에 업로드할 필요가 없어 개인정보 보호가 강화된다는 이점도 있다. 3D 이미지가 로드될 때까지 가만히 앉아 기다리는 대신 AI 디노이저를 통해 이미지가 즉각적으로 업데이트되는 것을 볼 수 있다. RTX GPU에서는 이러한 전문 AI 가속기를 ‘텐서 코어(Tensor Core)’라고 한다. 텐서 코어는 업무와 게임 플레이에 사용되는 까다로운 애플리케이션에서 AI의 성능을 가속화한다. 현 세대의 지포스 RTX GPU는 대략 200 AI TOPS(초당 조 단위 연산)부터 1300 TOPS 이상까지 다양한 성능 옵션을 제공하며, 노트북과 데스크톱에 걸쳐 다양한 옵션을 지원한다. GPU가 없는 현 세대의 AI PC 성능은 10~45TOPS이다. 전문가들은 엔비디아 RTX 6000 에이다 제너레이션(RTX 6000 Ada Generation) GPU를 통해 더욱 높은 AI 성능을 얻을 수 있다. 엔비디아는 고성능의 RTX GPU와 함께 AI 업스케일링부터 개선된 화상 회의, 지능적이고 개인화된 챗봇에 이르기까지 모든 유형의 사용자에게 도움이 되는 도구를 제공한다고 소개했다. RTX 비디오는 AI를 사용해 스트리밍 영상을 업스케일링하고 HDR(하이 다이내믹 레인지)로 표시한다. SDR(표준 다이내믹 레인지)의 저해상도 영상을 최대 4K 고해상도 HDR로 생생하게 재현한다. RTX 사용자는 크롬 또는 엣지 브라우저에서 스트리밍되는 거의 모든 영상에서 한 번의 클릭으로 이 기능을 이용할 수 있다. RTX 사용자를 위한 무료 앱인 엔비디아 브로드캐스트(Broadcast)는 간단한 사용자 인터페이스(UI)를 통해 화상 회의, 라이브 스트리밍 개선 등 다양한 AI 기능을 제공한다. 노이즈와 에코 제거 기능으로 키보드 소리, 진공 청소기 소리, 아이들의 큰 목소리 등 원치 않는 배경 소리를 제거하고, 가상 배경을 사용해 더 나은 엣지 감지로 배경을 대체하거나 흐리게 처리할 수 있다. 챗 위드 RTX(Chat With RTX)는 사용하기 쉽고 무료로 다운로드가 가능한 로컬 맞춤형 AI 챗봇 데모이다. 사용자는 파일을 하나의 폴더에 끌어다 놓고 챗 위드 RTX에서 해당 위치를 가리키기만 하면 PC의 로컬 파일을 지원되는 대규모 언어 모델(LLM)에 쉽게 연결할 수 있다. 이를 활용하면 쿼리를 통해 상황에 맞는 답변을 빠르게 얻을 수 있다.  AI는 크리에이터들의 지루한 작업을 줄이거나 자동화해 순수 창작을 위한 시간을 제공하며 창의적인 잠재력을 실현하도록 돕는다. 이러한 기능은 엔비디아 RTX 또는 지포스 RTX GPU가 탑재된 PC에서 빠르게 혹은 단독으로 실행된다. 어도비 프리미어 프로의 AI 기반 음성 향상 도구는 불필요한 노이즈를 제거하고 대화 품질을 개선한다. 어도비 프리미어 프로(Adobe Premiere Pro)의 음성 향상 도구는 RTX로 가속화된다. 이는 AI를 사용해 불필요한 노이즈를 제거하고 대화 클립의 품질을 개선해 전문적으로 녹음된 것 같은 사운드를 구현한다. 또 다른 프리미어 기능으로는 자동 리프레임이 있다. 자동 리프레임은 GPU 가속화를 통해 영상에서 가장 관련성 높은 요소를 식별하거나 추적해 다양한 화면 비율에 맞게 영상 콘텐츠를 지능적으로 재구성한다. 영상 편집자의 시간을 절약해 주는 또 하나의 AI 기능으로 다빈치 리졸브(DaVinci Resolve)의 매직 마스크(Magic Mask)가 있다. 편집자가 한 장면에서 피사체의 색조와 밝기를 조정하거나 원치 않는 부분을 제거해야 하는 작업에서 매직 마스크를 활용하면 피사체 위에 선을 긋기만 해도 AI가 잠시 동안 처리한 후 선택 영역을 표시한다.  한편, AI는 확장 가능한 환경, 하드웨어와 소프트웨어 최적화, 새로운 API를 통해 개발자가 소프트웨어 애플리케이션을 구축하는 방식을 개선하고 있다. 엔비디아 AI 워크벤치(AI Workbench)는 개발자가 PC급 성능과 메모리 설치 공간을 사용해 사전 훈련된 생성형 AI 모델과 LLM을 빠르게 생성, 테스트, 맞춤화할 수 있도록 지원한다. 이는 RTX PC에서 로컬로 실행하는 것부터 거의 모든 데이터센터, 퍼블릭 클라우드 또는 엔비디아 DGX 클라우드(DGX Cloud)까지 확장할 수 있는 간편한 통합 툴킷이다. 개발자는 PC에서 사용할 AI 모델을 구축한 후 엔비디아 텐서RT를 사용해 모델을 최적화할 수 있다. 텐서RT는 RTX GPU에서 텐서 코어를 최대한 활용할 수 있도록 도와주는 소프트웨어이다. 윈도우용 텐서RT-LLM을 통해 텍스트 기반 애플리케이션에서 텐서RT 가속화를 사용할 수 있다. 이 오픈 소스 라이브러리는 LLM 성능을 향상시키고 구글 젬마 ,메타(Meta) 라마2(Llama 2), 미스트랄(Mistral), 마이크로소프트(Microsoft) Phi-2 등 인기 모델에 대해 사전 최적화된 체크포인트를 포함한다. 또한 개발자는 오픈AI(OpenAI) 채팅 API용 텐서RT-LLM 래퍼에도 액세스할 수 있다. 컨티뉴(continue.dev)는 LLM을 활용하는 비주얼 스튜디오 코드(VS Code)와 제트 브레인(JetBrains)용 오픈 소스 자동 조종 장치이다. 컨티뉴는 단 한 줄의 코드 변경만으로 RTX PC에서 로컬로 텐서RT-LLM을 사용해 로컬에서 빠르게 LLM 추론할 수 있는 도구이다.