엔비디아가 새로운 엔비디아 RTX A400과 RTX A1000 GPU를 통해 RTX 전문가용 그래픽 제품을 확장하고, 디자인을 비롯한 AI 기반 생산성 워크플로를 강화한다고 밝혔다. 디자인과 생산성 애플리케이션 전반에 걸친 AI 통합이 새로운 기준으로 자리잡으면서 고급 컴퓨팅 성능에 대한 수요가 증가하고 있다. 즉, 전문가와 크리에이터들은 프로젝트의 규모와 복잡성 또는 범위에 관계없이 향상된 컴퓨팅 성능을 활용해야 한다. 엔비디아 암페어(Ampere) 아키텍처 기반의 RTX A400과 RTX A1000 GPU는 이렇게 증가하는 수요를 충족하기 위해 개발됐으며, AI와 레이 트레이싱 기술에 대한 접근성을 확대해 전문가들이 일상적인 워크플로를 혁신하는데 필요한 도구를 제공한다.   ▲ 엔비디아 RTX A400   RTX A400 GPU는 RTX 400 시리즈 GPU에 가속화된 레이 트레이싱과 AI를 도입했다. 이 GPU는 AI 처리를 위한 24개의 텐서 코어(Tensor Cores)를 탑재해 기존 CPU 기반 솔루션을 넘는 성능을 제공한다. 이를 통해 전문가들은 지능형 챗봇, 코파일럿과 같은 최첨단 AI 애플리케이션을 데스크톱에서 직접 실행할 수 있다. 또한 GPU는 실시간 레이 트레이싱을 제공하므로 크리에이터는 생생하고 물리적 정확도가 높은 3D 렌더링을 제작할 수 있다. A400은 시리즈 최초로 4개의 디스플레이 출력을 지원해 금융 서비스, 명령과 제어, 유통, 운송과 같은 산업에 필수적인 고밀도 디스플레이 환경에 적합하다.   ▲ 엔비디아 RTX A1000   엔비디아 RTX A1000 GPU는 RTX 1000 시리즈 GPU에 처음으로 텐서 코어와 RT 코어를 도입했다. 이를 통해 전문가와 크리에이터를 위한 가속화된 AI와 레이 트레이싱 성능을 제공한다. A1000은 72개의 텐서 코어를 탑재해 이전 세대에 비해 업그레이드된 성능을 갖췄다. 스테이블 디퓨전(Stable Diffusion)과 같은 도구에서 3배 이상 빠른 생성형 AI 프로세싱을 제공하며, 18개의 RT 코어는 그래픽과 렌더링 작업 속도를 최대 3배까지 높여 2D와 3D CAD, 제품과 건축 설계, 4K 비디오 편집과 같은 전문적인 워크플로를 가속화한다. 더불어 A1000은 이전 세대보다 최대 38% 더 많은 인코딩 스트림을 처리하고 2배 더 빠른 디코딩 성능을 제공하는 등 비디오 처리 능력을 높였다. 엔비디아 RTX A400과 A1000 GPU에 탑재된 2세대 RT 코어는 건축 도면, 3D 디자인, 콘텐츠 제작 등 모든 전문 워크플로를 위한 실시간 레이 트레이싱, 사실적인 물리 기반 렌더링과 시각화, 정확한 조명과 그림자 시뮬레이션으로 작업 품질을 높일 수 있다. 3세대 텐서 코어는 생성형 AI, 이미지 렌더링 노이즈 제거, 딥러닝 슈퍼 샘플링과 같은 AI 증강 도구와 애플리케이션을 가속화해 이미지 생성 속도와 품질을 개선한다. 암페어 아키텍처 기반의 쿠다(CUDA) 코어는 이전 세대 대비 최대 2배의 단정밀도 부동 소수점 처리량으로 그래픽과 컴퓨팅 워크로드의 속도를 크게 높인다. A400 GPU의 4GB와 A1000 GPU의 8GB GPU 메모리는 다양한 전문가용 요구 사항을 충족한다. 여기에는 기본적인 그래픽 디자인과 사진 편집부터 텍스처나 고해상도 편집, 데이터 분석이 필요한 까다로운 3D 모델링 등이 포함된다. 또한 이 GPU들은 이전 세대보다 메모리 대역폭이 증가해 데이터를 더 빠르게 처리하고 대용량 데이터 세트와 장면을 더 원활하게 처리할 수 있다. 7세대 인코드(NVENC)와 5세대 디코드(NVDEC) 엔진을 탑재한 새 GPU는 효율적인 비디오 처리를 기능을 제공한다. 이를 통해 초저지연으로 고해상도 비디오 편집, 스트리밍, 재생을 지원한다. 또한 AV1 디코드가 포함돼 더 많은 비디오 포맷을 더 효율적이고 원활하게 재생할 수 있다. A400과 A1000 GPU는 싱글 슬롯 디자인에 전력소비량이 50W에 불과하며, 콤팩트하고 에너지 효율적인 워크스테이션에 인상적인 기능을 제공한다.  엔비디아는 새로운 GPU가 최첨단 AI, 그래픽, 컴퓨팅 기능 등을 통해 사용자의 생산성을 높이고 창의적인 가능성을 열어준다고 전했다. 레이 트레이싱 렌더링과 AI가 포함된 고급 워크플로를 통해 전문가들은 작업의 한계를 뛰어넘고 놀라운 수준의 사실감을 구현할 수 있다. 기획 담당자들은 강력하고 에너지 효율적인 새로운 컴퓨팅 솔루션을 에지 배포에 사용할 수 있다. 크리에이터는 편집과 렌더링 속도를 높여 더욱 풍부한 시각적 콘텐츠를 제작할 수 있다. 건축가와 엔지니어는 아이디어를 3D CAD 개념에서 실제 디자인으로 원활하게 전환할 수 있다. 스마트 공간에서 작업하는 경우에는 공간 제약이 있는 환경에서 실시간 데이터 처리, AI 기반 보안, 디지털 사이니지 관리 등에 GPU를 사용할 수 있다. 또한 의료 전문가들은 더 빠르고 정밀한 의료 영상 분석을 수행할 수 있다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   요즘 LLM 모델을 사용하는 방법이 점차 간편해지고 있어 자체적으로 LLM을 구축해 챗봇, 전문가 시스템 등을 자신의 서버에서 제공하는 경우가 많아지고 있다. 이번 호에서는 GPU가 있는 PC에서 직접 실행해 볼 수 있도록, 로컬 호스트 LLM(대규모 언어 모델) 오픈소스 기반의 BIM 전문가 챗봇 서비스를 간단히 개발해 본다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   이번 호에서는 기존의 BIM PDF 파일을 검색해 학습하고, LLM에 RAG(Retrieval-augmented generation) 증강 학습한 후, 이를 간단한 UI로 웹 서비스하는 과정을 간략히 따라해 본다. 이번 호의 내용은 로컬 LLM의 편한 개발을 지원하는 올라마(Ollama), LLM 프롬프트 엔지니어링 프레임워크인 랭체인(LangChain), 텍스트 임베딩 벡터 데이터베이스 크로마(Chroma), 손쉬운 웹 앱 개발 지원 도구인 스트림릿(Streamlit)을 사용한다. 이를 이용해 간단하게 BIM 전문 지식을 PDF로 학습한 챗봇을 개발한다.   그림 1. 로컬 호스트 LLM 챗봇 아키텍처   그림 2. 구현된 BIM 지식 챗봇 서비스   LLM에 관련된 깊은 내용은 다음의 링크를 참고한다. 이 글은 여러 참고 자료를 이용해 작성된 것이다. 상세 내용은 레퍼런스를 참고하기 바란다. Facebook LLAMA-2 paper : https://daddynkidsmakers.blogspot.com/2024/02/llama-2.html Facebook LLAMA-2 installation : https://daddynkidsmakers.blogspot.com/2023/09/llama2.html LLM은 빅테크 업체 간 경쟁이 심한 분야이다. 이와 관련해서 젬마(Gemma), MPT-7B과 같은 LLM 모델이 오픈소스로 공개되고 있어 선택지가 많아지고 있다. 이와 관련해서는 다음을 참고한다.  Google Gemma : https://github.com/google/gemma_pytorch Blooom : https://huggingface.co/bigscience/bloom   설치 설치를 위해서는 엔비디아 드라이버, CUDA, 텐서플로(TensorFlow), 파이토치(PyTorch) 등 기본 딥러닝 개발 환경이 설치되어 있어야 한다.(최소 구동을 위한 GPU RAM은 6GB이다.) TensorFlow 설치 : https://www.tensorflow.org/install/pip?hl=ko#windows-native_1 Start Locally | PyTorch 설치 : https://pytorch.org/get-started/locally/ 설치 순서는 다음과 같다.  1. 기본 패키지를 설치한다. LLM 모델 기반 서비스 개발 지원 라이브러리 랭체인, 웹 앱 UI 개발을 지원하는 스트림릿, 텍스트 임베딩 벡터 데이터베이스 크로마 DB 등을 설치한다. pip install langchain streamlit streamlit_chat pypdf fastembed chardet pip install chromadb==0.4.15   그림 3. 다양한 LLM 모델을 이용한 서비스 개발을 지원하는 랭체인 패키지   그림 4. 간단한 코드로 웹 앱 개발을 지원하는 UI 라이브러리 패키지 streamlit.io   혹은 pip와 유사한 패키지 설치 관리자인 poetry를 설치한 후, 다음 사용 패키지들을 pyproject.toml 이름으로 저장하고 설치한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

  17　THEME. 플랜트·조선 산업 혁신을 위한 디지털화 전략   Part 1. 디지털 기술로 플랜트·조선 산업을 혁신하다 데이터 기반의 업무 혁신, 건설산업의 새로운 시작 클라우드 서비스를 통한 대내외 보안 환경 조성 경쟁력 있는 플랜트를 위한 설비 관리 전략 스마트 디지털 리얼리티와 스마트 야드형 공사 정보 디지털 백본 구축 해양의 미래 : 자율운항 선박의 혁신과 시뮬레이션의 중요성 디지털 전환 여정을 위한 3D CAD 기반 디지털 트윈 구축의 4단계   Part 2. 디지털 트윈의 구축과 활용을 위한 기술 디지털 트윈 가속화를 위한 3D 엔지니어링 데이터 경량 시각화 솔루션 3D 스캔 데이터를 효과적으로 분석하고 활용하는 방법 플랜트 BIM 배관 공사의 필수 아이템 Ez-ISO Strand7 R3 : 범용 유한요소 해석 프로그램   Infoworld   Column 55　책에서 얻은 것 No. 19 / 류용효　커넥팅 80　디지털 지식전문가 조형식의 지식마당 / 조형식　제조업 디지털 전환과 디지털 엔지니어링, 디지털 PLM   Case Study 58　해외 소장 문화재의 ‘디지털 귀향’ 프로젝트　언리얼 엔진과 에픽 에코시스템으로 이뤄낸 문화유산 디지털 경험 62　최신 렌더링 기능의 사용 돕는 URP 3D 샘플　고품질 그래픽스의 효율적인 제작 및 스케일링 방법 제시   Focus 64　지멘스 DISW, “솔리드 엣지로 지능형 제품 설계를 실현한다” 66　모두솔루션, 지스타캐드 시장 확대 및 파트너십 강화 전략 소개 68　슈나이더 일렉트릭, 데이터 플랫폼으로 EV 배터리 시장 공략 70　한국산업지능화협회, “산업 디지털 전환을 주도하기 위해 다방면의 활동 강화” 72　레노버, “클라우드부터 에지까지 폭넓은 AI 포트폴리오 제공” 74　생성형 AI와 협업 툴의 만남, ‘플로우 3.0’ AI Now   New Products 76　이달의 신제품   On Air 78　캐드앤그래픽스 CNG TV 지식방송 지상중계　SIMTOS 2024와 디지털 제조 혁신 트렌드   82　New Books 84　News   Directory 131　국내 주요 CAD/CAM/CAE/PDM 소프트웨어 공급업체 디렉토리   CADPIA   AEC 87　BIM 칼럼니스트 강태욱의 이슈 & 토크 / 강태욱　로컬 호스트 LLM 오픈소스 기반 BIM 전문가 챗봇 서비스 만들어보기 94　데스크톱/모바일/클라우드를 지원하는 아레스 캐드 2024 (12) / 천벼리　아레스 커맨더의 사용자 인터페이스 108　새로워진 캐디안 2024 살펴보기 (4) / 최영석　구성선 및 자유선 기능 128　복잡한 모델에서 인사이트를 얻고 설계 의사결정을 돕는 직스캐드 (1) / 이소연　직스캐드 2024의 최신 기능 업데이트   Reverse Engineering 100　문화유산 분야의 이미지 데이터베이스와 활용 사례 (4) / 유우식　한지 데이터베이스   Mechanical 111　제품 개발 혁신을 가속화하는 크레오 파라메트릭 10.0 (11) / 김주현　매스캐드 프라임 9.0 사용하기 Ⅰ   Analysis 97　시뮤텐스 소프트웨어를 활용한 복합소재 해석 (1) / 씨투이에스코리아　복합소재 공정 전반의 가상 프로세스 체인 118　앤시스 워크벤치를 활용한 해석 성공사례 / 김선명　전기자동차용 헤어핀 모터 코일의 DfAM 및 금속 적층제조 프로세스 124　성공적인 유동 해석을 위한 케이던스의 CFD 기술 (8) / 나인플러스IT　CFD 시스템 설계 및 분석 가속화를 위한 밀레니엄 M1     캐드앤그래픽스 2024년 4월호 목차 from 캐드앤그래픽스  

HPE는 엔비디아 GTC에서 생성형 AI, 딥러닝, 머신러닝 애플리케이션의 운영 고급화를 위한 통합 AI 네이티브 포트폴리오를 새롭게 업데이트했다고 발표했다. 이번에 발표된 업데이트는 ▲HPE와 엔비디아가 공동 엔지니어링한 풀스택 생성형 AI 솔루션 ▲HPE 머신러닝 추론 소프트웨어 프리뷰 버전 ▲엔터프라이즈급 검생증강생성(RAG : Retrieval-augmented generation) 레퍼런스 아키텍처 ▲신규 엔비디아 블랙웰(NVIDIA Blackwell) 플랫폼 기반 제품 개발 지원 등을 포함한다. 대규모 AI 모델의 개발 및 훈련을 위해 사전 구성 및 테스트된 풀스택 솔루션을 원하는 기업을 위해 생성형 AI용 HPE 슈퍼컴퓨팅 솔루션도 출시됐다. 고객들이 생성형 AI 및 딥러닝 프로젝트 개발을 가속할 수 있도록 목적 기반의 턴키 솔루션은 엔비디아 칩으로 구동되며 최대 168개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩(GH Grace Hopper Superchip)이 제공된다. 이 솔루션은 대기업, 연구소 및 정부 기관들이 인공지능 및 머신러닝 소프트웨어 스택을 활용한 모델 개발 과정을 더욱 단순화할 수 있도록 지원한다. 이러한 소프트웨어 스택은 고객들이 대규모 언어 모델(LLM), 추천 시스템, 벡터 데이터 베이스 등 생성형 AI와 딥러닝 프로젝트를 더욱 빠르게 추진할 수 있도록 한다. 설치에서부터 모든 서비스가 제공되는 턴키 솔루션을 이용해 AI 연구 센터와 대기업은 가치 창출까지의 시간을 더욱 단축하고 훈련은 2~3배 더욱 신속히 진행할 수 있다.     HPE의 생성형 AI용 엔터프라이즈 컴퓨팅 솔루션은 유연하고 확장 가능한 사용량 기반 과금 모델을 제공하는 HPE 그린레이크(HPE GreenLake)를 통해 이용할 수 있다. 엔비디아와 공동 엔지니어링하여 사전 구성된 미세 조정(fine-tuning) 및 추론 솔루션은 생성형 AI 애플리케이션을 제작하기 위해 필요한 정확한 컴퓨팅, 스토리지, 소프트웨어, 네트워킹 및 컨설팅 서비스를 제공함으로써 소요 시간과 비용을 절감해 준다. 이러한 AI 네이티브 풀스택 솔루션은 프라이빗 데이터 기반의 파운데이셔널 모델을 제작하기 위해 필요한 속도, 규모, 관리 기능을 제공하고 하이브리드 클라우드 모델 내 생성형 AI 애플리케이션을 배포할 수 있도록 지원한다. HPE와 엔비디아의 고성능 AI 컴퓨팅 클러스터 및 소프트웨어를 기반으로 하는 이 솔루션은 경량 모델 미세조정, RAG, 대규모 추론 등에 이상적이다. 이 솔루션을 실행하는 700억 개의 파라미터를 가진 라마 2(Llama 2) 모델의 미세 조정 시간은 노드 수에 따라 선형적으로 감소하여 16노드 시스템에서는 6분이 소요된다. 이러한 속도와 성능 덕분에 고객은 버추얼 어시스턴트, 지능형 챗봇, 기업용 검색과 같은 AI 애플리케이션으로 비즈니스 생산성을 개선하여 가치 실현을 더욱 빠르게 달성할 수 있다. 또한, 해당 솔루션은 HPE 프로라이언트 DL380a Gen11 서버(HPE ProLiant DL380a Server)를 기반으로 엔비디아 GPU, 엔비디아 스펙트럼-X 이더넷(NVIDIA Spectrum-X Ethernet) 네트워킹 플랫폼, 엔비디아 블루필드-3 DPU(NVIDIA BlueField-3 DPU)으로 사전 구성되어 있다. 이에 더해 HPE의 머신러닝 플랫폼과 애널리틱스 소프트웨어, 생성형 AI 모델 추론용으로 최적화된 엔디비아 NIM 마이크로서비스가 제공되는 엔비디아 AI 엔터프라이즈 5.0 소프트웨어뿐만 아니라 엔비디아 네모 리트리버(NeMo Retriever) 및 기타 데이터 사이언스와 AI 라이브러리를 이용할 수 있다. HPE의 안토니오 네리(Antonio Neri) CEO는 “생성형 AI의 미래를 실현하고 AI 생명주기 전반을 다루기 위한 솔루션은 설계부터 하이브리드로 제작되어야 한다. AI는 하이브리드 클라우드 환경이 필요한 워크로드로, 온프레미스나 코로케이션 시설, 퍼블릭 클라우드에서 AI 모델을 훈련하는 것부터 에지에서의 추론 작업까지 모든 환경에 걸쳐 진행된다”면서, “HPE와 엔비디아는 공동 설계한 AI 소프트웨어 및 하드웨어 솔루션을 지속적으로 선보이며, 고객들이 기획에서부터 제작까지 생성형 AI를 가속해서 개발하고 배포할 수 있도록 도와줄 것”이라고 말했다. 엔비디아의 젠슨 황(Jensen Huang) CEO는 “생성형 AI는 커넥티드 디바이스, 데이터 센터 및 클라우드 내 데이터에서 인사이트를 도출해내며 전 산업의 혁신을 일으킬 수 있다. 엔비디아와 HPE의 협력 확대를 통해 기업들은 데이터를 활용하여 새로운 AI 애플리케이션을 개발 및 배포함으로써 전례 없는 생산성 향상을 경험하고 비즈니스를 새롭게 전환할 수 있을 것”이라고 말했다.

박찬규, 윤가희 지음 /  22,000원 / 위키북스   배워서 바로 쓰는 DeepL, ChatGPT, GPTs, DALL-E 3, GPT-4 Analysis (위키북스 with AI 시리즈_009)   앞으로 5년 안에 모든 것이 바뀔 것이라고 많은 보고서가 예측하고 있다. 일상적인 언어로 하고 싶은 일을 말하기만 하면 되는 세상이 곧 도래할 것 같다. ChatGPT 열풍이 시작된 지 채 1년이 되지 않았지만 벌써 디자이너가 데이터를 분석하고, 개발자가 놀라운 품질의 디자인을 할 수 있는 세상이 되었다. 인공지능이 인간이 하는 일을 완전히 대체하는 세상이 언제 올지는 모른다고 하지만, 인공지능을 잘 사용하는 사람이 사용하지 못하는 사람을 대체하는 세상은 곧 도래할 것 같다.  이 책에서는 실무에서 바로 활용할 수 있는 다양한 생성형 AI 활용 노하우를 알려주고 있다. 이 책에서 다루는 내용은 다음과 같다. - ChatGPT에게 제대로 질문하는 방법 - 정보를 수집하고 정리할 때 ChatGPT 플러그인 활용 - 코딩 잘하는 GPT-4 Analysis를 통해 문제 해결 - DeepL과 Whisper로 언어의 장벽 없이 세상의 모든 정보 습득 - 디자인을 전혀 몰라도 DALL-E를 활용해서 원하는 그림 가능 - 프로그래밍을 할 줄 몰라도 GPTs를 이용해서 회사에 필요한 챗봇 가능    

정보통신정책연구원은 2023 생성형 AI 주요 이슈와 의미를 발표하였다. - ChatGPT 출시 이후, 생성형 AI의 주요 이슈와 그 의미는 다음과 같음 1. ChatGPT 출시(´22.11.30)와 생성형 AI의 부상 · 코딩, 요약, 콘텐츠 생성 등 강력한 텍스트 생성 성능을 보이며 유례없는 이용자 수를 기록, 생성형 AI의 대중화 가능성을 보여줌 2. LLaMA 출시(´23.02.24)와 LLaMA Moment, 오픈 소스로 촉발된 모델 경량화와 시장변화 · Meta의 대형언어모델인 LLaMA의 소스가 대중적으로 오픈되면서 대형언어모델 시장의 진입장벽이 낮아지며 시장에 영향을 미침 3. GPT-4 출시(´23.03.14), 멀티모달(multi-modal) 시대에 대한 기대 · 텍스트 생성을 넘어 이미지 입력·처리·추론이 가능한 대형언어 모델이 출시되면서 멀티 모달 AI의 활용이 점차 가시화되고 있음 4. 구글의 생성형 AI 접목(´23.03.14) 및 MS의 Copilot 출시(´23.03.16), AI를 통한 효율성과 생산성 증대 기대 · 주요 빅테크 기업들이 생성형 AI를 자사 업무 생산성 도구에 접목하면서, AI 기술을 통한 서비스 고도화 및 경쟁을 펼치고 있으며 이는 향후 업무 방식과 경쟁력에 영향을 미칠 것으로 전망 5. ChatGPT-Plugin 출시(´23.03.23), 챗봇에서 플랫폼으로의 진화 · ChatGPT-Plugin를 통한 외부 서비스와 연결로, 최신 정보 접근과 다양한 서비스와 기능을 ChatGPT 내에서 수행할 수 있게 되면서 ChatGPT 중심의 서비스 통합 가능성을 보여주게 됨 6. 자율 AI 에이전트(Autonomous Agent)의 등장과 인공 일반지능(Artificial General Intelligence, AGI)으로의 기대 · 자율적으로 목표를 달성하는 자율 AI 에이전트 프로그램들이 등장하고 주목받으며, 미래로만 여겨지던 인공 일반지능(AGI)의 시대의 도래를 시사함   발행일 : 2023.09.14  

데이터 클라우드 기업 스노우플레이크가 프랑스의 AI 솔루션 제공업체 미스트랄 AI(Mistral AI)와 파트너십을 맺고, 플래그십 대규모 언어 모델(LLM)인 ‘미스트랄 라지(Mistral Large)’를 스노우플레이크 데이터 클라우드 플랫폼에 적용한다고 밝혔다. ‘미스트랄 라지’는 고유한 추론 능력을 갖춘 LLM 모델로 코딩과 수학에 능숙하고 한 번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있다. 프랑스어, 영어, 독일어, 스페인어, 이탈리아어, 5개 언어 처리가 가능한데, 기존 생성형 AI 모델과 ‘대규모 다중 작업 언어 이해 측정(MMLU)’을 비교하는 과정에서 성능을 입증했다. 이와 함께, 미스트랄 AI의 최초 기본 모델인 ‘미스트랄 7B’와 오픈소스 모델 ‘믹스트랄(Mixtral) 8x7B’에 대한 엑세스 제공 및 스노우플레이크 산하 벤처 캐피탈인 스노우플레이크 벤처스(Snowflake Ventures)의 미스트랄 AI에 대한 시리즈 A 투자 등도 이번 파트너십 발표에 포함됐다. ‘미스트랄 7B’는 낮은 지연 시간과 메모리 요구사항에 비해 높은 처리량을 갖춘 것이 특징이고, ‘믹스트랄 8x7B’는 여러 성능 비교에서 챗GPT3.5보다 빠르고 품질이 우수한 것으로 나타났다. 미스트랄 AI의 모델들은 ‘스노우플레이크 코텍스(Snowflake Cortex)’에서 프리뷰 공개 형태로 고객에게 제공된다. 스노우플레이크 코텍스는 스노우플레이크 플랫폼에서 생성형 AI를 활용할 수 있는 완전 관리형 LLM 및 벡터 검색 서비스이다. AI/ML 기술 없이도 쉽고 강화된 보안 환경에서 생성형 AI를 활용할 수 있는 서비스로, 기업 고객은 데이터에 대한 보안, 개인 정보 보호 및 거버넌스는 유지하면서 데이터를 빠른 속도로 분석하고 AI 앱을 구축할 수 있다.     스노우플레이크는 2023년 감정 분석, 번역, 요약과 같은 특수 작업을 위한 LLM을 지원하는 코텍스를 처음 공개했다. 또한, 메타(Meta)의 ‘라마2(Llama 2)’ 모델을 시작으로 검색증강생성(RAG)을 포함한 기본 LLM 지원을 늘리고 있다. 스노우플레이크는 미스트랄 AI와의 파트너십을 통해 생성형 AI에 대한 투자를 이어가면서, 기본형 LLM을 스노우플레이크 코텍스에서 제공해 기업이 다방면 비즈니스에 최첨단 생성형 AI를 도입할 수 있도록 지원하고 있다. 스노우플레이크 코텍스 LLM 기능이 공개 프리뷰되면서, 스노우플레이크 기업 고객은 기업 고유의 데이터를 바탕으로 다양하게 AI를 활용할 수 있게 됐다. SQL 기술을 갖춘 사용자라면 누구나 수 초 내에 감정 분석, 번역, 요약과 같은 특수 작업을 비용 효율적으로 진행할 수 있다. 파이썬 개발자라면 스노우플레이크 코텍스에서 제공하는 미스트랄 AI의 LLM은 물론, 곧 공개될 스노우플레이크 스트림릿(Streamlit)의 대화형 기능을 통해 수 분 내에 챗봇과 같은 풀스택 AI 앱을 개발할 수 있게 된다. 간편해진 경험과 높은 수준의 보안은 역시 곧 공개될 스노우플레이크의 통합 벡터 기능과 벡터 데이터 유형을 통해 RAG에도 동일하게 적용될 예정이다. 스노우플레이크의 슈리다 라마스워미(Sridhar Ramaswamy) CEO는 “스노우플레이크는 미스트랄 AI와의 파트너십을 통해 최정상급 성능의 LLM을 고객에게 직접 제공하고, 사용자는 간편하면서도 혁신적인 AI 앱을 구축할 수 있게 되었다”면서, “스노우플레이크 코텍스를 통해 더 많은 기업이 데이터 클라우드의 보안과 개인 정보 보호는 강화하고 새롭고 경제적인 AI 사용 사례를 만들어 내기를 바란다”고 말했다. 미스트랄 AI의 아르튀르 멘슈(Arthur Mensch) CEO는 “미스트랄 AI는 전세계적으로 기업이 생성형 AI 활용에 더 가까워지도록 고성능, 고효율에 신뢰할 수 있는 AI 모델을 개발하겠다는 스노우플레이크의 목표에 공감한다”면서, “스노우플레이크 데이터 클라우드에서 미스트랄 AI의 모델을 활용함으로써, 고객이 민주화된 AI를 경험하고 더 큰 가치를 창출하는 고도화된 AI 앱을 생성할 수 있기를 기대한다”고 전했다.

엔비디아가 RTX AI PC와 워크스테이션 사용자를 위한 하드웨어, 소프트웨어, 도구, 가속화 등을 계속해서 선보일 예정이라고 밝혔다. 엔비디아는 2018년 RTX 기술과 AI용으로 제작된 소비자 GPU인 지포스 RTX(GeForce RTX)를 출시하면서 AI 컴퓨팅으로의 전환을 가속화했다. 이후 RTX PC와 워크스테이션상의 AI는 1억 명 이상의 사용자와 500개 이상의 AI 애플리케이션을 갖춘 생태계로 성장했다. 생성형 AI는 PC에서 클라우드에 이르기까지 새로운 차원의 기능을 선보이고 있다. 또한 엔비디아는 축적된 AI 경험과 전문성으로 모든 사용자가 다양한 AI 기능을 처리하는 데 필요한 성능을 갖출 수 있도록 지원한다는 계획이다. AI 시스템은 데이터 내부의 경험이나 패턴을 학습한 다음 새로운 입력이나 데이터가 공급되면 스스로 결론을 조정할 수 있다는 장점을 가지고 있다. AI 시스템은 이러한 자가 학습을 통해 이미지 인식, 음성 인식, 언어 번역, 의료 진단, 자동차 내비게이션, 이미지와 영상 품질 향상 등 수백 가지의 다양한 작업을 수행할 수 있다. AI 진화의 다음 단계는 생성형 AI(generative AI)라고 하는 콘텐츠 생성이다. 이를 통해 사용자는 텍스트, 이미지, 사운드, 애니메이션, 3D 모델 또는 기타 유형의 데이터를 포함한 다양한 입력을 기반으로 새로운 콘텐츠를 빠르게 제작하고 반복할 수 있다. 그런 다음 동일하거나 새로운 형식의 콘텐츠를 생성한다.     AI PC는 AI를 더 빠르게 실행할 수 있도록 설계된 전용 하드웨어가 장착된 컴퓨터이다. 점점 더 많은 유형의 AI 애플리케이션이 클라우드가 아닌 디바이스에서 특정 AI 작업을 수행할 수 있는 PC를 필요로 하게 될 것이다. AI PC에서 실행하면 인터넷 연결 없이도 항상 컴퓨팅을 사용할 수 있고 시스템의 짧은 지연 시간으로 응답성도 높아진다. 아울러 사용자가 AI 활용을 위해 민감한 자료를 온라인 데이터베이스에 업로드할 필요가 없어 개인정보 보호가 강화된다는 이점도 있다. 3D 이미지가 로드될 때까지 가만히 앉아 기다리는 대신 AI 디노이저를 통해 이미지가 즉각적으로 업데이트되는 것을 볼 수 있다. RTX GPU에서는 이러한 전문 AI 가속기를 ‘텐서 코어(Tensor Core)’라고 한다. 텐서 코어는 업무와 게임 플레이에 사용되는 까다로운 애플리케이션에서 AI의 성능을 가속화한다. 현 세대의 지포스 RTX GPU는 대략 200 AI TOPS(초당 조 단위 연산)부터 1300 TOPS 이상까지 다양한 성능 옵션을 제공하며, 노트북과 데스크톱에 걸쳐 다양한 옵션을 지원한다. GPU가 없는 현 세대의 AI PC 성능은 10~45TOPS이다. 전문가들은 엔비디아 RTX 6000 에이다 제너레이션(RTX 6000 Ada Generation) GPU를 통해 더욱 높은 AI 성능을 얻을 수 있다. 엔비디아는 고성능의 RTX GPU와 함께 AI 업스케일링부터 개선된 화상 회의, 지능적이고 개인화된 챗봇에 이르기까지 모든 유형의 사용자에게 도움이 되는 도구를 제공한다고 소개했다. RTX 비디오는 AI를 사용해 스트리밍 영상을 업스케일링하고 HDR(하이 다이내믹 레인지)로 표시한다. SDR(표준 다이내믹 레인지)의 저해상도 영상을 최대 4K 고해상도 HDR로 생생하게 재현한다. RTX 사용자는 크롬 또는 엣지 브라우저에서 스트리밍되는 거의 모든 영상에서 한 번의 클릭으로 이 기능을 이용할 수 있다. RTX 사용자를 위한 무료 앱인 엔비디아 브로드캐스트(Broadcast)는 간단한 사용자 인터페이스(UI)를 통해 화상 회의, 라이브 스트리밍 개선 등 다양한 AI 기능을 제공한다. 노이즈와 에코 제거 기능으로 키보드 소리, 진공 청소기 소리, 아이들의 큰 목소리 등 원치 않는 배경 소리를 제거하고, 가상 배경을 사용해 더 나은 엣지 감지로 배경을 대체하거나 흐리게 처리할 수 있다. 챗 위드 RTX(Chat With RTX)는 사용하기 쉽고 무료로 다운로드가 가능한 로컬 맞춤형 AI 챗봇 데모이다. 사용자는 파일을 하나의 폴더에 끌어다 놓고 챗 위드 RTX에서 해당 위치를 가리키기만 하면 PC의 로컬 파일을 지원되는 대규모 언어 모델(LLM)에 쉽게 연결할 수 있다. 이를 활용하면 쿼리를 통해 상황에 맞는 답변을 빠르게 얻을 수 있다.  AI는 크리에이터들의 지루한 작업을 줄이거나 자동화해 순수 창작을 위한 시간을 제공하며 창의적인 잠재력을 실현하도록 돕는다. 이러한 기능은 엔비디아 RTX 또는 지포스 RTX GPU가 탑재된 PC에서 빠르게 혹은 단독으로 실행된다. 어도비 프리미어 프로의 AI 기반 음성 향상 도구는 불필요한 노이즈를 제거하고 대화 품질을 개선한다. 어도비 프리미어 프로(Adobe Premiere Pro)의 음성 향상 도구는 RTX로 가속화된다. 이는 AI를 사용해 불필요한 노이즈를 제거하고 대화 클립의 품질을 개선해 전문적으로 녹음된 것 같은 사운드를 구현한다. 또 다른 프리미어 기능으로는 자동 리프레임이 있다. 자동 리프레임은 GPU 가속화를 통해 영상에서 가장 관련성 높은 요소를 식별하거나 추적해 다양한 화면 비율에 맞게 영상 콘텐츠를 지능적으로 재구성한다. 영상 편집자의 시간을 절약해 주는 또 하나의 AI 기능으로 다빈치 리졸브(DaVinci Resolve)의 매직 마스크(Magic Mask)가 있다. 편집자가 한 장면에서 피사체의 색조와 밝기를 조정하거나 원치 않는 부분을 제거해야 하는 작업에서 매직 마스크를 활용하면 피사체 위에 선을 긋기만 해도 AI가 잠시 동안 처리한 후 선택 영역을 표시한다.  한편, AI는 확장 가능한 환경, 하드웨어와 소프트웨어 최적화, 새로운 API를 통해 개발자가 소프트웨어 애플리케이션을 구축하는 방식을 개선하고 있다. 엔비디아 AI 워크벤치(AI Workbench)는 개발자가 PC급 성능과 메모리 설치 공간을 사용해 사전 훈련된 생성형 AI 모델과 LLM을 빠르게 생성, 테스트, 맞춤화할 수 있도록 지원한다. 이는 RTX PC에서 로컬로 실행하는 것부터 거의 모든 데이터센터, 퍼블릭 클라우드 또는 엔비디아 DGX 클라우드(DGX Cloud)까지 확장할 수 있는 간편한 통합 툴킷이다. 개발자는 PC에서 사용할 AI 모델을 구축한 후 엔비디아 텐서RT를 사용해 모델을 최적화할 수 있다. 텐서RT는 RTX GPU에서 텐서 코어를 최대한 활용할 수 있도록 도와주는 소프트웨어이다. 윈도우용 텐서RT-LLM을 통해 텍스트 기반 애플리케이션에서 텐서RT 가속화를 사용할 수 있다. 이 오픈 소스 라이브러리는 LLM 성능을 향상시키고 구글 젬마 ,메타(Meta) 라마2(Llama 2), 미스트랄(Mistral), 마이크로소프트(Microsoft) Phi-2 등 인기 모델에 대해 사전 최적화된 체크포인트를 포함한다. 또한 개발자는 오픈AI(OpenAI) 채팅 API용 텐서RT-LLM 래퍼에도 액세스할 수 있다. 컨티뉴(continue.dev)는 LLM을 활용하는 비주얼 스튜디오 코드(VS Code)와 제트 브레인(JetBrains)용 오픈 소스 자동 조종 장치이다. 컨티뉴는 단 한 줄의 코드 변경만으로 RTX PC에서 로컬로 텐서RT-LLM을 사용해 로컬에서 빠르게 LLM 추론할 수 있는 도구이다.

  엔비디아가 구글과 협력해 모든 엔비디아 AI 플랫폼에서 AI 모델 ‘젬마(Gemma)’를 위한 최적화를 진행해, 비용을 절감하고 도메인별 용도에 따라 작업 속도를 높였다고 밝혔다. 젬마는 구글의 새로운 경량 오픈 언어 모델로, 20억(2B) 개 파라미터와 70억(7B) 개 파라미터 크기로 제공된다. 젬마는 구글의 멀티모달 모델인 제미나이(Gemini) 개발에 사용된 동일한 연구와 기술을 기반으로 구축됐다. 엔비디아는 구글과 협력해 엔비디아 텐서RT-LLM(TensorRT-LLM)으로 젬마의 성능을 가속화했다. 텐서RT-LLM은 데이터센터, 클라우드 혹은 엔비디아 RTX GPU가 탑재된 PC에서 대규모 언어 모델(LLM) 추론을 최적화하는 오픈 소스 라이브러리이다. 이를 통해 개발자는 전 세계 고성능 AI PC에 탑재된 1억 개 이상의 엔비디아 RTX GPU를 활용할 수 있다. 개발자들은 클라우드 상의 엔비디아 GPU에서도 젬마를 실행할 수 있다. 여기에는 H100 텐서 코어(H100 Tensor Core) GPU를 기반으로 하는 구글 클라우드 A3인스턴스(A3 instances)가 포함되며, 초당 4.8테라바이트의 141GB HBM3e 메모리를 갖춘 엔비디아 H200 텐서 코어 GPU도 합류할 예정이다. 구글은 올해 안에 이를 배포할 예정이라고 전했다. 엔비디아는 네모 프레임워크(NeMo Framework)가 적용된 엔비디아 AI 엔터프라이즈(AI Enterprise)와 텐서RT-LLM을 비롯한 광범위한 도구를 갖추고 있다. 엔터프라이즈 개발자는 이들을 추가로 활용해 젬마를 미세 조정하고 최적화된 모델을 프로덕션 애플리케이션에 배포할 수 있다. 한편, 엔비디아는 자사의 기술 데모인 챗 위드 RTX(Chat with RTX)에 곧 젬마가 추가로 지원될 예정이라고 전했다. 챗 위드 RTX는 검색 증강 생성(Retrieval-augmented generation : RAG)과 텐서RT-LLM 소프트웨어를 사용해 로컬 RTX 기반의 윈도우 PC에서 사용자에게 생성형 AI 기능을 제공하는 기술이다. 사용자는 챗 위드 RTX를 통해 PC의 로컬 파일을 LLM에 쉽게 연결하고, 자신의 데이터로 챗봇을 개인화할 수 있다. 챗 위드 RTX는 로컬에서 모델이 실행되므로 결과가 빠르게 제공되며 사용자 데이터가 디바이스에 유지된다. 클라우드 기반 LLM 서비스에 대신 챗 위드 RTX를 사용하면 민감한 데이터를 제3자와 공유하거나 인터넷에 연결할 필요 없이 로컬 PC에서 처리할 수 있다.

마이크로소프트는 2024년에도 인공지능(AI)이 사람들의 일상과 업무 방식을 크게 변화시킬 것으로 전망했다. 나아가 인공지능 기술 통합과 발전으로 가장 어려운 문제 해결을 돕는 기술에 보다 쉽게 접근할 수 있으며, 인류의 삶을 더 풍요롭게 만들어 줄 것으로 기대하고 있다.   생성형 AI는 지난 한 해 동안 놀라운 발전을 이루며 인류의 일상 속에 자리잡았다. 특히 챗GPT, 마이크로소프트 코파일럿(Microsoft Copilot)과 같은 도구를 통해 연구실에서부터 일상생활에 이르기까지 수많은 사람들이 인공지능을 활용하며 가능성을 확인했다. 마이크로소프트는 2024년 주목해야 할 주요 인공지능 트렌드로 ▲인공지능 연구와 혁신을 촉진하는 소형 언어 모델 ▲인간의 인지 능력을 활용하는 멀티모달 AI ▲과학 분야의 새로운 가능성을 여는 인공지능 등 세 가지를 꼽았다.     마이크로소프트는 소형 언어 모델(SLM)이 인공지능 분야에서 더욱 중요한 역할을 하게 될 것으로 예상했다. 수십억 개의 파라미터(언어 모델이 문장을 생성하거나 해석할 때 사용되는 변수)로 이뤄진 소형 언어 모델은 학습에 필요한 시간과 자원을 적게 소모해 모바일 기기에서도 쉽게 실행할 수 있고, 인터넷이 지원되지 않는 오프라인 상태에서도 언제 어디서나 사용할 수 있다는 장점이 있다. 또한 선별된 고품질 학습 데이터를 사용해 보다 정확한 결과를 얻을 수 있다. 마이크로소프트 연구진은 특정 분야에서 대형 언어 모델(LLM)과 동등하거나 더 나은 성능을 보이는 두개의 소형 언어 모델인 파이(Phi)와 오르카(Orca)를 개발해 성능에 대한 새로운 기준점을 찾기 위해 노력하고 있다. 특히 2024년에는 개선된 모델을 출시해 더 많은 연구와 혁신 촉진에 기여할 것으로 기대하고 있다. 이와 함께 멀티모달 AI(Multi-Modal AI)가 인간의 인지 능력과 더욱 유사하게 발전할 것으로 보인다. 이 기술은 텍스트·이미지·오디오·비디오 등 다양한 형태의 데이터를 동시에 처리해 검색 도구부터 크리에이티브 앱까지 다양한 기술의 성능을 향상시킨다. 마이크로소프트의 코파일럿은 멀티모달 AI 기술을 활용해 이미지, 자연어, 빙(Bing) 검색 데이터를 처리한다. 이를 통해 사용자는 본인이 업로드한 이미지에 담긴 역사적 배경과 같은 관련 정보를 파악할 수 있다. 멀티모달 AI 기술은 마이크로소프트 디자이너(Microsoft Designer) 그래픽 디자인 앱에도 적용된다. 이 앱은 사용자가 원하는 이미지에 대한 설명을 기반으로 이미지를 생성할 수 있으며, 사용자 지정 신경망 음성(Custom Neural Voice) 기능을 통해 텍스트 리더기 및 청각 장애인용 도구에 사용 가능한 자연스러운 음성을 지원한다. 마지막으로 마이크로스프트는 인공지능 기술이 국제적 문제인 기후 변화, 에너지 위기, 질병 등 과학 분야에서도 혁신적인 해결책을 제시할 수 있을 것으로 내다봤다. 마이크로소프트는 인공지능을 활용해 기후 변화 완화와 농부의 효율적인 작업을 목표로 향상된 일기예보 시스템과 탄소 측정기를 개발하는 등 지속가능한 농업을 위한 도구를 구축하고 있다. 또한 잡초의 정보를 파악하고 트랙터의 상태를 체크할 수 있는 등 농부들이 현장에서 사용 가능한 인공지능 챗봇도 개발하고 있다. 생명과학 분야에서는 연구원들이 암 퇴치를 위한 세계 최대 규모 이미지 기반 인공지능 모델과 공동 연구를 진행 중이며, 감염병 신약과 혁신 의약품을 위한 새로운 분자를 찾기 위해 첨단 인공지능을 활용하고 있다. 이를 통해 수년 이상 소요되는 검증 과정을 수 주 또는 수 개월로 단축 가능하다. 재료과학 분야에서도 마이크로소프트는 스위스의 제약회사인 노바티스(Novartis)와 함께 인공지능과 고성능 컴퓨팅 기술을 활용해 저독성 배터리 소재 발견을 위한 검색 가속화에 성공했다.