매스웍스는 의료 기기 구축을 위한 엔비디아의 실시간 AI 컴퓨팅 소프트웨어 플랫폼인 엔비디아 홀로스캔(NVIDIA Holoscan)에서 매트랩(MATLAB)을 사용할 수 있는 통합 기능을 발표했다. 의료기기 엔지니어는 실시간 데이터 처리와 추론을 위해 기존의 매트랩 알고리즘과 함수를 GPU 가속 엔비디아 홀로스캔 오퍼레이터(Holoscan Operator)로 래핑하여, 스트리밍 데이터를 분석하고 시각화 애플리케이션의 개발 및 배포를 가속화할 수 있다. 의료기기 엔지니어는 최첨단 소재와 전자기기 활용 기술의 속도감 있는 혁신과 더불어 복잡하게 변화하는 국제 규제를 준수해야 한다. 이로 인해 많은 기기가 시장에 출시된 지 얼마 지나지 않아 구형이 되었고, ‘소프트웨어 의료기기(SaMD)’의 등장을 촉진시켰다. 소프트웨어 의료 기기는 하드웨어에 종속되지 않고 의료 기기의 사용 목적에 부합하는 기능을 가지며 독립적인 형태의 소프트웨어만으로 이뤄진 의료 기기를 말한다. 엔지니어는 소프트웨어 의료기기가 시장에서 지속적인 경쟁력을 유지할 수 있도록 소프트웨어 정의 워크플로를 개발하여 초기 배포 이후의 추가 소프트웨어 기능을 통합할 수 있게 해야 한다. 엔비디아 홀로스캔은 센서 처리 플랫폼으로, 실시간 인사이트를 제공하는 AI 및 고성능 컴퓨팅 애플리케이션의 개발 및 배포를 간소화한다. 또한 에지에서 스트리밍 데이터의 확장 가능한 소프트웨어 정의 처리에 필요한 풀 스택 인프라를 제공해 최신 AI 애플리케이션을 임상 환경에 도입할 수 있도록 지원한다. 의료기기 엔지니어는 홀로스캔과 매트랩의 통합 기능을 통해 영상 및 신호 처리, 필터링, 변환, 딥러닝 알고리즘과 관련된 기존의 내장된 행렬 연산과 복잡한 툴박스 함수를 사용할 수 있다. 매트랩으로 홀로스캔 파이프라인을 구현하려면 매트랩 함수 생성, GPU 코더(GPU Coder)를 통한 가속화된 CUDA 코드 생성, 홀로스캔 오퍼레이터 래퍼 생성 및 새로운 매트랩 오퍼레이터(MATLAB Operator)를 사용한 홀로스캔 애플리케이션 재구축의 4 단계를 거쳐야 한다. 이러한 과정으로 구축된 소프트웨어 정의 워크플로는 매트랩과 홀로스캔의 추가적인 통합 검증 및 확인 기능을 통해 IEC 62304 등의 산업 규정 및 표준을 준수하도록 할 수 있다.     엔비디아의 데이비드 뉴올니(David Niewolny) 의료 기술 부문 사업 개발 책임자는 “의료 기술 산업은 인공지능에 의해 혁신을 거듭하고 있다”며, “엔비디아와 매스웍스는 의료 등급의 엔비디아 홀로스캔 플랫폼 내에서 성장 중인 매트랩 개발 커뮤니티에 호환성 높은 개발 환경을 제공함으로써 의료 기술 분야의 AI 기반 혁신을 가속화하고 있다”고 말했다. 매스웍스의 데이비드 리치(David Rich) 제품 마케팅 부서장은 “이제 엔지니어들은 엔비디아 홀로스캔을 통해 매트랩 함수를 작성하고 수천 배 더 빨리 실행할 수 있다”며, “수백만 명의 고객이 산업 규정과 표준을 준수하는 제품을 설계, 개발 및 테스트하고자 하는 가운데, 업계 리더인 엔비디아와의 협업으로 의료 기기 혁신을 주도할 수 있게 됐다”고 말했다.

엔비디아가 복잡한 자율 로봇 조작 분야를 발전시키기 위해 알파벳(Alphabet)의 소프트웨어와 AI 로보틱스 회사인 인트린직(Intrinsic)과 협력해 엔비디아 AI와 아이작(Isaac) 플랫폼 기술을 통합했다고 소개했다. 미국 시카고에서 열리는 오토메이트(Automate) 전시회에서 인트린직은 로봇 파지(grasp) 기술의 발전 내용을 소개한다. 또한 엔비디아 아이작 매니퓰레이터(Isaac Manipulator)로 구현된 파운데이션 모델로 산업 확장성을 지원해, AI를 통한 산업 자동화의 새로운 가치를 선보일 예정이다. 엔비디아는 지난 3월 GTC에서 파운데이션 모델과 모듈식 GPU 가속 라이브러리의 모음인 아이작 매니퓰레이터를 공개했다. 아이작 매니퓰레이터는 산업 자동화 기업의 AI 모델 훈련과 작업 재프로그래밍을 가속화해, 동적 조작 작업을 위한 확장과 반복이 가능한 워크플로를 구축할 수 있도록 지원한다. 파운데이션 모델은 신경망이 데이터의 관계를 추적해 학습하게 하는 트랜스포머 딥러닝 아키텍처를 기반으로 한다. 일반적으로 방대한 데이터 세트에 기반해 학습되며, 텍스트용 챗GPT(ChatGPT)처럼 센서와 로봇 정보를 처리하고 이해하는 데에 사용할 수 있다. 이를 통해 이전과는 전혀 다른 로봇의 인식과 의사 결정이 가능해지며, 사전 예제 없이도 작업을 수행할 수 있는 제로샷 러닝(zero-shot learning)을 제공한다.      파지 기술은 로봇 공학에서 오랫동안 추구된 기술로, 지금까지는 프로그래밍하는데 드는 많은 시간과 비용의 문제로 인해 확장하기가 어려웠다. 그 결과 지금까지 로봇은 반복적인 픽앤플레이스(pick-and-place) 조건을 원활하게 처리하는데 어려움이 있었다. 이런 문제는 시뮬레이션을 활용함으로써 개선할 수 있을 전망이다. 인트린직은 엔비디아 아이작 심(Isaac Sim)과 함께 엔비디아 옴니버스(Omniverse) 플랫폼에 합류했다. 이들은 판금과 흡입 그리퍼의 컴퓨터 지원 설계 모델을 사용해 진공 그립을 위한 합성 데이터를 생성했다. 이를 통해 인트린직은 산업용 공작 기계의 선두 제조업체인 트럼프 머신 툴스(Trumpf Machine Tools)의 고객사를 위해 프로토타입을 제작할 수 있었다. 이 프로토타입은 AI 기반 로봇 솔루션용 개발자 환경인 인트린직 플로우스테이트(Flowstate)를 사용해 프로세스, 관련 인식 그리고 모션 계획을 시각화한다. 아이작 매니퓰레이터가 포함된 워크플로를 통해 파지 자세와 쿠다(CUDA) 가속 로봇 모션을 구현할 수 있다. 또한 인트린직 플랫폼으로 실제 환경에 배포하기 전에 이를 먼저 아이작 심을 사용한 시뮬레이션으로 평가해 비용을 절감할 수 있다. 이번 협력을 통해 엔비디아와 인트린직은 로봇 팔을 위한 최첨단의 조작 민첩성과 모듈식 AI 기능을 제공할 계획이다. 이는 강력한 파운데이션 모델 모음과 GPU 가속 라이브러리를 통해 보다 많은 새로운 로봇 공학과 자동화 작업 가속화를 가능하게 한다. 엔비디아는 인트린직과 협업을 통해 그리퍼(gripper), 환경 그리고 물체 전반에 걸쳐 보편적으로 적용할 수 있는 로봇 파지 기술의 잠재력을 소개한다는 비전을 내세운다. 인트린직의 웬디 탠 화이트(Wendy Tan White) CEO는 “광범위한 업계에서 엔비디아와의 협력은 파운데이션 모델이 얼마나 큰 영향을 미칠 수 있는지 보여준다. 여기에는 오늘날의 처리 과제를 대규모로 관리하기 쉽게 만들고, 이전에는 실현 불가능했던 애플리케이션을 만들고, 개발 비용을 절감하고, 최종 사용자를 위한 유연성을 높이는 것이 포함된다"고 말했다. 

개발 및 공급 : 엔비디아 주요 특징 : AI 처리를 위한 3세대 텐서 코어 및 레이 트레이싱을 위한 2세대 RT 코어 탑재, 암페어 아키텍처 기반의 CUDA 코어 탑재해 그래픽/컴퓨팅 처리속도 향상, 전문가 작업의 데이터를 처리속도 향상 위한 메모리 대역폭 증가, 효율적인 비디오 처리를 위한 인코딩/디코딩 엔진 탑재 등   엔비디아가 새로운 엔비디아 RTX A400과 RTX A1000 GPU를 통해 RTX 전문가용 그래픽 제품을 확장하고, 디자인을 비롯한 AI 기반 생산성 워크플로를 강화한다고 밝혔다. 디자인과 생산성 애플리케이션 전반에 걸친 AI 통합이 새로운 기준으로 자리잡으면서 고급 컴퓨팅 성능에 대한 수요가 증가하고 있다. 즉, 전문가와 크리에이터들은 프로젝트의 규모와 복잡성 또는 범위에 관계없이 향상된 컴퓨팅 성능을 활용해야 한다. 엔비디아 암페어(Ampere) 아키텍처 기반의 RTX A400과 RTX A1000 GPU는 이렇게 증가하는 수요를 충족하기 위해 개발됐으며, AI와 레이 트레이싱 기술에 대한 접근성을 확대해 전문가들이 일상적인 워크플로를 혁신하는데 필요한 도구를 제공한다.   ▲ 엔비디아 RTX A400   향상된 성능으로 창의성 및 효율 향상 지원 RTX A400 GPU는 RTX 400 시리즈 GPU에 가속화된 레이 트레이싱과 AI를 도입했다. 이 GPU는 AI 처리를 위한 24개의 텐서 코어(Tensor Cores)를 탑재해 기존 CPU 기반 솔루션을 넘는 성능을 제공한다. 이를 통해 전문가들은 지능형 챗봇, 코파일럿과 같은 최첨단 AI 애플리케이션을 데스크톱에서 직접 실행할 수 있다. 또한 GPU는 실시간 레이 트레이싱을 제공하므로 크리에이터는 생생하고 물리적 정확도가 높은 3D 렌더링을 제작할 수 있다. A400은 시리즈 최초로 4개의 디스플레이 출력을 지원해 금융 서비스, 명령과 제어, 유통, 운송과 같은 산업에 필수적인 고밀도 디스플레이 환경에 적합하다. 엔비디아 RTX A1000 GPU는 RTX 1000 시리즈 GPU에 처음으로 텐서 코어와 RT 코어를 도입했다. 이를 통해 전문가와 크리에이터를 위한 가속화된 AI와 레이 트레이싱 성능을 제공한다. A1000은 72개의 텐서 코어를 탑재해 이전 세대에 비해 업그레이드된 성능을 갖췄다. 스테이블 디퓨전(Stable Diffusion)과 같은 도구에서 3배 이상 빠른 생성형 AI 프로세싱을 제공하며, 18개의 RT 코어는 그래픽과 렌더링 작업 속도를 최대 3배까지 높여 2D와 3D CAD, 제품과 건축 설계, 4K 비디오 편집과 같은 전문적인 워크플로를 가속화한다. 더불어 A1000은 이전 세대보다 최대 38% 더 많은 인코딩 스트림을 처리하고 2배 더 빠른 디코딩 성능을 제공하는 등 비디오 처리 능력을 높였다.   ▲ 엔비디아 RTX A1000   차세대 기능을 통한 성능 강화 A400과 A1000 GPU는 싱글 슬롯 디자인에 전력소비량이 50W이며, 콤팩트하고 에너지 효율적인 워크스테이션을 위해 향상된 기능을 제공한다.  2세대 RT 코어 : 건축 도면, 3D 디자인, 콘텐츠 제작 등 모든 전문 워크플로를 위한 실시간 레이 트레이싱, 사실적인 물리 기반 렌더링과 시각화, 정확한 조명과 그림자 시뮬레이션으로 작업 품질을 높일 수 있다. 3세대 텐서 코어 : 생성형 AI, 이미지 렌더링 노이즈 제거, 딥러닝 슈퍼 샘플링과 같은 AI 증강 도구와 애플리케이션을 가속화해 이미지 생성 속도와 품질을 개선한다.  암페어 아키텍처 기반 쿠다 코어 : 암페어 아키텍처 기반의 쿠다(CUDA) 코어는 이전 세대 대비 최대 2배의 단정밀도 부동 소수점 처리량으로 그래픽과 컴퓨팅 워크로드의 속도를 크게 높인다. 4GB/8GB 메모리 : A400 GPU의 4GB와 A1000 GPU의 8GB GPU 메모리는 다양한 전문가용 요구 사항을 충족한다. 여기에는 기본적인 그래픽 디자인과 사진 편집부터 텍스처나 고해상도 편집, 데이터 분석이 필요한 까다로운 3D 모델링 등이 포함된다. 또한 이 GPU들은 이전 세대보다 메모리 대역폭이 증가해 데이터를 더 빠르게 처리하고 대용량 데이터 세트와 장면을 더 원활하게 처리할 수 있다. 인코딩/디코딩 엔진 : 7세대 인코드(NVENC)와 5세대 디코드(NVDEC) 엔진을 탑재한 새 GPU는 효율적인 비디오 처리를 기능을 제공한다. 이를 통해 초저지연으로 고해상도 비디오 편집, 스트리밍, 재생을 지원한다. 또한 AV1 디코드가 포함돼 더 많은 비디오 포맷을 더 효율적이고 원활하게 재생할 수 있다.   RTX 솔루션의 활용 범위 확대 엔비디아는 새로운 GPU가 최첨단 AI, 그래픽, 컴퓨팅 기능 등을 통해 사용자의 생산성을 높이고 창의적인 가능성을 열어준다고 전했다. 레이 트레이싱 렌더링과 AI가 포함된 고급 워크플로를 통해 전문가들은 작업의 한계를 뛰어넘고 놀라운 수준의 사실감을 구현할 수 있다. 기획 담당자들은 강력하고 에너지 효율적인 새로운 컴퓨팅 솔루션을 에지 배포에 사용할 수 있다. 크리에이터는 편집과 렌더링 속도를 높여 더욱 풍부한 시각적 콘텐츠를 제작할 수 있다. 건축가와 엔지니어는 아이디어를 3D CAD 개념에서 실제 디자인으로 원활하게 전환할 수 있다. 스마트 공간에서 작업하는 경우에는 공간 제약이 있는 환경에서 실시간 데이터 처리, AI 기반 보안, 디지털 사이니지 관리 등에 GPU를 사용할 수 있다. 또한 의료 전문가들은 더 빠르고 정밀한 의료 영상 분석을 수행할 수 있다.     ■ 기사 내용은 PDF로도 제공됩니다.

엔비디아가 새로운 엔비디아 RTX A400과 RTX A1000 GPU를 통해 RTX 전문가용 그래픽 제품을 확장하고, 디자인을 비롯한 AI 기반 생산성 워크플로를 강화한다고 밝혔다. 디자인과 생산성 애플리케이션 전반에 걸친 AI 통합이 새로운 기준으로 자리잡으면서 고급 컴퓨팅 성능에 대한 수요가 증가하고 있다. 즉, 전문가와 크리에이터들은 프로젝트의 규모와 복잡성 또는 범위에 관계없이 향상된 컴퓨팅 성능을 활용해야 한다. 엔비디아 암페어(Ampere) 아키텍처 기반의 RTX A400과 RTX A1000 GPU는 이렇게 증가하는 수요를 충족하기 위해 개발됐으며, AI와 레이 트레이싱 기술에 대한 접근성을 확대해 전문가들이 일상적인 워크플로를 혁신하는데 필요한 도구를 제공한다.   ▲ 엔비디아 RTX A400   RTX A400 GPU는 RTX 400 시리즈 GPU에 가속화된 레이 트레이싱과 AI를 도입했다. 이 GPU는 AI 처리를 위한 24개의 텐서 코어(Tensor Cores)를 탑재해 기존 CPU 기반 솔루션을 넘는 성능을 제공한다. 이를 통해 전문가들은 지능형 챗봇, 코파일럿과 같은 최첨단 AI 애플리케이션을 데스크톱에서 직접 실행할 수 있다. 또한 GPU는 실시간 레이 트레이싱을 제공하므로 크리에이터는 생생하고 물리적 정확도가 높은 3D 렌더링을 제작할 수 있다. A400은 시리즈 최초로 4개의 디스플레이 출력을 지원해 금융 서비스, 명령과 제어, 유통, 운송과 같은 산업에 필수적인 고밀도 디스플레이 환경에 적합하다.   ▲ 엔비디아 RTX A1000   엔비디아 RTX A1000 GPU는 RTX 1000 시리즈 GPU에 처음으로 텐서 코어와 RT 코어를 도입했다. 이를 통해 전문가와 크리에이터를 위한 가속화된 AI와 레이 트레이싱 성능을 제공한다. A1000은 72개의 텐서 코어를 탑재해 이전 세대에 비해 업그레이드된 성능을 갖췄다. 스테이블 디퓨전(Stable Diffusion)과 같은 도구에서 3배 이상 빠른 생성형 AI 프로세싱을 제공하며, 18개의 RT 코어는 그래픽과 렌더링 작업 속도를 최대 3배까지 높여 2D와 3D CAD, 제품과 건축 설계, 4K 비디오 편집과 같은 전문적인 워크플로를 가속화한다. 더불어 A1000은 이전 세대보다 최대 38% 더 많은 인코딩 스트림을 처리하고 2배 더 빠른 디코딩 성능을 제공하는 등 비디오 처리 능력을 높였다. 엔비디아 RTX A400과 A1000 GPU에 탑재된 2세대 RT 코어는 건축 도면, 3D 디자인, 콘텐츠 제작 등 모든 전문 워크플로를 위한 실시간 레이 트레이싱, 사실적인 물리 기반 렌더링과 시각화, 정확한 조명과 그림자 시뮬레이션으로 작업 품질을 높일 수 있다. 3세대 텐서 코어는 생성형 AI, 이미지 렌더링 노이즈 제거, 딥러닝 슈퍼 샘플링과 같은 AI 증강 도구와 애플리케이션을 가속화해 이미지 생성 속도와 품질을 개선한다. 암페어 아키텍처 기반의 쿠다(CUDA) 코어는 이전 세대 대비 최대 2배의 단정밀도 부동 소수점 처리량으로 그래픽과 컴퓨팅 워크로드의 속도를 크게 높인다. A400 GPU의 4GB와 A1000 GPU의 8GB GPU 메모리는 다양한 전문가용 요구 사항을 충족한다. 여기에는 기본적인 그래픽 디자인과 사진 편집부터 텍스처나 고해상도 편집, 데이터 분석이 필요한 까다로운 3D 모델링 등이 포함된다. 또한 이 GPU들은 이전 세대보다 메모리 대역폭이 증가해 데이터를 더 빠르게 처리하고 대용량 데이터 세트와 장면을 더 원활하게 처리할 수 있다. 7세대 인코드(NVENC)와 5세대 디코드(NVDEC) 엔진을 탑재한 새 GPU는 효율적인 비디오 처리를 기능을 제공한다. 이를 통해 초저지연으로 고해상도 비디오 편집, 스트리밍, 재생을 지원한다. 또한 AV1 디코드가 포함돼 더 많은 비디오 포맷을 더 효율적이고 원활하게 재생할 수 있다. A400과 A1000 GPU는 싱글 슬롯 디자인에 전력소비량이 50W에 불과하며, 콤팩트하고 에너지 효율적인 워크스테이션에 인상적인 기능을 제공한다.  엔비디아는 새로운 GPU가 최첨단 AI, 그래픽, 컴퓨팅 기능 등을 통해 사용자의 생산성을 높이고 창의적인 가능성을 열어준다고 전했다. 레이 트레이싱 렌더링과 AI가 포함된 고급 워크플로를 통해 전문가들은 작업의 한계를 뛰어넘고 놀라운 수준의 사실감을 구현할 수 있다. 기획 담당자들은 강력하고 에너지 효율적인 새로운 컴퓨팅 솔루션을 에지 배포에 사용할 수 있다. 크리에이터는 편집과 렌더링 속도를 높여 더욱 풍부한 시각적 콘텐츠를 제작할 수 있다. 건축가와 엔지니어는 아이디어를 3D CAD 개념에서 실제 디자인으로 원활하게 전환할 수 있다. 스마트 공간에서 작업하는 경우에는 공간 제약이 있는 환경에서 실시간 데이터 처리, AI 기반 보안, 디지털 사이니지 관리 등에 GPU를 사용할 수 있다. 또한 의료 전문가들은 더 빠르고 정밀한 의료 영상 분석을 수행할 수 있다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   요즘 LLM 모델을 사용하는 방법이 점차 간편해지고 있어 자체적으로 LLM을 구축해 챗봇, 전문가 시스템 등을 자신의 서버에서 제공하는 경우가 많아지고 있다. 이번 호에서는 GPU가 있는 PC에서 직접 실행해 볼 수 있도록, 로컬 호스트 LLM(대규모 언어 모델) 오픈소스 기반의 BIM 전문가 챗봇 서비스를 간단히 개발해 본다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   이번 호에서는 기존의 BIM PDF 파일을 검색해 학습하고, LLM에 RAG(Retrieval-augmented generation) 증강 학습한 후, 이를 간단한 UI로 웹 서비스하는 과정을 간략히 따라해 본다. 이번 호의 내용은 로컬 LLM의 편한 개발을 지원하는 올라마(Ollama), LLM 프롬프트 엔지니어링 프레임워크인 랭체인(LangChain), 텍스트 임베딩 벡터 데이터베이스 크로마(Chroma), 손쉬운 웹 앱 개발 지원 도구인 스트림릿(Streamlit)을 사용한다. 이를 이용해 간단하게 BIM 전문 지식을 PDF로 학습한 챗봇을 개발한다.   그림 1. 로컬 호스트 LLM 챗봇 아키텍처   그림 2. 구현된 BIM 지식 챗봇 서비스   LLM에 관련된 깊은 내용은 다음의 링크를 참고한다. 이 글은 여러 참고 자료를 이용해 작성된 것이다. 상세 내용은 레퍼런스를 참고하기 바란다. Facebook LLAMA-2 paper : https://daddynkidsmakers.blogspot.com/2024/02/llama-2.html Facebook LLAMA-2 installation : https://daddynkidsmakers.blogspot.com/2023/09/llama2.html LLM은 빅테크 업체 간 경쟁이 심한 분야이다. 이와 관련해서 젬마(Gemma), MPT-7B과 같은 LLM 모델이 오픈소스로 공개되고 있어 선택지가 많아지고 있다. 이와 관련해서는 다음을 참고한다.  Google Gemma : https://github.com/google/gemma_pytorch Blooom : https://huggingface.co/bigscience/bloom   설치 설치를 위해서는 엔비디아 드라이버, CUDA, 텐서플로(TensorFlow), 파이토치(PyTorch) 등 기본 딥러닝 개발 환경이 설치되어 있어야 한다.(최소 구동을 위한 GPU RAM은 6GB이다.) TensorFlow 설치 : https://www.tensorflow.org/install/pip?hl=ko#windows-native_1 Start Locally | PyTorch 설치 : https://pytorch.org/get-started/locally/ 설치 순서는 다음과 같다.  1. 기본 패키지를 설치한다. LLM 모델 기반 서비스 개발 지원 라이브러리 랭체인, 웹 앱 UI 개발을 지원하는 스트림릿, 텍스트 임베딩 벡터 데이터베이스 크로마 DB 등을 설치한다. pip install langchain streamlit streamlit_chat pypdf fastembed chardet pip install chromadb==0.4.15   그림 3. 다양한 LLM 모델을 이용한 서비스 개발을 지원하는 랭체인 패키지   그림 4. 간단한 코드로 웹 앱 개발을 지원하는 UI 라이브러리 패키지 streamlit.io   혹은 pip와 유사한 패키지 설치 관리자인 poetry를 설치한 후, 다음 사용 패키지들을 pyproject.toml 이름으로 저장하고 설치한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

엔비디아가 새로운 RTX 500과 RTX 1000 에이다 제너레이션(Ada Generation) 노트북 GPU가 모바일 워크스테이션에 제공될 예정이라고 밝혔다. 이로써 엔비디아는 RTX 2000, 3000, 3500, 4000, 5000 에이다 제너레이션 노트북 GPU를 포함한 엔비디아 에이다 러브레이스(Lovelace) 아키텍처 기반 라인업을 확장하게 됐다. 생성형 AI와 하이브리드 업무 환경이 새로운 표준이 되고 있다. 이에 따라 콘텐츠 제작자, 연구원, 엔지니어 등 많은 전문가들이 이동 중에도 어려운 작업을 처리할 수 있도록 강력한 AI(인공지능) 가속 노트북이 요구되고 있다. AI는 전문적인 디자인, 콘텐츠 제작 워크플로, 일상적인 생산성 애플리케이션 전반에서 효율성을 높이기 위해 도입되고 있으며, 이에 따라 강력한 로컬 AI 가속과 충분한 처리 능력을 갖춘 시스템의 중요성이 더욱 강조되고 있다.     RTX 500과 RTX 1000 GPU를 비롯한 에이다 제너레이션 GPU가 탑재된 차세대 모바일 워크스테이션에는 CPU의 구성 요소인 신경망처리장치(NPU)가 포함된다. 또한 AI 처리용 텐서 코어(Tensor Core)가 탑재된 엔비디아 RTX GPU도 장착된다. NPU는 간단한 AI 작업을 처리하는 데 도움을 주며, GPU는 더 고난도의 일상적인 AI 워크플로를 위해 최대 682 TOPS의 AI 성능을 추가로 제공한다. GPU가 제공하는 높은 수준의 AI 가속은 다양한 AI 기반 작업을 처리하는 데 유용하다. 예를 들어, 고품질 AI 효과를 지원하는 화상 회의, AI 업스케일링이 적용된 비디오 스트리밍, 생성형 AI와 콘텐츠 제작 애플리케이션을 통한 신속한 업무 처리 등이 있다. 엔비디아는 “새로운 RTX 500 GPU는 CPU만 사용하는 구성에 비해 스테이블 디퓨전(Stable Diffusion)과 같은 모델에서 최대 14배의 AI 생성 성능, 최대 3배의 AI 사진 편집 속도, 최대 10배의 3D 렌더링 그래픽 성능을 제공한다. 이는 기존과 새로운 워크플로에서 생산성을 크게 높일 수 있다”고 전했다. RTX 500과 RTX 1000 GPU는 콤팩트한 디자인으로 어디서든 노트북 사용자의 AI 워크플로를 향상시킨다. 비디오 편집자는 AI로 배경 노이즈 제거와 같은 작업을 간소화할 수 있다. 그래픽 디자이너는 AI 업스케일링으로 흐릿한 이미지에 생동감을 불어넣을 수 있다. 전문가들은 이동 중에도 고품질의 화상 회의와 스트리밍 환경을 위해 AI를 활용한 작업이 가능하다. 엔비디아의 에이다 러브레이스 아키텍처를 기반으로 하는 RTX 500과 RTX 1000 GPU에 탑재된 3세대 RT 코어는 이전 세대 대비 최대 2배 향상된 레이 트레이싱(ray tracing) 성능으로 고품질의 사실적인 렌더링을 지원한다. 4세대 텐서 코어를 탑재해 이전 세대 대비 최대 2배의 처리량으로 딥러닝 훈련, 추론, AI 기반 크리에이티브 워크로드 등을 가속화하며, 에이다 제너레이션 쿠다(CUDA) 코어는 이전 세대 대비 최대 30% 향상된 FP32 처리량으로 그래픽과 컴퓨팅 워크로드 성능을 높인다. RTX 500 GPU에는 4GB, RTX 1000 GPU에는 6GB의 전용 GPU 메모리가 탑재됐다. 이를 통해 사용자는 까다로운 3D와 AI 기반 애플리케이션을 실행하며 대규모 프로젝트, 데이터 세트 그리고 멀티 앱 워크플로를 처리할 수 있다. 이외에도 RTX 500 및 RTX 1000 GPU는 AI 기반으로 그래픽을 개선하고 고품질 프레임을 추가로 생성해 성능을 높이는 DLSS 3 및 AV1을 지원해 H.264보다 최대 40% 더 효율적인 8세대 엔비디아 인코더(NVENC) 등을 지원한다.

엔비디아가 차세대 AI 가속화 시대를 위한 엔비디아 RTX 2000 에이다 제너레이션 GPU(NVIDIA RTX 2000 Ada Generation GPU)를 출시했다고 밝혔다. 현재 산업 전반에 걸쳐 변화를 주도하고 있는 생성형 AI의 이점을 활용하기 위해 기업들은 워크플로를 작동시킬 수 있는 적절한 하드웨어를 선택해야 한다. 엔비디아 RTX 2000 에이다 제너레이션은 최신 AI, 그래픽, 컴퓨팅 기술을 컴팩트 워크스테이션에 적용해 전문가용 워크플로에서 이전 세대 RTX A2000 12GB 대비 최대 1.5배의 성능을 제공한다. 새로운 GPU는 정교한 3D 환경 제작부터 복잡한 설계 검토의 간소화, 산업 디자인에 이르기까지 다양한 기능을 처리할 수 있다. 향상된 기능은 전문가들이 성능의 저하 없이 더 많은 것을 실현할 수 있도록 지원하며 AI로 가속화된 미래를 위한 기반을 제공한다. AI 기반 도구, 멀티 디스플레이 설정, 고해상도 콘텐츠 등과 같은 최신 멀티 애플리케이션 워크플로에는 GPU 메모리에 대한 요구가 상당히 높다. 전문가들은 RTX 2000 에이다 제너레이션의 16GB 메모리를 통해 최신 기술과 도구를 활용해 데이터를 더욱 빠르고 효과적으로 작업할 수 있다. 엔비디아 RTX 기술로 구동되는 새로운 GPU는 엔비디아 DLSS를 통해 그래픽에 높은 사실감을 부여한다. 이를 통해, 이전보다 3배 이상 빠른 초고화질의 실사에 가까운 레이 트레이싱 이미지를 제공할 수 있다. 또한, RTX 2000 에이다 제너레이션은 제품 디자인과 엔지니어링 설계 검토와 같은 엔터프라이즈 가상 현실 워크플로에 몰입감 높은 경험을 제공한다.     성능과 활용성에 AI 기능까지 결합된 RTX 2000 에이다 제너레이션은 다양한 산업 분야의 전문가들이 효율성을 달성할 수 있도록 지원한다. 건축가와 도시 설계사는 시각화 워크플로와 구조 분석을 가속화해 설계 정밀도를 높일 수 있다. 산업용 PC를 사용하는 제품 디자이너와 엔지니어는 빠르고 사실적인 렌더링과 AI 기반 생성 디자인을 통해 제품 디자인의 반복 작업을 수행할 수 있다. 콘텐츠 크리에이터는 고해상도 동영상과 이미지를 원활하게 편집하고, AI를 활용한 사실적인 시각 효과를 연출해 콘텐츠 제작에 도움을 받을 수 있다. 아울러 중요한 임베디드 애플리케이션과 에지 컴퓨팅에서 RTX 2000 에이다 제너레이션은 의료 기기의 실시간 데이터 처리를 지원한다. 또한, 예측 유지보수를 통해 제조 공정을 최적화하거나 유통  환경에서 AI 기반 인텔리전스를 구현할 수 있다. 엔비디아 RTX 2000 에이다 제너레이션은 엔비디아 에이다 러브레이스(Lovelace) GPU 아키텍처의 최신 기술을 탑재하고 있다. 여기에는 ▲최대 1.7배 빠른 레이 트레이싱 성능으로 충실하고 사실적인 렌더링이 가능한 3세대 RT 코어 ▲이전 세대 대비 최대 1.8배의 AI 처리량, 구조화된 희소성, FP8 정밀도로 AI 가속 도구와 애플리케이션에 더 높은 추론 성능을 제공하는 4세대 텐서 코어 ▲이전 세대 대비 최대 1.5배의 FP32 처리량으로 그래픽과 컴퓨팅 워크로드의 성능이 향상된  쿠다(CUDA) 코어 ▲이전 세대와 동일한 70W의 전력으로 전문가용 그래픽, 렌더링, AI, 컴퓨팅 워크로드 전반에서 최대 2배의 성능 향상 ▲이전 세대 대비 가상 현실 워크플로 성능 최대 3배 향상 ▲더 큰 규모의 프로젝트를 처리할 수 있는 16GB의 GPU 메모리 및 오류 수정 코드 메모리 ▲AI 기반 그래픽을 개선하고 고품질 프레임을 추가로 생성해 성능을 높이는 DLSS 3 ▲AV1을 지원하며 H.264보다 효율을 40% 높인 8세대 엔비디아 인코더(NVENC) 등이 있다. 한편, 엔비디아는 RTX 엔터프라이즈 드라이버의 최신 업데이트에 그래픽 워크플로를 개선하는 다양한 기능과 함께 RTX 2000 에이다 지원을 포함한다고 밝혔다. 여기에는 ▲AI 기반의 표준 다이나믹 레인지(SDR)에서 하이 다이나믹 레인지(HDR)로 톤 매핑을 지원하는 비디오 트루HDR(Video TrueHDR) ▲엔비디아 GPU에서 최신 대규모 언어 모델(LLM)에 대한 추론 성능을 최적화하고 가속화하는 오픈소스 라이브러리인 텐서RT-LLM(TensorRT-LLM) ▲비트 심도 확장 기술과 새로운 저지연 B프레임을 통한 비디오 품질 개선과 비디오 코덱의 코딩 효율 향상 ▲더 빠른 작업 완료를 위해 실행 간접 확장 엔비디아 API를 사용해 CPU에서 GPU로 작업을 오프로드하는 기능 ▲데스크톱의 엔비디아 제어판(NV Control Panel)에서 GPU 일련 번호를 표시하는 기능 등이 있다. RTX 2000 에이다 제너레이션의 성능을 앞서 활용하고 있는 기업으로는 솔리드웍스(SOLIDWORKS) 애플리케이션을 보유한 다쏘시스템, 롭 월커스 디자인 앤 엔지니어링(Rob Wolkers Design and Engineering), WSP 등이 있다. 다쏘시스템이 2월 11일~14일 미국 댈러스에서 진행한 ‘3D익스피리언스 월드’에서는 엔비디아 RTX 2000 에이다로 구동되는 다쏘시스템 솔리드웍스 애플리케이션의 실시간 데모가 진행되기도 했다. 다쏘시스템 솔리드웍스 그래픽 애플리케이션 연구개발 책임자인 올리비에 제그던(Olivier Zegdoun)은 “고효율 차세대 아키텍처, 저전력 소비, 대용량 프레임 버퍼를 갖춘 새로운 엔비디아 RTX 2000 에이다는 솔리드웍스 사용자에게 큰 도움이 될 것이다. 이 제품은 디자이너와 엔지니어가 더 큰 데이터세트에서도 완전한 모델 충실도로 혁신적인 제품 경험을 빠르게 개발할 수 있도록 뛰어난 성능을 제공한다”고 말했다.  엔비디아 RTX 2000 에이다는 현재 애로우 일렉트로닉스(Arrow Electronics), 잉그램 마이크로(Ingram Micro), 리드텍(Leadtek), PNY, 료요 엘렉트로(Ryoyo Electro), TD시넥스(TD SYNNEX) 등 글로벌 유통 파트너를 통해 구매할 수 있다. 오는 4월부터는 델 테크놀로지스, HP, 레노버 등에서도 구매 가능하다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 GPU CUDA(쿠다) 병렬처리를 지원하는 넘바(Numba) 라이브러리를 간략히 소개한다. CUDA는 현재 딥러닝 기술의 기반처럼 사용되며, 사실상 산업 표준이다. 딥러닝은 모든 연산이 텐서 행렬 계산이므로, 엔비디아 GPU에 내장된 수많은 계산 유닛(실수 계산에 특화된 CPU)들을 사용한다. CUDA의 강력한 수치해석 데이터 병렬처리 기능은 딥러닝뿐 아니라 디지털 트윈의 핵심인 시뮬레이션, 모델 해석 등에 필수적인 수치계산 엔진으로 사용된다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   CUDA는 내장된 수많은 계산 유닛에 입력 데이터를 할당하고, 행렬연산을 하여 출력된 데이터를 CPU 메모리가 접근할 수 있도록 데이터 고속 전송/교환하는 역할을 한다. 그러므로, 딥러닝 모델 학습 성능은 GPU CUDA 성능에 직접적 영향을 받는다. 이벙 호에서는 파이썬(Python)에서 CUDA를 이용해 수치해석 등 계산 성능을 극대화할 수 있는 방법과 간단한 예제를 살펴본다.   그림 1. CUDA 아키텍처(출처 : Multi-Process Service : GPU Deployment and Management Documentation)   GPU CUDA 소개 CUDA는 게임 화면에 렌더링되는 3차원 이미지를 2차원 픽셀에 매핑하기 위한 수많은 행렬을 실시간 처리할 수 있도록 개발되어 왔다. 이런 이유로, 행렬 고속 연산이 필요한 딥러닝 학습에 적극 사용된 것이다.   그림 2. CUDA 기반 실시간 텐서 행렬 연산 결과   CUDA는 오랫동안 개발자의 요구사항을 반영해 발전되어, 개발 플랫폼으로서 탄탄한 생태계를 구축했다.   그림 3. 엔비디아 개발자 사이트   그림 4. CUDA 기반 레이트레이싱 렌더링 결과(출처 : Ray Tracey's blog : GPU path tracing tutorial 3 : GPU)   사실, 많은 스타트업이 이런 기능을 지원하는 딥러닝용 AI 칩을 FPGA 기법 등을 이용해 개발, 홍보하고 있으나, 이런 개발자 지원도구와 플랫폼 생태계 없다면 산업계에서는 의미가 없다고 볼 수 있다.   넘바 소개 넘바는 파이썬 기반 CUDA GPU 프로그래밍을 지원한다. 넘바는 컴파일 기술을 지원하여 CPU와 GPU 모드에서 코딩되는 데이터 구조, 함수 호출을 추상화한다. 넘바는 엔비디아의 CUDA 함수와 설정을 래핑한 고수준의 함수 API를 제공한다. 이를 통해 개발자가 CUDA의 세부 설정에 신경쓸 필요 없이, 데이터 병렬 처리 개발에만 집중할 수 있다.   개발 환경 넘바의 개발 환경은 다음과 같다. NVIDIA Compute Capability 5.0 이상 CUDA 지원 GPU 장착 PC(2023년 12월 시점) NVIDIA CUDA 11.2 이상 NVIDIA TX1, TX2, 자비에, 젯슨 나노 GTX 9, 10, 16 시리즈. RTX 20, 30, 40 시리즈. H100 시리즈 CONDA 환경의 경우, 다음과 같이 터미널을 이용해 CUDA 툴킷을 자동 설치할 수 있다. conda install CUDAtoolkit 넘바는 CUDA python을 이용해 엔비디아 GPU CUDA와 바인딩한다. conda install nvidia::CUDA-python 설치 방법은 다음과 같다. conda install numba   ■ 상세한 기사 내용은 PDF로 제공됩니다.

BIM 칼럼니스트 강태욱의 이슈 & 토크    이번 호에서는 트랜스포머(transformer) 기반 생성형 AI 모델로 다국어 번역기, 문장 분류, 이미지 설명 텍스트 생성 프로그램의 개발 방법을 간략히 살펴본다. 트랜스포머는 텍스트, 이미지 등 데이터를 숫자로 표현한 토큰으로 인코딩한 후, 목표 라벨 데이터 결과와 차이가 적은 방향으로 가중치인 어텐션(attension) 벡터를 갱신하여 학습 모델을 만드는 기술이다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   트랜스포머는 현재 문장 성격 및 특징 분류, 다국어 번역, 비전 이미지 설명 및 생성, 음성인식, Voice to Text, 음악 작곡, 글 분류, 글 자동 요약 등 다양한 영역에서 사용된다. 이번 호에서는 관련 기능을 트랜스포머로 간단히 구현해 본다.    그림 1. 트랜스포머 개념 및 아키텍처   트랜스포머의 이론적 개념 등은 다음의 링크를 참고한다. 머신러닝 딥러닝 신경망 개념, 종류 및 개발 : https://daddynkidsmakers.blogspot.com/2017/02/blog-post_24.html 어텐션 기반 트랜스포머 딥러닝 모델 이해, 활용 사례 및 파이토치(Pytorch)를 통한 간단한 사용방법 소개 : https://daddynkidsmakers.blogspot.com/2021/10/blog-post.html 간단한 트랜스포머 동작 원리와 파이토치 기반 비전 트랜스포머 ViT 소개 : https://daddynkidsmakers.blogspot.com/2023/02/pytorch-vit.html 오디오, 영상, 텍스트, 센서, 3D깊이맵 멀티모달 딥러닝 모델 페이스북 이미지바인드(imagebind) 설치 및 사용기 : https://daddynkidsmakers.blogspot.com/2023/05/imagebind.html   개발 준비 파이썬(Python), 쿠다(CUDA) 등이 설치되어 있다는 가정 하에, 다음 명령어를 이용해 관련 패키지를 설치한다. pip install transfomers sentencepiece   간단한 텍스트 생성형 AI 개발 다음과 같이 트랜스포머 모델에서 사전학습된 distilgpt2를 사용해 간단한 텍스트 생성형 AI 코드를 개발해 본다. from transformers import AutoTokenizer, AutoModelWithLMHead tokenizer = AutoTokenizer.from_pretrained("distilgpt2") model = AutoModelWithLMHead.from_pretrained("distilgpt2") input_ids = tokenizer.encode("I like gpt because it's", return_tensors='pt') greedy_output = model.generate(input_ids, max_length=12) print(tokenizer.decode(greedy_output[0], skip_special_tokens=True)) 실행 결과 <그림 2>와 같이 ‘I like gpt because it's’ 이후 문장을 자연스럽게 생성한다.   그림 2   텍스트의 빈칸 단어 예측 다음은 MLM(Mask Language Model) 방식으로 학습된 모델을 이용해, [MASK] 토큰으로 정의된 단어를 문장 맥락을 고려해 예측하는 코드이다.  from transformers import pipeline unmasker = pipeline('fill-mask', model='albert-base-v2') unmasker("mlm and nsp is the [MASK] task of bert.") 결과는 <그림 3>과 같다. 빈칸의 단어가 잘 예측된 것을 확인할 수 있다.   그림 3   이미지 설명 텍스트 생성 이제 주어진 이미지를 설명하는 텍스트를 생성해 본다. 목표는 입력 이미지에 대해 두 마리의 고양이가 누워있음을 표현하는 텍스트를 얻는 것이다.   그림 4     ■ 자세한 기사 내용은 PDF로 제공됩니다.

엔비디아가 양자 컴퓨터 프로그래밍 플랫폼인 쿠다 퀀텀(CUDA Quantum)으로 글로벌 화학 기업인 바스프(BASF)의 대규모 분자 시뮬레이션을 지원했다고 밝혔다. 양자 컴퓨팅을 개척하는 새로운 차원의 연구를 진행 중인 바스프는 양자 알고리즘이 기존 시뮬레이션으로 볼 수 없던 NTA의 주요 속성을 볼 수 있는 방법을 실험하고 있다. NTA는 도시 폐수에서 철과 같은 독성 금속을 제거하는 등 다양한 용도로 활용되는 화합물이다. 바스프의 양자 컴퓨팅 팀은 이 문제를 해결하기 위해 GPU에서 양자 컴퓨터 처리 엔진에 해당하는 24개의 큐비트를 시뮬레이션했으며, 최근에는 엔비디아의 에오스(Eos) H100 슈퍼컴퓨터에서 60큐비트 시뮬레이션을 실행했다. 이는 바스프가 양자 알고리즘을 사용해 수행한 가장 큰 분자 시뮬레이션이다. 바스프는 엔비디아 쿠다 퀀텀에서 시뮬레이션을 실행하고 있다. 엔비디아 쿠다 퀀텀은 CPU, GPU 그리고 QPU로도 알려진 양자 컴퓨터를 프로그래밍하기 위한 플랫폼이다. 유연하고 사용자 친화적이어서 비교적 간단한 빌딩 블록으로 복잡한 양자 회로 시뮬레이션을 구축할 수 있다는 점이 특징이다. 이 시뮬레이션에는 많은 작업이 요구되기 때문에 바스프는 엔비디아 H100 텐서 코어 GPU를 탑재한 엔비디아 DGX 클라우드 서비스를 선택했다.     바스프의 양자 컴퓨팅 사업은 2017년에 시작됐다. 바스트의 연구팀은 화학 분야 외에도 머신러닝, 물류와 스케줄링 최적화를 위한 양자 컴퓨팅 사용 사례를 개발하고 있다. 한편, 엔비디아는 바스프 외에도 다른 연구 그룹에서 쿠다 퀀텀으로 과학을 발전시키고 있다고 소개했다. 뉴욕주립대와 스토니브룩대는 아원자 입자의 복잡한 상호작용을 시뮬레이션하고 있으며, 휴렛 팩커드 랩스 연구팀은 양자 화학의 자기 상전이 현상을 탐구하고 있다. 이스라엘의 스타트업인 클래지큐(Classiq)는 이스라엘 텔아비브 소라스키 메디컬 센터에 새로운 연구 센터를 설립하고, 질병 진단과 신약 개발을 가속화하기 위해 양자 컴퓨팅을 활용한다.    양자 서비스 회사인 테라 퀀텀(Terra Quantum)은 생명 과학, 에너지, 화학, 금융 등을 위한 하이브리드 양자 애플리케이션을 개발 중이며, 옥스퍼드 퀀텀 서킷(Oxford Quantum Circuits)을 비롯한 여러 기업이 하이브리드 양자 작업을 위해 엔비디아 그레이스 호퍼 슈퍼칩(Grace Hopper Superships)을 사용할 예정이다.