슈퍼마이크로컴퓨터(SMCI)가 향후 6세대 인텔 제온 프로세서를 지원할 X14 서버 포트폴리오를 공개했다. 이번 신제품에는 슈퍼마이크로의 빌딩 블록 아키텍처, 랙 플러그 앤 플레이 및 수냉식 냉각 솔루션, 그리고 인텔 제온 6 프로세서 제품군이 결합됐으며, 이를 통해 다양한 워크로드와 규모에 최적화된 솔루션을 높은 성능과 효율성으로 제공하는 데에 초점을 맞추었다. 슈퍼마이크로는 고객이 솔루션 구축 기간을 단축할 수 있도록 조기 배송 프로그램을 통해 일부 고객에게 새로운 서버에 대한 조기 액세스를 제공하고, 점프스타트 프로그램으로 테스트 및 검증용 무료 원격 액세스도 지원할 예정이다. 랙 스케일의 신규 X14 서버는 공용 인텔 플랫폼을 활용해 통합 아키텍처를 갖춘 인텔 제온 6 프로세서에 대한 소켓 호환성을 지원한다. 이 프로세서 포트폴리오는 클라우드, 네트워킹, 분석 및 확장 워크로드에 대해 와트당 성능을 높이는 E-코어(효율 코어) SKU와 AI, HPC, 스토리지 및 에지 워크로드에 대해 코어당 성능을 높이는 P-코어(성능 코어) SKU로 제공된다. 인텔 AMX(Intel Advanced Matrix Extensions)에서 FP16을 새롭게 지원하는 인텔 엑셀러레이터 엔진도 내장된다. 새로운 슈퍼마이크로 X14 서버는 노드당 최대 576개의 코어는 물론 PCIe 5.0, 모든 장치 유형에 대한 CXL 2.0, NVMe 스토리지 및 최신 GPU 가속기를 지원해 AI 워크로드를 구동하는 사용자의 애플리케이션 실행 시간을 단축시킨다. 고객은 광범위한 슈퍼마이크로 X14 서버에서 E-코어 및 P-코어를 갖춘 인텔 제온 6 프로세서를 활용할 수 있으며, 이로 인해 소프트웨어 재설계를 최소화하고 새로운 서버 아키텍처의 이점을 누릴 수 있다.     인텔의 라이언 타브라(Ryan Tabrah) 부사장 겸 제온 E-코어 제품 부문 총괄은 “제온 6 CPU는 공용 소프트웨어 스택을 포함한 공통 플랫폼 설계에서 각각 최적화된 두 개의 마이크로아키텍처를 제공한다. 고객은 온프레미스, 클라우드, 또는 에지에서 업계 또는 배포 모델과 관계없이 다양한 워크로드 요구사항에 대한 최고의 가치를 얻을 수 있다. 슈퍼마이크로와의 강력한 파트너십은 차세대 프로세서의 이점을 고객에게 제공하는 데 도움이 될 것”이라고 설명했다. 슈퍼마이크로의 찰스 리앙(Charles Liang) CEO는 “슈퍼마이크로는 수냉식 100kW 랙 1,350개를 포함해 전 세계적으로 매월 5000개의 랙을 생산할 수 있는 능력을 지녔으며, 2주의 짧은 리드 타임을 제공한다. 현재 가장 진보된 AI 하드웨어를 비롯해 완전한 맞춤형 워크로드 최적화 솔루션을 랙 스케일로 설계, 구축, 검증 및 제공하는 것에서 타의 추종을 불허한다”면서, “슈퍼마이크로는 폭넓은 애플리케이션 최적화 솔루션의 설계 및 제공하는 것에 있어서 업계를 선도하고 있다. 인텔 제온 6 프로세서를 탑재한 X14 서버는 광범위한 슈퍼마이크로의 포트폴리오를 한층 더 확대할 것”이라고 전했다.

오라클이 4월 16일 서울 삼성동에서 ‘모던 데이터 플랫폼 및 데이터베이스 혁신 전략’ 기자간담회를 열고 기업의 성공적인 데이터 중심의 클라우드 전환과 최신 오라클 데이터베이스(DB) 전략 및 비전을 발표했다. 이번 간담회에는 전 세계적으로 ‘DB의 아버지’라 불리는 오라클의 앤디 멘델손(Andy Mendelsohn) DB 서버 기술개발사업부 총괄 부사장이 참석해 ‘데이터, AI 및 앱 개발의 미래’를 주제로 오라클 DB 솔루션의 핵심 가치를 강조했다. 오라클의 앤디 멘델손(Andy Mendelsohn) DB 서버 기술개발사업부 총괄 부사장 오라클 모던 데이터 플랫폼은 데이터의 전체 라이프사이클을 획기적으로 간소화하고, 더 빠른 속도로 통찰력을 제공한다. 단일 플랫폼 상에서 모든 트랜잭센, 웨어하우스, 분석 및 인공지능(AI)/머시러닝(ML) 자산에 대한 수집, 선별 및 관리를 통해 기업이 데이터에 대한 큰 통제 권한을 얻을 수 있다는 점이 특징이다. 멘델손 부사장은 오라클이 지난해 9월에 발표한 차세대 융합형 DB 오라클 DB 23c는 기존 관계형 모델과 JSON 및 그래프 모델 간의 통합을 구현하는 혁신을 이뤘다고 소개했다. 최근 앱은 관계형뿐만 아니라 JSON, 그래프 등 다양한 데이터 유형이 혼합 운영되는 가운데, 개발자는 오라클 DB 23c를 통해 세 가지 유형의 데이터 장점을 모두 활용하는 앱을 개발 운영하며 그 과정에서 데이터 일관성을 손쉽게 유지할 수 있다. 오라클의 앤디 멘델손(Andy Mendelsohn) DB 서버 기술개발사업부 총괄 부사장   앤디 멘델손 부사장은 오라클 DB 비전과 관련해 생성형 AI를 접목한 융합형 DB(converged database)와 이를 구동하는 자율운영 DB(Oracle Autonomous Database)를 통해 모던 앱 및 분석을 생성 및 운영하는 작업을 간소화할 것이라고 강조했다. 이를 통해 융합 개방형 SQL DB가 기존 단일목적 상용 DB를 대체함으로써 기업 개발자와 IT 전문가들은 데이터 통합 시간을 줄이고 혁신에 더 집중하도록 돕는다는 전략이다. 이 밖에도 기업의 핵심 워크로드 구동에 최적화된 고성능 및 고안정성을 제공하는 동시에, 데이터 주권 및 보안 강화를 지원하는 오라클의 서비스로는 오라클 융합형 DB(Oracle Converged Database), 오라클 자율운영 DB(Oracle Autonomous Database), 오라클 엑사데이터 클라우드앳커스터머(Oracle Exadata Cloud@Customer),MySQL 히트웨이브(MySQL HeatWave) 등이 있다고 소개했다. 또한 오라클은 기업 요구사항을 충족시킬 수 있는 DB 및 분석 서비스에 지속적으로 투자하고 있다고 설명했다.

효성인포메이션시스템이 ‘AI EXPO KOREA(국제인공지능대전) 2024’ 전시에 참가해, 고성능 AI 연산 환경부터 고성능 데이터 처리까지 지원하는 AI 플랫폼 전략 및 비즈니스 혁신을 위한 솔루션을 제시한다고 전했다. 한국인공지능협회와 서울메쎄가 주최하는 AI EXPO KOREA 2024는 5월 1일~3일 서울 코엑스 D홀에서 진행된다. 올해 7회를 맞는 이 행사는 약 300개사 500부스가 참가할 전망이다. 효성인포메이션시스템은 AI 비즈니스를 위해 필요한 GPU 서버부터 초고성능 스토리지, 네트워크를 사전 설계해 통합한 ‘효성 AI 플랫폼’을 체험할 수 있는 공간을 마련했다. AI 도입을 고민하는 관람객을 위한 전문가 컨설팅과 함께 다양한 프로모션도 진행한다. 최근 인간과 유사한 지능과 자가 학습 능력을 갖춘 AGI(일반인공지능)가 등장하며 AI 비즈니스에도 큰 변화가 일고 있다.  AGI의 등장은 더 큰 데이터 세트와 복잡한 AI 모델이 필요함을 의미하며, 이에 따라 GPU 시스템 및 데이터 처리 효율이 보다 중요해졌다. 효성인포메이션시스템은 AI 연산 환경부터 고성능 데이터 처리, AI솔루션까지 고객의 AI 전환을 위한 핵심 경쟁력을 제공한다. 고성능 AI 연산 환경을 위해 슈퍼마이크로와 협업하여 GPU 서버를 시장에 공급하고, 고성능 병렬파일 스토리지 ‘HCSF’를 통해 GPU 성능을 뒷받침하는 고성능 데이터 처리를 지원한다. 또한, AI/ML옵스 솔루션, GPU 데이터베이스, 인메모리 데이터베이스, 고속 네트워크 등 국내외 다양한 파트너사와 연계 및 확장 제안을 통해 고객에게 AI 인프라 구현을 위한 솔루션을 제시한다. 효성인포메이션시스템은 AI 시스템 설계 관련해 기획 단계부터 컨설팅이 가능한 전문 인력과 기술 노하우를 보유하고 있으며, 2023년부터 국내 은행권, 공공기관, 유통 대기업, 연구기관, 의료기업 등을 중심으로 AI/GPU 인프라, 빅데이터 플랫폼 구축 사업에서 성공사례를 확보했다고 밝혔다. 효성인포메이션시스템의 양정규 대표이사는 “많은 기업들이 AI 도입을 검토하고 있지만 최적화된 AI 시스템 설계를 위해서는 기획 단계부터 풍부한 경험의 파트너를 만나는 것이 중요하다”면서, ”AI 인프라 구현은 효성인포메이션시스템에 맡기고, 고객은 비즈니스 혁신에만 집중할 수 있도록 당사의 모든 기술력과 노하우를 제공할 것”이라고 전했다.  

델 테크놀로지스는 자사의 고성능 AI 서버인 ‘델 파워엣지 XE9680(Dell PowerEdge XE9680)’에 ‘인텔 가우디 3(Intel Gaudi 3)’ AI 가속기 지원을 추가한다고 밝혔다. 델은 데이터 집약적이고 복잡한 워크로드를 효과적으로 지원하게끔 설계된 XE9680의 확장된 라인업을 통해 AI 활용을 고려하는 엔터프라이즈 고객들에게 더 넓어진 선택지를 제공하게 됐다고 전했다. 델 파워엣지 XE9680은 x86 서버 아키텍처에 8개의 GPU를 탑재하는 모델로 AI 운영에 특화된 성능을 제공한다. 델은 XE9680 에코시스템에 인텔 가우디3 가속기를 통합함으로써, 고객이 생성형 AI 워크로드와 관련된 컴퓨팅 요구 사항에 맞춰 시스템을 맞춤화할 수 있도록 지원한다. 델은 범용성과 강력한 성능을 모두 갖춘 AI 가속 인프라를 제공하겠다는 전략이다.     안전성과 확장성에 중점을 두고 설계된 XE9680은 가우디3 가속기를 추가함으로써 보다 풍부한 서버 구성 옵션을 제공하게 됐다. 최대 32개의 DDR5 메모리 DIMM 슬롯을 통해 데이터 처리량을 향상시켰고, 16개의 EDSFF3 플래시 스토리지 드라이브와 8개의 PCIe Gen 5.0 슬롯으로 확장된 연결성과 대역폭을 제공한다. 프로세서당 최대 56개 코어를 지원하는 4세대 인텔 제온 스케일러블(Intel Xeon Scalable) 프로세서를 2개를 장착했으며, 고난도의 AI/ML 워크로드에 대한 데이터 처리 및 분석에 최적화되어 있다. 인텔 가우디3 AI 가속기는 64개의 커스텀 및 프로그래밍 가능한 텐서 프로세서 코어(TPC)와 128GB의 HBMe2 메모리 용량, 3.7TB의 메모리 대역폭, 96MB의 온보드 SRAM 등 생성형 AI 워크로드에 대응하기 위한 스펙을 갖췄다. 가우디3는 또한 개방형 에코시스템을 갖춰 파트너십 기반의 최적화 및 모델 라이브러리 프레임워크 지원의 이점이 있다. 기존 코드베이스의 전환을 간소화하는 개발 툴로 간편한 마이그레이션을 지원한다. 가우디3 가속기로 강화된 파워엣지 XE9680은 6개의 OSFP 800GbE 포트를 통해 가속기에 직접 결합된 새로운 네트워킹 기능을 제공한다. 외장 NIC를 시스템에 배치할 필요 없이 외부 가속기 패브릭에 직접 연결이 가능해 인프라를 단순화하고, 인프라의 총소유비용과 복잡성을 낮추는데 효과적이다. 또한 인텔 가우디3 전문 미디어 디코더는 AI 비전 애플리케이션을 위해 설계됐다. 광범위한 사전 처리 작업을 지원해 비디오에서 텍스트로의 변환을 간소화하고 엔터프라이즈 AI 애플리케이션의 성능을 높인다. 기존 하드웨어 성능을 넘어 AI를 통해 심층적인 데이터 인사이트를 확보하고자 하는 기업에서는 폭넓은 가속기 옵션을 갖춘 XE9680을 중요 자산으로 활용할 수 있다. 고급 처리 능력과 효율적인 공랭식 설계가 결합된 것도 특징이다. 인텔 가우디 3 AI 가속기를 탑재한 파워엣지 XE9680 서버 모델은 2024년 안에 국내 출시될 계획이다  한국 델 테크놀로지스의 김경진 총괄 사장은 “델은 폭넓은 협업 전략을 통해 AI 개발의 경계를 확장하고, 새로운 표준을 끊임없이 제시하고 있다”면서, “고객이 AI 여정의 어느 단계에 있든 목표 달성을 가속하고 미래에 필요하게 될 요구 성능에 대비하는 동시에, 이 여정이 안전하게 지속될 수 있도록 지원하는데 집중할 계획”이라고 덧붙였다.

  대원씨티에스와 딥엑스가 AI 솔루션 확산을 위해 총판계약을 체결했다.(좌로부터 대원씨티에스 정명천 회장, 딥엑스 김녹원 대표, 대원씨티에스 하성원 대표) 대원씨티에스는 4월 11일, 국내 최대의 AI 반도체 스타트업인 딥엑스와 총판 계약을 체결했다. 대원씨티에스는 11일, 판교 딥엑스 본사에서 김녹원 대표이사, 정명천 대원씨티에스 회장 등 양사 관계자들이 참석한 가운데 온디바이스 AI 솔루션을 전산업으로 확산하기 위해 B2B, B2C 비즈니스 총판 계약을 체결했다고 밝혔다. 대원씨티에스는 1988년 창립된 회사로 국내에서 AMD, 델, 슈퍼마이크로, 케이투스 등 글로벌 반도체 및 서버 업체들의 국내 총판을 담당하고 있다. 또한 LG, 삼성, HP 등 국내외 IT 제조사와 총판 계약을 통해 국내 IT 제품의 유통을 주도해왔으며, 작년 7,200억의 유통 매출을 달성했다. 생성형 AI 기술의 확산과 더불어 AI 인프라 시장이 확대되면서 AI 반도체가 주목받고 있다. 전통적인 반도체 기업을 비롯해 글로벌 빅테크 기업들까지 AI 반도체 개발에 뛰어들고 있다. 추론 기술을 구현하기 위한 인공신경망(NPU) 알고리즘을 저전력, 고속으로 처리할 수 있는 AI 반도체는 디지털 4차 혁명과 더불어 어느 산업보다 빠르게 성장하고 있다. 가트너는 오는 2027년 AI 반도체 시장이 1194억 달러로 현재보다 3배 이상 성장할 것으로 전망하고 있다. AI 반도체 시장 선점을 위해 정부에서도 지원을 아끼지 않고 있다. 과학기술정보통신부와 산업통상자원부는 AI 일상화를 지원하기 위해 국내 7대 주력산업이 참여하는 AI 반도체 협업포럼을 출범시켰다. 이런 상황에 대원씨티에스와 딥엑스의 전략적 유통 협력 계약 체결은 남다른 의미를 갖는다. 양사의 계약 체결로 대원씨티에스는 기존 데이터센터 시장에서 NPU 서버, 스토리지, AI 네트워킹 솔루션 공급에서 더 나아가 엣지 인프라 환경까지 영역을 확대해 나간다는 계획이다. 대원씨티에스는 딥엑스와의 협업을 통해 AI를 위한 단일 패키지 솔루션을 공급할 수 있을 것으로 기대된다. 국내 대형 유통 네트워크를 보유하고 있는 대원씨티에스와의 협업은 딥엑스의DX-V1 및 DX-M1과 같은 온디바이스 AI 반도체 제품을 양산 초기부터 대형 유통 네트워크를 통해 고객에게 효율적으로 공급할 수 있다는 전략적 가치가 있다. 더불어 대원씨티에스는 딥엑스가 협력을 타진하고 있는 글로벌 서버 개발사들인 델, 슈퍼마이크로, 케이투스 등의 국내 총판 유통사이기 때문에 딥엑스의 서버 시장 공략에서도 시너지를 발휘할 것으로 기대하고 있다. 대원씨티에스의 하성원 대표는 “그동안 국내 시장에서 다양한 서버 업체들의 총판을 담당하면서 GPU 서버 중심의 AI 인프라 시장을 타깃으로 해왔다”면서 “이번에 딥엑스와의 총판 계약 체결로 명실상부한 국내 AI 인프라 구축 솔루션 전문업체로 거듭날 계획”이라고 밝혔다. 딥엑스 김녹원 대표는 “대원씨티에스의 탄탄하고 폭넓은 유통망과 딥엑스의 우수한 기술력의 제품으로 AI 반도체 시장에서 입지를 확대해 나가겠다. 올해 하반기부터 양산되는 4개의 AI 반도체로 구성된 1세대 제품을 통해 글로벌 시장 공략을 본격화하면서 AI 일상화 시대를 열어가겠다”고 밝혔다.  

슈나이더 일렉트릭이 엔비디아와 데이터센터 인프라 최적화 및 디지털 트윈 기술 기반 마련을 위한 파트너십을 체결했다고 밝혔다. AI 애플리케이션이 산업 전반에 걸쳐 주목을 받고 있는 동시에, 기존 컴퓨팅보다 더 많은 리소스에 대한 수요가 높아지며 처리 능력에 대한 필요성이 기하급수적으로 증가하고 있다. 특히 데이터센터 설계와 운영이 눈에 띄게 변화하고 복잡해지면서, 업계에서는 운영의 효율성과 확장성을 모두 갖춘 안정적인 데이터센터 시스템을 신속하게 구축하고 운영하기 위해 노력하고 있다. 슈나이더 일렉트릭은 이번 파트너십을 통해 엔비디아의 첨단 AI 기술과 자사의 데이터센터 인프라에 대한 전문성을 바탕으로 데이터센터 레퍼런스 디자인을 출시해 업계 전반에 공개할 예정이다. 슈나이더 일렉트릭은 데이터센터 에코시스템 내 AI 배포 및 운영의 기준을 재정의함으로써 업계 발전의 중요한 이정표가 될 것으로 전망하고 있다.     슈나이더 일렉트릭은 데이터 처리, 엔지니어링 시뮬레이션, 전자 설계 자동화 등을 위해 구축된 엔비디아의 가속 컴퓨터 클러스터에 최적화된 데이터센터 레퍼런스 디자인을 소개할 예정이다. 이 디자인은 특히 고밀도 클러스터를 위한 간략 시운전과 안정적인 운영을 보장하는 고전력 분배, 액체 냉각 시스템 및 제어 기능을 구현하는데 중점을 뒀다. 슈나이더 일렉트릭은 이번 협력으로 AI 솔루션을 데이터센터 인프라에 원활하게 통합하고, 효율  및 안정적인 수명 주기를 보장하는데 필요한 도구 및 리소스를 제공하는 것을 목표로 한다고 밝혔다. 슈나이더 일렉트릭이 제공하는 데이터센터 레퍼런스 디자인은 파트너, 엔지니어 및 기업이 기존 데이터센터 운영에 참고할 수 있으며, 고밀도 AI 서버 및 액체 냉각AI 클러스터에 최적화된 새로운 데이터센터를 구축하는데도 활용할 수 있다. 또한 슈나이더 일렉트릭은 자회사인 아비바의 디지털 트윈 플랫폼을 엔비디아 옴니버스(NVIDIA Omniverse)에 연결해 가상 시뮬레이션 및 협업을 위한 통합 환경을 제공할 예정이다. 이 환경에서 설계자, 엔지니어 및 데이터센터 운영자는 상호 원활한 협업을 할 수 있으며, 복잡한 시스템의 설계 및 구축을 가속화하는 동시에 출시 기간과 비용을 절감할 수 있다. 엔비디아의 이안 벅(Ian Buck) 하이퍼스케일 및 HPC 부분 부사장은 “슈나이더 일렉트릭과의 협력을 통해 우리는 차세대 엔비디아 가속 컴퓨팅 기술을 사용해 AI 데이터센터 설계를 제공하게 됐다”면서, “이는 조직이 AI의 잠재력을 활용하고 산업 전반에 걸쳐 혁신과 디지털 전환을 추진하는데 필요한 인프라는 제공한다”고 설명했다. 슈나이더 일렉트릭의 판카즈 샤르마(Pankaj Sharma) 시큐어파워 사업부 데이터센터 비즈니스 총괄 부사장은 “데이터센터 솔루션에 대한 슈나이더 일렉트릭의 전문성과 엔비디아의 AI 기술 리더십을 결합하여 기업이 데이터 센터 인프라의 한계를 극복하고 AI의 잠재력을 최대한 활용할 수 있도록 도울 것”이라며, “엔비디아와의 협력을 통해 보다 효율적이고 지속가능한 미래를 만드는데 큰 기여를 할 수 있을 것이라 생각한다”고 전했다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   요즘 LLM 모델을 사용하는 방법이 점차 간편해지고 있어 자체적으로 LLM을 구축해 챗봇, 전문가 시스템 등을 자신의 서버에서 제공하는 경우가 많아지고 있다. 이번 호에서는 GPU가 있는 PC에서 직접 실행해 볼 수 있도록, 로컬 호스트 LLM(대규모 언어 모델) 오픈소스 기반의 BIM 전문가 챗봇 서비스를 간단히 개발해 본다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   이번 호에서는 기존의 BIM PDF 파일을 검색해 학습하고, LLM에 RAG(Retrieval-augmented generation) 증강 학습한 후, 이를 간단한 UI로 웹 서비스하는 과정을 간략히 따라해 본다. 이번 호의 내용은 로컬 LLM의 편한 개발을 지원하는 올라마(Ollama), LLM 프롬프트 엔지니어링 프레임워크인 랭체인(LangChain), 텍스트 임베딩 벡터 데이터베이스 크로마(Chroma), 손쉬운 웹 앱 개발 지원 도구인 스트림릿(Streamlit)을 사용한다. 이를 이용해 간단하게 BIM 전문 지식을 PDF로 학습한 챗봇을 개발한다.   그림 1. 로컬 호스트 LLM 챗봇 아키텍처   그림 2. 구현된 BIM 지식 챗봇 서비스   LLM에 관련된 깊은 내용은 다음의 링크를 참고한다. 이 글은 여러 참고 자료를 이용해 작성된 것이다. 상세 내용은 레퍼런스를 참고하기 바란다. Facebook LLAMA-2 paper : https://daddynkidsmakers.blogspot.com/2024/02/llama-2.html Facebook LLAMA-2 installation : https://daddynkidsmakers.blogspot.com/2023/09/llama2.html LLM은 빅테크 업체 간 경쟁이 심한 분야이다. 이와 관련해서 젬마(Gemma), MPT-7B과 같은 LLM 모델이 오픈소스로 공개되고 있어 선택지가 많아지고 있다. 이와 관련해서는 다음을 참고한다.  Google Gemma : https://github.com/google/gemma_pytorch Blooom : https://huggingface.co/bigscience/bloom   설치 설치를 위해서는 엔비디아 드라이버, CUDA, 텐서플로(TensorFlow), 파이토치(PyTorch) 등 기본 딥러닝 개발 환경이 설치되어 있어야 한다.(최소 구동을 위한 GPU RAM은 6GB이다.) TensorFlow 설치 : https://www.tensorflow.org/install/pip?hl=ko#windows-native_1 Start Locally | PyTorch 설치 : https://pytorch.org/get-started/locally/ 설치 순서는 다음과 같다.  1. 기본 패키지를 설치한다. LLM 모델 기반 서비스 개발 지원 라이브러리 랭체인, 웹 앱 UI 개발을 지원하는 스트림릿, 텍스트 임베딩 벡터 데이터베이스 크로마 DB 등을 설치한다. pip install langchain streamlit streamlit_chat pypdf fastembed chardet pip install chromadb==0.4.15   그림 3. 다양한 LLM 모델을 이용한 서비스 개발을 지원하는 랭체인 패키지   그림 4. 간단한 코드로 웹 앱 개발을 지원하는 UI 라이브러리 패키지 streamlit.io   혹은 pip와 유사한 패키지 설치 관리자인 poetry를 설치한 후, 다음 사용 패키지들을 pyproject.toml 이름으로 저장하고 설치한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

레노버가 AI(인공지능) 도입에 대한 아시아태평양 지역의 인사이트를 소개하는 ‘CIO 플레이북 2024(CIO Playbook 2024 - It’s All About Smarter AI)’의 조사결과를 소개했다. 레노버는 이번 조사를 통해 AI 시장의 성장 전망을 소개하면서, 데이터가 있는 모든 곳에 AI 역량를 제공한다는 전략을 밝혔다. ■ 정수진 편집장   AI의 높은 열기와 함께 투자 본격화 기대 레노버 인프라스트럭처 솔루션 그룹(ISG)의 플린 맬로이(Flynn Maloy) 마케팅 부회장은 “전세계적으로 AI(인공지능)의 도입이 가속화되고 있으며, 앞으로 10~20년간 AI가 모든 IT 요소를 바꿔놓을 것이라는 기대가 높다”면서, “지금의 AI 시장은 클라우드가 확산되던 초기와 비슷한 열기를 보이고 있다”고 짚었다. 레노버의 의뢰로 IDC가 아시아태평양 및 일본 지역의 CIO를 대상으로 조사한 ‘CIO 플레이북 2024’에서는 기업 임원진이 비즈니스의 최우선 순위로 ‘AI 등 최신 기술의 활용’을 꼽았다. 그리고 ‘AI가 비즈니스의 변화를 가져올 게임 체인저가 될 것’이라는 응답이 46%로 높았다. 또한, 기술 투자의 우선순위에서는 인프라 관리의 자동화 및 보안이 1위였고, 생성형 AI(generative AI)가 4위를 차지했다. 많은 기업이 생성형 AI에 대해 투자하거나 투자 계획을 갖고 있다고 답했고, AI에 대한 투자를 늘리겠다는 응답이 전보다 늘어났다. 이런 흐름에서 레노버는 올해가 AI 투자 본격화의 원년이 될 것으로 보고 있다.   ▲ AI에 대한 관심이 늘면서 기업의 투자가 본격화될 것으로 보인다.(이미지 출처 : CIO Playbook 2024 - It’s All About Smarter AI)   더 빠른 AI 위한 에지 컴퓨팅에 주목 ‘CIO 플레이북 2024’에 따르면, 제조산업에서는 에지 컴퓨팅(edge computing)에 대한 투자가 올해 40% 늘어날 것으로 전망된다. 에지 컴퓨팅은 많은 데이터를 실시간으로 생성하고, 이 데이터를 AI 분석과 학습에 활용할 수 있게 한다는 점에서 중요하다. 대규모의 AI 모델 구축과 빠른 추론에 대한 요구가 높아짐에 따라서 실시간으로 데이터를 처리하고 응답속도를 높이는 것이 AI 분야에서 에지 컴퓨팅의 역할로 꼽힌다. 제조산업에서는 생산 현장의 자동화, IoT(사물인터넷) 장치 관리, 실시간 데이터 분석 및 인사이트 등을 위한 에지 컴퓨팅에 많은 관심을 보이고 있다. 레노버 ISG의 수미르 바티아(Sumir Bhatia) 아시아 태평양 사장은 “특히 BI(비즈니스 인텔리전스), 생산성, 대화형 AI 등의 활용분야에 대한 제조산업계의 관심이 높다”고 소개했다. BI는 스마트시티의 혼잡도 분석이나 군중 통제, 리테일 매장의 성과 분석이나 소비 예측 등에 쓰인다. AI의 생산성은 AI 개발자의 작업 효율을 높이고 부담을 줄이기 위해 중요하다. 대화형 AI는 가상 비서나 재고 관리, 고객 맞춤형 정보 제공 등에 유용하다. 레노버 ISG 코리아의 윤석준 부사장은 “우리나라는 아시아태평양 지역 내에서 에지 컴퓨팅 투자에 선두를 달리고 있다. 국내 에지 컴퓨팅 관련 투자가 급증하고 있으며, 생성형 AI에 대한 투자 또한 아시아태평양 최고 수준”이라고 전했다. 또한, “실시간 애널리틱스, 원격 모니터링, 자율주행 등에서 에지 컴퓨팅 사례가 나오고 있다”고 덧붙였다.   ▲ 제조산업에서는 자동화, IoT 장치 관리, 데이터 분석을 위한 에지 컴퓨팅에 주목하고 있다.(이미지 출처 : CIO Playbook 2024 - It’s All About Smarter AI)   데이터가 있는 모든 곳에 AI를 레노버는 작년 10억 달러 규모의 AI 투자 계획을 발표하는 등 향후 AI 투자를 확대할 예정이다. 또한 퍼스널, 프라이빗, 퍼블릭 환경을 혼합한 ‘하이브리드 AI’를 추구한다. 레노버는 서버뿐 아니라 PC, 스마트 디바이스, 에지 등에 걸쳐 다양한 규모의 AI 솔루션을 제공한다는 뜻에서 ‘포켓 투 클라우드’를 강조했다. 레노버가 특히 차별점으로 내세우는 것은 에지 포트폴리오이다. 맬로이 부회장은 “예를 들어, 리테일 상점에서 AI를 사용하기 위해 거대한 서버를 설치할 수는 없다. 대신 작고 소음이 적은 에지 서버를 활용하는 것이 현실적이다. 이처럼 레노버는 다양한 산업별로 맞춤화된 에지 AI 솔루션을 제공한다”고 설명했다. 바티아 사장은 “레노버는 50여 곳의 소프트웨어 파트너를 통해 금융 사기 방지, 제조 예방보전, 스마트시티의 비주얼 AI 등 산업별 요구에 대응하는165개 솔루션을 제공하고 있다”면서 소프트웨어 관련 투자 의지를 밝혔다. 레노버의 다음 목표는 ‘모든 곳으로 AI를 확산시키는 것’이다. 맬로이 부회장은 “데이터가 있는 곳에서 AI를 활용할 수 있는 솔루션을 제공하고자 한다. 에지에서 데이터를 빠르게 분석하고, 이를 통해 AI를 효과적으로 활용할 수 있는 접근법을 추진할 것”이라고 전했다.   ▲ 레노버는 클라우드부터 에지까지 폭넓은 AI 포트폴리오를 내세운다.(이미지 출처 : CIO Playbook 2024 - It’s All About Smarter AI)     ■ 기사 내용은 PDF로도 제공됩니다.

HPE는 엔비디아 GTC에서 생성형 AI, 딥러닝, 머신러닝 애플리케이션의 운영 고급화를 위한 통합 AI 네이티브 포트폴리오를 새롭게 업데이트했다고 발표했다. 이번에 발표된 업데이트는 ▲HPE와 엔비디아가 공동 엔지니어링한 풀스택 생성형 AI 솔루션 ▲HPE 머신러닝 추론 소프트웨어 프리뷰 버전 ▲엔터프라이즈급 검생증강생성(RAG : Retrieval-augmented generation) 레퍼런스 아키텍처 ▲신규 엔비디아 블랙웰(NVIDIA Blackwell) 플랫폼 기반 제품 개발 지원 등을 포함한다. 대규모 AI 모델의 개발 및 훈련을 위해 사전 구성 및 테스트된 풀스택 솔루션을 원하는 기업을 위해 생성형 AI용 HPE 슈퍼컴퓨팅 솔루션도 출시됐다. 고객들이 생성형 AI 및 딥러닝 프로젝트 개발을 가속할 수 있도록 목적 기반의 턴키 솔루션은 엔비디아 칩으로 구동되며 최대 168개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩(GH Grace Hopper Superchip)이 제공된다. 이 솔루션은 대기업, 연구소 및 정부 기관들이 인공지능 및 머신러닝 소프트웨어 스택을 활용한 모델 개발 과정을 더욱 단순화할 수 있도록 지원한다. 이러한 소프트웨어 스택은 고객들이 대규모 언어 모델(LLM), 추천 시스템, 벡터 데이터 베이스 등 생성형 AI와 딥러닝 프로젝트를 더욱 빠르게 추진할 수 있도록 한다. 설치에서부터 모든 서비스가 제공되는 턴키 솔루션을 이용해 AI 연구 센터와 대기업은 가치 창출까지의 시간을 더욱 단축하고 훈련은 2~3배 더욱 신속히 진행할 수 있다.     HPE의 생성형 AI용 엔터프라이즈 컴퓨팅 솔루션은 유연하고 확장 가능한 사용량 기반 과금 모델을 제공하는 HPE 그린레이크(HPE GreenLake)를 통해 이용할 수 있다. 엔비디아와 공동 엔지니어링하여 사전 구성된 미세 조정(fine-tuning) 및 추론 솔루션은 생성형 AI 애플리케이션을 제작하기 위해 필요한 정확한 컴퓨팅, 스토리지, 소프트웨어, 네트워킹 및 컨설팅 서비스를 제공함으로써 소요 시간과 비용을 절감해 준다. 이러한 AI 네이티브 풀스택 솔루션은 프라이빗 데이터 기반의 파운데이셔널 모델을 제작하기 위해 필요한 속도, 규모, 관리 기능을 제공하고 하이브리드 클라우드 모델 내 생성형 AI 애플리케이션을 배포할 수 있도록 지원한다. HPE와 엔비디아의 고성능 AI 컴퓨팅 클러스터 및 소프트웨어를 기반으로 하는 이 솔루션은 경량 모델 미세조정, RAG, 대규모 추론 등에 이상적이다. 이 솔루션을 실행하는 700억 개의 파라미터를 가진 라마 2(Llama 2) 모델의 미세 조정 시간은 노드 수에 따라 선형적으로 감소하여 16노드 시스템에서는 6분이 소요된다. 이러한 속도와 성능 덕분에 고객은 버추얼 어시스턴트, 지능형 챗봇, 기업용 검색과 같은 AI 애플리케이션으로 비즈니스 생산성을 개선하여 가치 실현을 더욱 빠르게 달성할 수 있다. 또한, 해당 솔루션은 HPE 프로라이언트 DL380a Gen11 서버(HPE ProLiant DL380a Server)를 기반으로 엔비디아 GPU, 엔비디아 스펙트럼-X 이더넷(NVIDIA Spectrum-X Ethernet) 네트워킹 플랫폼, 엔비디아 블루필드-3 DPU(NVIDIA BlueField-3 DPU)으로 사전 구성되어 있다. 이에 더해 HPE의 머신러닝 플랫폼과 애널리틱스 소프트웨어, 생성형 AI 모델 추론용으로 최적화된 엔디비아 NIM 마이크로서비스가 제공되는 엔비디아 AI 엔터프라이즈 5.0 소프트웨어뿐만 아니라 엔비디아 네모 리트리버(NeMo Retriever) 및 기타 데이터 사이언스와 AI 라이브러리를 이용할 수 있다. HPE의 안토니오 네리(Antonio Neri) CEO는 “생성형 AI의 미래를 실현하고 AI 생명주기 전반을 다루기 위한 솔루션은 설계부터 하이브리드로 제작되어야 한다. AI는 하이브리드 클라우드 환경이 필요한 워크로드로, 온프레미스나 코로케이션 시설, 퍼블릭 클라우드에서 AI 모델을 훈련하는 것부터 에지에서의 추론 작업까지 모든 환경에 걸쳐 진행된다”면서, “HPE와 엔비디아는 공동 설계한 AI 소프트웨어 및 하드웨어 솔루션을 지속적으로 선보이며, 고객들이 기획에서부터 제작까지 생성형 AI를 가속해서 개발하고 배포할 수 있도록 도와줄 것”이라고 말했다. 엔비디아의 젠슨 황(Jensen Huang) CEO는 “생성형 AI는 커넥티드 디바이스, 데이터 센터 및 클라우드 내 데이터에서 인사이트를 도출해내며 전 산업의 혁신을 일으킬 수 있다. 엔비디아와 HPE의 협력 확대를 통해 기업들은 데이터를 활용하여 새로운 AI 애플리케이션을 개발 및 배포함으로써 전례 없는 생산성 향상을 경험하고 비즈니스를 새롭게 전환할 수 있을 것”이라고 말했다.