Arm은 AI(인공지능) 혁신을 촉진하고 AI 기반 경험을 현실화하기 위해 다양한 새로운 전략적 파트너십에 참여하고 있다고 소개했다. AI의 확산은 하드웨어와 소프트웨어 혁신 간의 지속적인 조율에 달려 있다. 이러한 결합은 에지에서 워크로드를 실행하는 작은 센서부터 대형 언어 모델(LLM) 학습을 위해 복잡한 워크로드를 처리하는 가장 큰 서버에 이르기까지 모든 기술의 접점에서 AI 기능을 향상시킨다. 에코시스템이 AI의 진정한 잠재력을 실현하기 위해 움직임에 따라 보안, 지속 가능성, 데이터 한계 등이 모두 어려운 과제가 될 것으로 보인다. 이에 따라 Arm은 에지에서 더 많은 추론을 포함하여 대규모로 AI를 구현할 수 있도록 업계 전반의 협업을 지속적으로 모색하는 것이 중요하다고 보고 있다.  Arm은 이미 개발이 진행되고 있는 자체 기술 플랫폼 외에도 AMD, 인텔, 메타, 마이크로소프트, 엔비디아, 퀄컴 테크놀로지 등 선도적인 기술 기업과 협력하여 보다 반응이 빠르고 안전한 사용자 경험을 위한 고급 AI 기능을 구현하는 데 중점을 둔 다양한 이니셔티브를 진행하고 있다. 이러한 파트너십은 컴퓨팅의 모든 영역에서 차세대 AI 경험을 제공하기 위해 1500만 명 이상의 Arm 개발자들에게 필요한 기본 프레임워크, 기술 및 사양을 제공하게 된다. Arm은 수년 동안 에지에서 AI를 제공하는 데 주력해 왔다. Arm에 따르면, 스마트폰 분야에서 서드파티 AI 애플리케이션의 70%가 Arm CPU에서 실행되고 있다. 그러나 지속 가능한 방식으로 AI를 제공하고 데이터를 효율적으로 이동하는 방법을 모색함에 따라 업계는 에지에서 AI 및 머신러닝(ML) 모델을 실행하도록 발전해야 한다. 한편, 개발자는 점점 더 제한된 컴퓨팅 리소스로 작업하고 있기 때문에 이는 어려운 과제다. Arm은 엔비디아와 협력하여 Ethos-U NPU용 로코드 오픈소스 AI 툴킷인 TAO를 적용하고 있으며, 이는 프로세서에 배포할 목적으로 성능에 최적화된 비전 AI 모델을 생성할 수 있도록 지원한다. 엔비디아 TAO는 대표적인 무료 오픈소스 AI 및 ML 프레임워크인 텐서플로(TensorFlow)와 파이토치(PyTorch)를 기반으로 구축에 사용하기 쉬운 인터페이스를 제공한다. 개발자에게 이는 모델을 쉽고 원활하게 개발 및 배포하는 동시에 더 복잡한 AI 워크로드를 에지 디바이스로 가져와 향상된 AI 기반 경험을 제공할 수 있음을 의미한다. AI의 지속적인 성장에 있어 중요한 측면은 에지에서의 뉴럴 네트워크 배포를 발전시키는 것이다. Arm과 메타는 ExecuTorch를 통해 에지에 있는 Arm 기반 모바일 및 임베디드 플랫폼에 파이토치를 제공하기 위해 노력하고 있다. 개발자는 ExecuTorch를 사용하여 모바일 및 에지 디바이스 전반에서 고급 AI 및 ML 워크로드에 필요한 최첨단 뉴럴 네트워크를 훨씬 더 쉽게 배포할 수 있다. 앞으로 Arm과 메타의 협력을 통해 파이토치 및 ExecuTorch를 활용하여 AI와 ML 모델을 쉽게 개발하고 배포할 수 있다. 메타와의 협력은 Arm이 이미 AI 및 ML 가속기를 위한 공통 프레임워크를 제공하고 딥 뉴럴 네트워크에서 사용되는 광범위한 워크로드를 지원하는 Tensor Operator Set Architecture(TOSA)에 투자한 상당한 성과를 기반으로 한다. TOSA는 Arm 아키텍처에 구축된 다양한 프로세서와 수십억 개의 디바이스를 위한 AI 및 ML의 초석이 될 것이다. 한편 Arm은 상대적으로 저렴한 비용으로 AI를 확장할 수 있도록, AI 워크로드에 초점을 맞춘 다양한 새로운 소형 데이터 유형을 지원하기 위해 노력해왔다. Arm, 인텔, 엔비디아는 2022년 공동 협력을 통해 새로운 8비트 부동소수점 사양인 ‘FP8’을 발표했다. 이후 해당 사양은 탄력을 받으며 AMD, Arm, 구글, 인텔, 메타, 엔비디아로 참여 기업 그룹이 확대되었으며, 함께 공식 OCP 8비트 부동소수점 사양(OFP8)을 개발했다. Arm은 최신 A-프로파일 아키텍처 업데이트에서 이 표준에 부합하는 OFP8을 추가하여 업계 전반의 뉴럴 네트워크에 OFP8이 빠르게 채택될 수 있도록 지원했다. OFP8은 소프트웨어 에코시스템에서 뉴럴 네트워크 모델을 쉽게 공유할 수 있도록 하는 8비트 데이터 형식으로, 수십억 개의 디바이스에서 AI 컴퓨팅 기능을 지속적으로 발전시킬 수 있도록 지원한다. 개방형 표준은 AI 에코시스템에서 혁신, 일관성 및 상호 운용성을 촉진하는 데 매우 중요하다. 이러한 표준에 대한 업계의 협력을 지속적으로 지원하기 위해 Arm은 최근 AMD, Arm, 인텔, 메타, 마이크로소프트, 엔비디아 및 퀄컴 테크놀로지가 포함된 Microscaling Formats(MX) 얼라이언스에 가입했다. MX 얼라이언스는 최근 수년간의 설계 공간 탐색 및 연구를 기반으로 마이크로스케일링으로 알려진 새로운 기술 사양을 공동 개발했으며, 이는 AI 애플리케이션의 소형 비트(8비트 및 8비트 미만) 훈련 및 추론을 위한 세분화된 확장 방식이다. 이 사양은 이러한 소형 비트 데이터 형식을 표준화하여 업계 전반의 단편화를 제거하고 확장 가능한 AI를 구현한다. MX 얼라이언스는 협업의 정신으로 하이퍼스케일 데이터 센터 운영자 및 기타 컴퓨팅 인프라 업계 관계자들로 구성된 오픈 컴퓨트 프로젝트를 통해 라이선스 없는 개방형 MX 사양을 공개하여 업계의 광범위한 채택을 장려했다. 이는 에코시스템 전반에서 확장 가능한 AI 솔루션에 대한 공평한 액세스를 제공해야 할 필요성을 인식한 결과다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 간단하게 머신러닝 플랫폼을 컴퓨터에 구축하는 방법을 설명한다. 굳이 복잡한 머신러닝 패키지와 운영체제를 설정하는 작업 없이 미리 만들어 놓은 가상머신 이미지를 설치하는 식으로 우리는 머신러닝 플랫폼을 얻을 수 있다. 이번 호에서는 이미지를 관리하고 가상화시키는 도커(Docker)를 이용한다. 도커는 가상화될 이미지를 만들고 실행할 수 있는 컨테이너이다. 여기서 이미 만들어 놓은 머신러닝 이미지를 다운로드하여 머신러닝 플랫폼을 구축한다. 이후 도커를 기반으로 케라스(Keras)를 이용한 LSTM(Long Short-term Memory)을 코딩해 보고 비정형 데이터 예측 방법을 익힌다.   ■ 강태욱 | 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 Engineering digest와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://sites.google.com/site/bimprinciple 팟캐스트 | http://www.facebook.com/groups/digestpodcast   머신러닝(기계학습)의 하나인 딥러닝은 이제 모든 산업에 필수적인 기술로 활용되고 있다. 최근 정부는 다른 산업분야에 비해 뒤쳐져 있는 건설기술 경쟁력을 확보하고자 스마트 건설 로드맵을 추진하고 있다. 이 로드맵은 인공지능 기술과 BIM을 포함하고 있다. 이런 접근이 성공하기 위해서는 건설 분야의 비정형 데이터를 BIM과 같이 정형화해 머신러닝 기술과 연계하는 일은 필수적일 것이다. 이번 호에서는 간단하게 머신러닝 플랫폼을 컴퓨터에 구축하는 방법을 설명한다. 굳이 복잡한 머신러닝 패키지와 운영체제를 설정하는 작업 없이 미리 만들어 놓은 가상머신 이미지를 설치하는 식으로 우리는 머신러닝 플랫폼을 얻을 수 있다. 이 글은 이미지를 관리하고 가상화시키는 도커를 이용한다. 도커는 가상화될 이미지를 만들고, 실행할 수 있는 컨테이너이다. 여기서 이미 만들어 놓은 머신러닝 이미지를 다운로드하여 머신러닝 플랫폼을 구축한다. 이후 도커를 기반으로 케라스를 이용한 LSTM(long short-term memory)을 코딩해 보고 비정형 데이터 예측 방법을 익힌다. 텐서플로, 케라스를 사용하는 방법은 크게 다음과 같다. ① 우분투 리눅스, 텐서플로 및 케라스 설치 ② 아나콘다 설치 후 텐서플로 및 케라스 설치 ③ AWS(Amazon Web Services)같은 클라우드 기반 텐서플로, 케라스 사용   각각이 장단점이 있다. 우선, ①, ②번 같은 경우는 직접 본인 컴퓨터에서 설치부터 시작해 사용까지 경험해본다는 측면에서 공부하기 좋으나, 수많은 관련 라이브러리 버전의 의존성을 맞춰주고 하나가 업데이트되면 다른 라이브러리 의존성이 깨져 재설치를 해야 하는 등 번거로움이 많다. ③번 같은 경우에는 클라우드 제공사이트에 회원가입 후 몇몇 설정만 해주면 쉽게 사용할 수 있으나, 중요한 부분은 업체에서 대신 해주기 때문에 깊은 부분까지 학습하기 어렵고 사용량이 많아지면 업체에 돈을 내야 한다. 딥러닝 라이브러리 사용 편의성과 과금을 피해가는 방법 중 하나가 이번 호에서 제안하는 도커를 이용한 딥러닝 라이브러리 사용 방법이다. 도커는 사전 설치된 이미지가 있으면 다운로드 받아 컨테이너에 실행하면 되므로 라이브러리 종속성 문제나 과금에 자유롭다. 다만 수많은 이미지 중 안정적인 버전을 찾기가 쉽지 않은 문제가 있다. 이 글에서는 Kitematic(카이트매틱)이란 도구를 사용해 딥러닝 라이브러리 설치된 이미지를 검색하고, 이를 사용해 LSTM을 실행해 보도록 하겠다.