엔지니어링 디지털 혁신을 위한 클라우드

컴퓨팅 인프라의 새로운 표준으로 떠오르고 있는 클라우드는 기업들의 디지털 트랜스포메이션을 위한 필수 기술로 자리잡고 있다. 이러한 흐름은 엔지니어링 분야도 예외가 아니다. 한편으로 성공적인 클라우드 전환을 위해서는 전략적인 접근이 필요하다. 이 글에서는 AWS 클라우드를 통해 어떻게 모델링 및 시뮬레이션(Modeling & Simulation, 이하 M&S) 분야의 혁신을 이룰 수 있는지에 대해 알아보도록 한다.

■ 조상만
이메일 | smcho@amazon.com
홈페이지 | https://aws.amazon.com/ko
AWS 코리아의 솔루션즈 아키텍트로, 클라우드를 통해 제조 대기업의 디지털 트랜스포메이션을 기술적으로 돕는 역할을 담당하고 있다.

1. 전통적인 HPC 환경의 한계
디지털 기술의 발달로 오늘날 비즈니스 환경은 급속하게 바뀌고 있다. 이러한 비즈니스 변화에 잘 대응하기 위해서는 비즈니스의 혁신이 필요하며, 혁신을 위해서는 많은 실험이 필요하다. 아마존의 혁신 모델인 플라이휠(Flywheel)과 같이 비즈니스 혁신을 위해서는 많은 아이디어를 실험을 통해 구체화하고, 구체화된 내용에 대해서는 피드백을 받고, 다시 이러한 피드백을 통해 아이디어를 다듬고, 새로운 실험을 수행하는 등의 선순환 구조를 가져야 한다.
비즈니스 경쟁력의 핵심 요소라고 할 수 있는 R&D, 그 중에서도 모델링 및 시뮬레이션(M&S) 분야를 중심으로 생각해 볼 때, 온프레미스 환경의 HPC 시스템을 기반으로 하는 전통적인 M&S 프로세스는 혁신 플라이휠의 선순환 구조를 확보하기 어렵다.
일반적으로 M&S 분야에서는 부동 소수점 연산을 고속으로 처리하기 위해 다수의 x86 서버를 클러스터로 구성한 HPC(High Performance Computing: 고성능 컴퓨팅) 시스템을 이용한다. 많은 기업들이 이러한 HPC 시스템을 자사의 데이터센터 또는 전산실에 구축하여 운영하고 있다. 그러나 온프레미스 기반의 HPC 시스템은 몇 가지 한계점을 갖고 있다.

■ 시간(민첩성) : 인프라 확보에 많은 시간이 필요하다. 구매 프로세스, 구매를 위한 용량 산정, 시스템의 도입,설치,구성 등을 위해 때로는 몇 달의 시간이 필요할 수도 있다.
■ 비용 : 시스템을 구축하기 위해 필연적으로 초기 투자 비용이 필요하며, 일정 수준의 성능을 유지하기 위해 주기적인 인프라 교체가 필요하다.
■ 성능 : 기업의 운영 환경에 따라 조금씩 다를 수 있지만, 대부분의 경우 하나의 아키텍처를 통해 다양한 워크로드를 처리해야 한다.(one size fits all) 이는 특정 솔버(애플리케이션)에 최적화된 아키텍처를 확보하기 어려운 경우가 많다. 또한 대량의 데이터를 빠르게 처리하기 위해 병렬 파일 시스템을 사용할 경우, 운영 및 유지보수가 매우 어려운 Lustre와 같은 오픈 소스 기반의 파일시스템을 선택하거나, 이것이 부담될 경우 고비용의 상용 파일 시스템을 선택하게 된다.
■ 자원의 확장성 및 탄력성 : 한정된 리소스로 인해 대부분의 잡(job)이 즉시 처리되지 못하고 스케줄러의 큐(queue)에 쌓이게 되며, 다양한 테스트를 진행하기 어려워 연구원(또는 계산 과학자)의 상상력을 제한하게 된다. 2018년에 진행된 하이페리온 리서치에 따르면 HPC를 사용하는 약 73%의 조직에서 잡의 지연 및 지연으로 인한 잡의 취소를 경험한 것으로 나타났다.

클라우드의 정의와 특징
이러한 HPC 시스템을 클라우드 기반에서 구축하여 운영한다면, 온프레미스 환경과 비교해 어떠한 이점을 얻을 수 있을까? 구체적으로 살펴 보기에 앞서, 클라우드에 대한 이해를 돕기 위해 클라우드의 정의와 어떠한 특징이 있는지 잠시 알아보자.

그림 1. 클라우드 컴퓨팅의 개념