딥러닝 모델 개발 프로세스 기록/분석/가시화 및 모델 튜닝하기

BIM 칼럼니스트 강태욱의 이슈 & 토크

이번 호에서는 AI 업계에서 표준적으로 사용되고 있는 도구를 개발하는 W&B(Weights & Biases)를 소개하고, 이를 사용하는 방법을 소개한다. 그리고 건설, 제조와 같은 전통 엔지니어링 산업에서 생존을 위해 생각할 부분을 정리해 보고자 한다.

■ 강태욱
건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다.
페이스북 | www.facebook.com/laputa999
블로그 | http://daddynkidsmakers.blogspot.com
홈페이지 | https://dxbim.blogspot.com
팟캐스트 | www.facebook.com/groups/digestpodcast

모든 산업 분야에서 딥러닝으로 시작된 인공지능(AI) 기술 트랜드가 거세게 몰아치고 있다. 특히, 올해는 생성형 AI가 업무에 실질적으로 사용되기 시작했다. 생성형 AI는 다양한 업무 분야를 자동화하고 있어, ‘Job Killer’라 불릴 만큼 오피스에 많은 영향을 주고 있다. 이와 같이 기술이 전통적인 시장과 일자리를 축소하기도 하지만, 이번 호에서 소개할 W&B는 골드러시에서 역마차를 만들어 운영했던 웰스파고의 전략을 잘 실행한 스타트업이다.

W&B 기술 소개

딥러닝 모델을 개발하다 보면 수많은 종류의 데이터셋, 하이퍼모델 파라미터 튜닝 등으로 인해 관리해야 할 자료가 매우 복잡해진다는 것을 알게 된다. W&B는 이름 그대로 완벽한 모델 학습을 위해 필요한 딥러닝 모델의 가중치(weights)와 편향(biases)을 모니터링 및 관리할 수 있는 로그 도구이다. 즉, 딥러닝 모델 개발자를 위한 프로세스 로그 및 가시화 플랫폼을 제공한다.

그림 1. W&B(AI Summer)

매우 직관적인 이름을 가진 이 스타트업은 텐서보드(Tensorboard)와 비슷하지만, 적은 코드로 모델 개발에 많은 통찰력을 준다. W&B의 WandB 라이브러리를 사용하면 딥러닝 모델 학습 시 지저분하게 붙어 나가는 로그 처리를 간단한 함수 몇 개로 처리할 수 있고, 통합된 대시보드 형태로 다양한 모델 학습 품질 지표를 확인 및 비교할 수 있다. 이외에도 학습 모델 하이퍼 파라미터 관리와 튜닝 및 비교 보고서 생성 기능을 제공한다. 로그는 숫자, 텍스트, 이미지 등 다양한 포맷을 지원한다.

그림 2. W&B 딥러닝 모델 개발 프로세스 가시화 대시보드