• 회원가입
  • |
  • 로그인
  • |
  • 장바구니
  • News
    뉴스 신제품 신간 Culture & Life
  • 강좌/특집
    특집 강좌 자료창고 갤러리
  • 리뷰
    리뷰
  • 매거진
    목차 및 부록보기 잡지 세션별 성격 뉴스레터 정기구독안내 정기구독하기 단행본 및 기타 구입
  • 행사/이벤트
    행사 전체보기 캐드앤그래픽스 행사
  • CNG TV
    방송리스트 방송 다시보기 공지사항
  • 커뮤니티
    업체홍보 공지사항 설문조사 자유게시판 Q&A게시판 구인구직/학원소식
  • 디렉토리
    디렉토리 전체보기 소프트웨어 공급업체 하드웨어 공급업체 기계관련 서비스 건축관련 업체 및 서비스 교육기관/학원 관련DB 추천 사이트
  • 회사소개
    회사소개 회사연혁 출판사업부 광고안내 제휴 및 협력제안 회사조직 및 연락처 오시는길
  • 고객지원센터
    고객지원 Q&A 이메일 문의 기사제보 및 기고 개인정보 취급방침 기타 결제 업체등록결제
  • 쇼핑몰
통합검색 "강화학습"에 대한 통합 검색 내용이 16개 있습니다
원하시는 검색 결과가 잘 나타나지 않을 때는 홈페이지의 해당 게시판 하단의 검색을 이용하시거나 구글 사이트 맞춤 검색 을 이용해 보시기 바랍니다.
CNG TV 방송 내용은 검색 속도 관계로 캐드앤그래픽스 전체 검색에서는 지원되지 않으므로 해당 게시판에서 직접 검색하시기 바랍니다
매스웍스, ‘매트랩 엑스포 2025 코리아’에서 소프트웨어 정의 시스템 기술 혁신 제시
매스웍스가 4월 8일 ‘매트랩 엑스포 2025 코리아(MATLAB EXPO 2025 Korea)’를 개최했다고 발표했다. 행사에는 1500명 이상의 국내외 기술 전문가, 매트랩(MATLAB)과 시뮬링크(Simulink) 사용 고객이 참석해 다양한 산업 분야의 최신 기술 및 엔지니어링 트렌드를 확인했다. 이번 행사는 매스웍스의 아비 네헤미아(Avi Nehemiah) 설계 자동화 소프트웨어 부문 총괄 디렉터와 한화로보틱스 정병찬 대표이사의 기조연설로 시작됐다. 아비 네헤미아 디렉터는 기조연설에서 소프트웨어 정의 시스템(Software-defined systems)의 가치와 구현 방법을 심도 있게 다뤘다. 발표에 따르면, 모델 기반 설계(Model-Based Design)를 통해 요구사항부터 아키텍처, 기능, 구현, 테스트까지 이어지는 디지털 스레드를 구축하고, AI와 데이터 기반 기능, 클라우드 활용을 통해 하드웨어 변경 없이도 새로운 기능을 제공할 수 있다. 이러한 접근 방식은 자동차, 산업 기계, 의료 시스템 등 다양한 산업 분야에서 제품의 가치를 높이고 사용자 경험을 향상시키는 핵심 요소로 자리잡았다. 정병찬 대표이사는 ‘로봇, 혁신으로 일상과 산업을 재창조하다’라는 제목의 기조연설에서 로봇 기술의 현재와 미래를 조망했다. 정병찬 대표이사에 따르면 로봇 기술이 제조업을 넘어 서비스, 의료, 농업 등 다양한 분야로 확장되고 있다. 발표에 따르면 이러한 확장은 인공지능과 로봇 기술의 발전과 결합되어 산업 생태계에 상당한 영향을 미칠 잠재력을 갖는다. 매트랩 엑스포 2025 코리아의 기술 세션은 알고리즘 개발 및 AI, 전동화, 모델 기반 설계, AI 응용 엔지니어링, 모빌리티, 무선 및 위성 등 6개 트랙으로 구성됐다. 삼성전자, 현대자동차, SK텔레콤, 한국전력연구원 등 국내 첨단 기술 기업들이 참가해 매트랩과 시뮬링크의 활용 사례를 공유했다.     행사장의 데모 부스에서는 다양한 산업 분야의 기술이 소개됐다. 자동차 분야에서는 모델 기반 설계의 데브옵스(DevOps) 환경 통합 설루션을 전시했다. 또한 매스웍스는 요구사항 관리부터 시스템 아키텍처 설계, 소프트웨어 개발과 검증까지의 CI 환경 구축 방안을 시연했다. 무선 분야에서는 언리얼 엔진을 활용한 사실적 위성 시나리오 시각화 사례에 대한 핸즈온 데모를 통해 AI 기반 모델링 기법을 체험할 수 있게 했다. 참석자들은 정적 및 동적 검증을 위한 통합 플랫폼인 폴리스페이스(Polyspace) 제품군을 통한 코드 기반 검증 과정도 확인할 수 있었다. 아카데믹 부스에서는 세종대학교, 단국대학교, 카이스트, 인하대학교, 전북대학교, 창원대학교, 한국공학대학교 등 여러 대학의 연구 사례가 소개되었는데, 그중 인하대학교 임베디드 제어 연구실(ECL)은 ‘신속 제어 프로토타이핑 시스템 및 첨단 제어 기술’을 발표했다. 인하대학교 ECL은 자체 개발한 경량 신속 제어 프로토타이핑 시스템(LW-RCP)을 활용해 시뮬링크 기반의 블록 다이어그램 프로그래밍으로 제어 시스템을 설계하고 실시간 제어기를 구현하는 방법을 설명했다. 특히 2단 도립진자 시스템의 실시간 제어 시연에서는 최적제어와 강화학습 기반 제어를 활용한 기술을 시연했다. 매스웍스코리아의 이종민 대표는 "이번 매트랩 엑스포는 참석자들과 함께 국내 엔지니어링 분야의 미래를 확인할 수 있는 뜻깊은 행사였다”면서, “매스웍스는 앞으로도 AI, 전동화, 모빌리티 등 다양한 산업 분야의 기술 발전을 지원해 국내 산업의 경쟁력 강화에 기여할 것"이라고 전했다.
작성일 : 2025-04-08
스노우플레이크, 앱 성성 도구에서 딥시크-R1 프리뷰 지원
스노우플레이크가 자사의 생성형 AI 기반 애플리케이션 생성 도구인 ‘코텍스 AI(Cortex AI)’에서 ‘딥시크-R1(DeepSeek-R1)’ 모델을 지원한다고 밝혔다. 딥시크-R1은 지도학습(SFT) 없이 대규모 강화학습(RL)만으로 훈련된 오픈소스 모델로 자체검증, 스스로 답을 찾는 추론하는 사고체계(CoT), 추론 생성 등이 가능하다. 딥시크-R1은 스노우플레이크 코텍스 AI를 통해 서버리스 추론에 사용할 수 있는 비공개 프리뷰 형태로 제공된다. 배치(SQL 함수)와 대화형(파이썬 및 REST API) 모두를 통해 액세스할 수 있어 기존 데이터 파이프라인, 애플리케이션 및 통합 개발 환경(IDE)에 통합된다. 코텍스 AI는 고객이 코텍스 가드(Cortex Guard)를 활성화할 수 있도록 해 잠재적으로 유해한 콘텐츠를 필터링하고, 고객이 생성형 AI 애플리케이션을 대규모로 안전하게 배포할 수 있도록 한다. 스노우플레이크는 모델이 안전한 서비스 범위 내에서만 작동하고 고객 데이터가 모델 제공자와 공유되지 않도록 보장한다고 소개했다. 또한, 모델이 정식 출시되면 고객은 역할 기반 액세스 제어(RBAC)를 통해 딥시크-R1에 대한 접근을 설정해 거버넌스를 관리할 수 있다고 덧붙였다. 현재 미국 내 고객의 스노우플레이크 계정에서 사용할 수 있다. 스노우플레이크 코텍스 AI는 대규모 언어 모델(LLM) 추론, 파인튜닝, 검색 기반 생성(RAG) 기능을 포함한 종합 툴 세트를 제공하고 있다. 이를 통해 정형 및 비정형 데이터를 함께 분석하고 AI 기반 애플리케이션을 쉽게 구축할 수 있다. 메타, 미스트랄, 스노우플레이크를 포함한 주요 오픈소스 및 폐쇄형 LLM 모두 지원함으로써 간편하게 AI를 통합할 수 있게 한다. 스노우플레이크 AI 연구팀은 “딥시크-R1의 추론 비용을 추가로 절감해 고객에게 더 큰 비용 대비 성능 효율성을 제공할 계획”이라면서, “딥시크-R1을 통해 기업은 최첨단 AI 기술을 기반으로 한 생성형 AI 애플리케이션을 보다 빠르게 제공함으로써 생태계에서 혁신의 새로운 표준을 제시하게 될 것”이라고 말했다.
작성일 : 2025-02-05
매스웍스코리아, ‘제4회 매트랩 대학생 AI 경진대회’ 수상자 발표
매스웍스는 국내 대학생들의 인공지능(AI) 기술 활용 능력 개발을 지원하는 ‘제4회 매트랩 대학생 AI 경진대회’ 수상자를 발표했다. 많은 학생들이 뛰어난 기술 역량과 창의성을 기반으로 매트랩(MATLAB)을 활용한 AI 모델을 구현한 가운데 부산대학교 전기전자공학과 학생들로 구성된 ‘전지적 레이더 시점’ 팀이 최우수상을 수상했다. 2021년에 시작된 ‘매트랩 대학생 AI 경진대회’는 매년 국내 대학생들의 AI 기술 활용 능력과 전문 분야별 경쟁력 강화를 지원해 왔다. 올해 참가자들은 1인 가구, 고령화, 교통, 환경 등 사회 변화에 대응하는 시의성 높은 프로젝트를 제출했다. 또한 다수의 참가자들이 AI를 활용해 사회 문제를 해결할 수 있는 효과적인 솔루션을 제시하며 실질적 응용 가능성과 기술적 우수성을 동시에 선보였다.  매스웍스코리아의 김경록 교육 기관 세일즈 매니저는 “이번 대회의 참가자들은 사회적 약자 지원, 교통 안전, 기후 대응 등 사회적 가치를 창출할 수 있는 다양한 프로젝트를 제출했다”면서, “매스웍스의 소프트웨어를 활용해 완성도를 높이고, 최근 공학 분야 트렌드에 맞춰 AI기술을 적극 활용한 아이디어를 제시한 점이 고무적이었다”고 말했다.     부산대학교 전지적 레이더 시점팀(전민욱, 박나윤, 신다민, 박도현, 김연호)은 노년층이나 보행이 불편한 사람들의 안전한 일상을 지원하는 ‘낙상 감지를 위한 레이더 기반 인간 행동 인식 시스템’으로 1등상을 수상했다. 학생들은 매트랩을 활용해 데이터 준비에서부터 하드웨어 배포까지 AI 모델링 워크플로의 전 영역에서 우수한 성과를 도출했다. 또한, 부산대 팀은 AI 모델 성능 향상을 위해 직접 실험을 통해 데이터를 수집하고, 입력 훈련 데이터와 비슷한 특징을 갖는 데이터를 생성할 수 있는 조건부 생성적 적대 신경망(CGAN)이라는 생성형 AI 모델을 활용해 데이터 불균형 문제를 해결했다. 심사단은 프로젝트에서 고안된 LED 점등 및 문자 메시지 전송 기능을 고령화로 인해 증가한 노인 낙상 사고에 대응할 수 있는 참신한 아이디어라고 평가했다. 전지적 레이더 시점팀의 전민욱 대표는 “매트랩이 제공하는 다양한 툴박스를 활용해 레이더 신호의 전처리와 데이터 분석을 효과적으로 수행하고, 복잡한 딥러닝 프로세스를 보다 직관적으로 다룰 수 있었다”면서, “특히 매트랩의 다양한 신경망 코드를 활용해 복잡한 신경망 모델을 쉽게 적용할 수 있어 큰 도움을 받았다”고 말했다. 2등 상을 수상한 세종대학교 기계항공우주공학부 학생들로 구성된 AIV팀(정진영, 윤정호)은 시뮬링크(Simulink)와 다양한 툴박스를 활용해 강화학습 기반의 로봇 회피 제어 모델을 구현해 로봇의 주행 안전성과 실내 환경 적응 능력을 입증했다. 해당 모델은 청소기, 서빙 로봇 등 스마트 AI 로봇 개발에 활용 가능할 것으로 기대된다. 3등 상을 수상한 한국기술교육대학교 메카트로닉스공학부 생산시스템전공생들로 구성된 AIM LAM팀(김호진, 박지원)은 1차원 컨벌루션(1D-Convolution) 모델을 사용해 리니어 모션(LM) 가이드의 고장을 효과적으로 검출하는 시스템을 개발했다. 출품작은 설명가능한 인공지능(Explainable AI)을 적용해 개발 완성도를 높였으며, 단순한 구조로 모델을 개발해 속도성과 유지보수 측면에서 산업 현장에 적용 가능성이 매우 높다는 차별점을 갖췄다. 매스웍스코리아의 이종민 대표는 “매스웍스는 대학생들이 참여할 수 있는 다양한 경진대회를 주최 및 후원하며 국내 공학 계열의 미래 인재를 양성하는 데에 지속적인 노력을 쏟고 있다”면서, “매스웍스 주최의 대학생 AI 경진대회에서 국내 대학생들의 혁신적인 기술 아이디어와 실용성 높은 프로젝트를 통해 매트랩 및 시뮬링크에 대한 높은 이해도를 확인하게 되어 기쁘다”고 말했다.
작성일 : 2024-10-15
[무료다운로드] 생성형 AI 데이터 학습에 사용되는 딥러닝 강화학습의 개념과 구조
BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 생성형 AI 모델 학습과 같이 현재도 다양한 곳에서 필수로 사용되는 강화학습 딥러닝 기술의 기본 개념, 이론적 배경, 내부 작동 메커니즘을 확인한다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   강화학습은 바둑, 로봇 제어와 같은 제한된 환경에서 최대 효과를 얻는 응용분야에 많이 사용된다. 강화학습 코딩 전에 사전에 강화학습의 개념을 미리 이해하고 있어야 제대로 된 개발이 가능하다. 강화학습에 대해 설명한 인터넷의 많은 글은 핵심 개념에 대해 다루기보다는 실행 코드만 나열한 경우가 많아, 실행 메커니즘을 이해하기 어렵다. 메커니즘을 이해할 수 없으면 응용 기술을 개발하기 어렵다. 그래서 이번 호에서는 강화학습 메커니즘과 개념 발전의 역사를 먼저 살펴보고자 한다. 강화학습 개발 시 오픈AI(OpenAI)가 개발한 Gym(www.gymlibrary.dev/index.html)을 사용해 기본적인 강화학습 실행 방법을 확인한다. 참고로, 깃허브 등에 공유된 강화학습 예시는 대부분 게임이나 로보틱스 분야에 치중되어 있는 것을 확인할 수 있다. 여기서는 CartPole 예제로 기본적인 라이브러리 사용법을 확인하고, 게임 이외에 주식 트레이딩, 가상화폐, ESG 탄소 트레이딩, 에너지 활용 설비 운영과 같은 실용적인 문제를 풀기 위한 방법을 알아본다.   그림 1. 강화학습의 개념(출처 : Google)   강화학습의 동작 메커니즘 강화학습을 개발하기 전에 동작 메커니즘을 간략히 정리하고 지나가자.   강화학습 에이전트, 환경, 정책, 보상 강화학습의 목적은 주어진 환경(environment) 내에서 에이전트(agent)가 액션(action)을 취할 때, 보상 정책(policy)에 따라 관련된 변수 상태 s와 보상이 수정된다. 이를 반복하여 총 보상 r을 최대화하는 방식으로 모델을 학습한다. 정책은 보상 방식을 알고리즘화한 것이다. <그림 2>는 이를 보여준다. 이는 우리가 게임을 하며 학습하는 것과 매우 유사한 방식이다.   그림 2. 강화학습 에이전트, 환경, 액션, 보상 개념(출처 : towardsdatascience)   강화학습 설계자는 처음부터 시간에 따른 보상 개념을 고려했다. 모든 시간 경과에 따른 보상치를 동시에 계산하는 것은 무리가 있으므로, 이를 해결하기 위해 DQN(Deep Q-Network)과 같은 알고리즘이 개발되었다. 모든 강화학습 라이브러리는 이런 개념을 일반화한 클래스, 함수를 제공한다. 다음은 강화학습 라이브러리를 사용한 일반적인 개발 코드 패턴을 보여준다.   train_data, test_data = load_dataset()  # 학습, 테스트용 데이터셋 로딩 class custom_env(gym):  # 환경 정책 클래스 정의    def __init__(self, data):       # 환경 변수 초기화    def reset():       # 학습 초기 상태로 리셋    def step(action):       # 학습에 필요한 관찰 데이터 변수 획득       # 액션을 취하면, 그때 관찰 데이터, 보상값을 리턴함 env = custom_env(train_data)  # 학습환경 생성. 관찰 데이터에 따른 보상을 계산함 model = AgentModel(env)      # 에이전트 학습 모델 정의. 보상을 극대화하도록 설계 model.learn()                       # 보상이 극대화되도록 학습 model.save('trained_model')    # 학습된 파일 저장 # 학습된 강화학습 모델 기반 시뮬레이션 및 성능 비교 env = custom_env(test_data)  # 테스트환경 생성 observed_state = env.reset() while not done:    action = model.predict(observed_state) # 테스트 관찰 데이터에 따른 극대화된 보상 액션    observed_state, reward, done, info = env.step(action)    # al1_reward = env.step(al1_action) # 다른 알고리즘에 의한 액션 보상값과 성능비교    # human_reward = env.step(human_action) # 인간의 액션 보상값과 성능비교   ■ 상세한 기사 내용은 PDF로 제공됩니다.
작성일 : 2024-03-05
[칼럼] 챗GPT가 모든 것을 바꾼다
디지털 지식전문가 조형식의 지식마당   요즘 세계적으로는 ‘챗GPT(ChatGPT)’ 열풍이 대단하다. 이것은 메타버스 열풍과는 좀 다르다. 메타버스 열풍은 특정 몇몇 사람과 미디어에서 선도된 경향과 직접 관계도 없는 NFT 및 ESG가 끼면서 사용자의 관심이 급격히 냉각하였다. 그러나 챗GPT 열풍은 사용자로부터 오는 것이다. 사람마다 차이는 있겠지만, 이것은 나의 47년 디지털 삶에 있어서 컴퓨터, PC, 인터넷, 스마트폰 같은 급의 충격이라고 생각된다. 챗GPT에 대해서 격하게 반응하는 세 종류의 사람들이 있다. 챗GPT가 자신에게 엄청난 기회가 왔다고 생각하는 사람들이다. 꿈 깨야 한다. 모든 사람들에게 기회이자 위협이다. 챗GPT가 놀랍지만, 못하는 것을 찾아서 떠드는 사람들이다. 인공지능 자체를 모르는 사람들이다. 인공지능이 항상 정답을 말한다는 잘못된 인식이 우리 사회에 있다. 인공지능에 엄청난 오답이 있다. 그것을 지속적으로 발전해 가는 것이 인공지능의 비전이다. 챗GPT가 가짜뉴스와 비도덕적이 될 수 있다고 하는 두려워하는 사람들이다. 현재도 가짜 뉴스를 퍼뜨리는 것은 기계가 아니라 사람이다. 당장 유튜브에도 엄청나게 많은 가짜뉴스와 비도덕적인 내용이 있다.   그림 1. 챗GPT(이미지 출처 : 오픈AI)   결론적으로 모든 AI의 책임은 컴퓨터나 소프트웨어 아니라 사람이다. 그리고 AI에서 나온 정보도 사용할 것인가 아닌가 역시 인간인 우리들의 몫이다. 인공지능이 발전할 수록 인간의 자연지능(natural intelligence)과 결합된 증강지능(augmented intelligence)이 필요하다고 생각한다. 챗GPT는 GPT-3.5를 기반으로 하는 대화형 인공지능 챗봇이다. 챗GPT는 오픈AI(OpenAI)가 개발한 프로토타입 대화형 인공지능 챗봇이다. 챗GPT는 대형 언어 모델 GPT-3의 개선판인 GPT-3.5를 기반으로 만들어졌으며, 지도학습(supervised learning)과 강화학습(reinforcement learning)을 모두 사용해 파인 튜닝되었다. 챗GPT는 생성 사전교육 트랜스포머(Generative Pre-trained Transformer) 와 챗(chat)의 합성어이다. 챗GPT는 2022년 11월 프로토타입으로 시작되었으며, 다양한 지식 분야에서 상세한 응답과 정교한 답변으로 인해 집중받았다. 다만, 정보의 정확도는 중요한 결점으로 지적되고 있다. 다른 챗봇들과 달리 챗GPT는 주고받은 대화와 대화의 문맥을 기억할 수 있으며, 모종의 보고서나 실제로 작동하는 파이썬 코드를 비롯해 인간과 같은 상세하고 논리적인 글을 만들어 낼 수 있다. 일부 저술가는 챗GPT가 놀라울 만큼 인간적이고 상세한 글을 생성할 수 있으며, 이 문제가 학계에서 심각한 문제가 될 수 있다 평가했다. 전작인 ‘인스트럭트GPT(InstructGPT)’에 비해 챗GPT는 위험하고 부정직한 답변을 가능한 한 회피하도록 설계되었다.   그림 2. 챗GPT의 경쟁자들이 몰려온다.   메릴랜드 대학의 부교수인 톰 골드스타인(Tom Goldstein)은 작년 12월에 트위터로 챗GPT를 하루 실행하는 비용이 10만 달러(약 1억 2000만 원) 정도로 추정한다고 했다. 현재는 얼마나 올랐을까? 챗GPT로 올해 2억 달러(약 2462억 원), 2024년 말까지 10억 달러(약 1조 2300억 원)의 매출을 올릴 것으로 예상된다고 한다. 현재 오픈AI의 기업 가치가 약 290억 달러(약 35조 7000억 원)라고 한다. 뉴욕타임스 기사에 따르면, 오픈AI가 챗GPT 연구개발에 30억 달러(약 3조 7000억 원) 정도 돈을 쓴 거 같다. 인공지능을 만들고 운영하기 위해서 점점 더 많은 돈이 필요한 시대가 되는 것 같다. 구글은 ‘바드(Bard)’라는 이름의 대화형 챗봇을 출시하였지만, 커다란 실수를 저질렀다. 인간의 글을 설득력 있게 모방하는 매우 인기 있는 언어 앱인 챗GPT의 제작자에게 수십억 달러를 투자한 마이크로소프트와 인공지능 대결을 벌일 것이라고 밝혔다. 구글이 오픈AI와 마이크로소프트의 연합을 추격하기는 쉽지 않을 것 같다. 올해의 목표는 나의 개인 지식 데이터베이스와 챗GPT를 연결해서 비즈니스 혁신을 하는 것이다. 단기적으로는 챗GPT가 다른 개발자들에게 위협이 되지만, 장기적으로는 모든 인공지능 개발자가 챗GPT의 발전으로 사라지는 현상이 발생할 수도 있다.   그림 3. 챗GPT 가 모든 개발자의 위협이다.   챗GPT에게 이런 질문을 했다. “챗GPT 같은 초거대 AI의 출현은 작은 AI 개발업체에게는 기회일까, 위협일까?” 대답은 다음과 같다. “소규모 AI 개발자에게는 기회이자 위협이 될 수 있습니다. 한편으로는 챗GPT와 같은 AI 거대 기업의 등장으로 AI 기술의 가시성이 높아져 이 분야에서 더 많은 투자와 성장 기회로 이어져 소규모 AI 개발자에게 도움이 될 수 있습니다. 반면에 자원과 시장 점유율 측면에서 이러한 거대 기업의 우위는 소규모 AI 개발자가 경쟁하고 투자 기회를 찾기 어렵게 만들 수 있습니다. 궁극적으로 소규모 AI 개발자가 이러한 변화에 적응하고 고유한 강점과 기능을 활용하여 시장에서 성공하는 방식에 달려 있습니다.” 원론적인 이야기이지만, 나 역시 같은 생각을 하고 있다. 주위에 많은 작은 AI 업체들이 있고, 네이버도 세계 시장에서 보면 작은 업체일 수 있다. 자신들이 기회가 왔다고 하지만 사실 지금보다 더 힘들어질 가능성이 더 크다. 어느 시대에도 초기에는 수 많은 작은 업체에게 기회가 왔지만, 결국 빅 1과 2~3개의 글로벌 기업으로 시장이 정리된다. 챗GPT, GPT는 오픈AI가 만든 알고리즘과 고유 용어로 다른 회사들이 사용할 수 없다. 샴페인과 스파클링 와인처럼, 오직 오픈AI만 이 용어를 사용할 수 있다. 수 많은 사람의 머리에 각인이 되어버려서 첨단 비즈니스에서 선점이 얼마나 중요한가를 알 수 있다. 일 년 전 GPT-2부터 사용했지만, 본격적으로 괜찮아진 것은 작년 GPT-3부터이다. 현재 챗GPT는 GPT-3.5라고 알려져 있다. 남보다 조금 더 안다고, 조금 더 앞서간다고 유행에 편승하거나 자만하지 말고, 진짜 핵심 지식에 정진해야 한다. 가능한 챗GPT를 나의 삶이나 일에 많이 사용할 계획이다. 최근에 챗GPT를 이용해서 디지털 트윈 정의 언어(DWDL) 모델링을 하였다. 챗GPT에게 간단한 전기 선풍기 디지털 트윈을 DWDL로 만들어 달라고 하면 <그림 4>와 같이 코딩의 결과를 만들어준다.   그림 4. 전기 선풍기 디지털 트윈의 DWDL 예시   그런 다음 자신이 원하는 컴퓨터 언어로 코딩도 해 준다. 이제는 상상력의 세상이 되고 있다. 이 밖에 다양한 시도를 하고 있다. 우리의 일상에서는 배보다 배꼽이 크다. 라면을 먹고 스타벅스에서 라면보다 비싼 커피 한 잔 할 수 있다. 챗GPT 열풍은 자연 언어 처리(NLP)를 먹고, 자연 언어 처리는 인공지능을 먹고, 인공지능은 컴퓨터 공학 전체를 잠식하고 있다. 어쩌면 현재의 디지털 전환도 챗GPT 열풍에 잠식될 수 있다. 나의 가상회사(virtual company)에 새로운 디지털 직원(digital worker)들을 뽑았다. 이전의 에버노트 부장과 롬리서치 차장, 그리고 신입사원 챗CPT이다. 챗CPT라는 직원은 아직 인턴이라서 월급을 주지 않고 있지만, 일을 잘하면 월급으로 한 20 달러 정도 줄 예정이다. 이 신입사원은 내가 놀거나 자고 있을 때도 열심히 일하는 것 같다. 일은 잘 하는 것 같은데, 내가 일을 시킬 때 질문을 잘 해야 잘 알아 듣고 일을 잘 하는 것 같다. 앞으로 여러 디지털 직원을 지속적으로 고용할 예정이다. 4대보험과 고정비가 안 들어가서 좋다. 내가 직원들을 너무 착취하는 것은 아닐까? 나중에 디지털 회식을 해야겠다. 이번에는 챗GPT와 GPT-3 직원을 영입했다. 이 두 디지털 직원은 비슷한 친척이지만, 완전히 다른 직원이다. 그 밖에도 이번에 강력한 몇몇 디지털 직원을 영입했지만, 영업 비밀이다. 그러나, 나의 인생의 목적은 일이 아니라 예술이다. 올해 GPT로 사업을 하지만, GPT로 예술을 시작할 예정이다. 상반기는 GPT를 이용한 미술 작업이고 하반기는 GPT를 이용한 음악 작곡이다. 미술 작업은 어느 정도 감을 잡고 있지만, 음악 작곡 분야는 많이 공부해야 할 것 같다. 일단 나는 열풍을 싫어한다. 이런 열풍을 타고 싶어하지도 않고, 이런 열풍으로 돈을 벌고 싶지도 않다. 나는 단지 호기심이 많고 미래에 대비하는 것을 좋아한다. 챗GPT 열풍으로 많은 사람들이 똑똑해지고 있고, 검색 지식 정보가 아닌 생성 지식 정보가 넘칠 것으로 예상된다. 오늘도 인터넷 신문에 실린 전문가 컬럼을 역으로 챗GPT에게 질문을 했더니 전문가 컬럼 수준과 유사하거나 그 이상을 대답해 주고 있다. 당신이 작가라면 우선 챗GPT와 의논해 보는 것이 신상에 좋을 것이다. 챗GPT 시대 이후에는 생성 지식 정보가 많다는 것은 정보와 생각의 노이즈 또는 교란이 많아질 수 있다는 뜻이기도 하다. 우리의 비즈니스에서 가장 중요한 것은 결정이다. 결정에는 많은 지식과 정보, 첩보, 지혜, 경험, 사고가 필요하다. 이런 상황을 미리 대비해야 한다. 워렌 버핏 회장이 “물이 빠지면 누가 발가벗고 수영을 하고 있었는지 알 수 있다”고 말했다. 챗GPT로 조합된 타인의 지식의 물이 빠지면, 누가 진정한 독창적 지식을 가지고 있는지 알 수 있을 것이다.   조형식 항공 유체해석(CFD) 엔지니어로 출발하여 프로젝트 관리자 및 컨설턴트를 걸쳐서 디지털 지식 전문가로 활동하고 있다. 현재 디지털지식연구소 대표와 인더스트리 4.0, MES 강의, 캐드앤그래픽스 CNG 지식교육 방송 사회자 및 컬럼니스트로 활동하고 있다. 보잉, 삼성항공우주연구소, 한국항공(KAI), 지멘스에서 근무했다. 저서로는 ‘PLM 지식’, ‘서비스공학’, ‘스마트 엔지니어링’, ‘MES’, ‘인더스트리 4.0’ 등이 있다.     ◼︎ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2023-03-03
유니티, 드론 딜리버리 챌린지서 ML 에이전트의 알고리즘 성능 확인하다
유니티 코리아가 후원하고 RL 코리아(Reinforcement Learning Korea, 강화학습 코리아)가 주최한 ‘2021 RL 코리아 드론 딜리버리 챌린지’ 행사가 성료되어 어워즈 수상작들을 발표했다.  RL 코리아는 2017년 설립된 강화학습을 위한 국내 최대 규모의 오픈 커뮤니티로, 올해 처음으로 시작된 ‘2021 RL 코리아 드론 딜리버리 챌린지’는 드론이 물류창고의 물품들을 목적지로 빠르고 안전하게 배송하도록 학습시키는 것을 목표로 유니티로 구현된 시뮬레이션 환경에서 강화학습 알고리즘을 학습하는 챌린지다.  이 행사는 11월 1일부터 12월 7일까지 약 5주간 진행됐으며, 총 28개 팀이 861회 챌린지 모델을 제출하며 강화학습에 대한 뜨거운 관심을 확인할 수 있었다.    유니티로 구현된 시뮬레이션 환경에서 강화학습 모델을 제작하는 2021 RL 코리아 드론 딜리버리 챌린지   이번 챌린지에서 상위 10 위권 내 7팀, 전체 28개 제출작 중 17개가 유니티 머신러닝 에이전트(Unity Machine Learning Agents, 이하 ML 에이전트)에서 제공하는 알고리즘을 통해 학습을 진행했으며 나머지 팀들의 경우 ML에이전트에서 제공하는 파이선(Python) API를 통해 알고리즘을 구현했다.  2017년 처음 출시된 ML 에이전트는 복잡한 시뮬레이션 환경하에서 강화학습 관련 연구 프로젝트나 자가 학습을 통해 스스로 진화하는 콘텐츠가 포함된 게임 등을 제작하는 데 활용된다. 2021년 5월 새롭게 공개된 ML 에이전트 v2.0은 협동형 동작을 훈련시키는 기능, 에이전트가 환경 내 다양한 엔티티를 관찰하는 기능, 여러 작업을 훈련하도록 지원하는 작업 파라미터화 기능 등 새로운 개선 사항들을 통해 복잡한 협동형 환경을 보다 완벽하게 지원한다. 챌린지에 제출된 모델들은 배달 완료 수 및 소요 시간을 기반으로 심사하였으며, 총 4팀이 수상했다.  RL 코리아 민규식 연구원은 “유니티를 활용할 경우 비교적 간단하게 멋진 시뮬레이션 환경을 개발하는 것이 가능하다. 또한 유니티의 ML 에이전트를 사용하면 강화학습 전문가부터 초보자들까지 누구나 쉽게 챌린지에 참여할 수 있을 것으로 생각하여 유니티와 ML 에이전트를 기반으로 챌린지 환경을 개발하게 되었다.”며, “이번 챌린지를 통해 참가자 분들이 파이선 API의 사용부터 ML에이전트를 통한 학습까지 ML 에이전트의 다양한 기능들을 사용해볼 수 있는 기회가 되었을 것으로 생각한다”고 밝혔다. 유니티 코리아 김인숙 대표는 “올해 처음 진행된 행사를 통해 강화학습 분야에서 뛰어난 재능을 가진 팀들과 우수한 결과를 보여준 알고리즘들을 확인할 수 있어 기뻤다”며, “참가자들이 유니티 구현된 시뮬레이션 환경에서 ML 에이전트가 제공하는 뛰어난 안정성과 성능을 다시 한 번 확인할 수 있는 좋은 기회였으며, 앞으로도 크리에이터들이 쉽고 편리하게 개발할 수 있도록 노력할 것이다”라고 말했다.
작성일 : 2021-12-27
[케이스 스터디] 로봇의 디지털 트윈 제작 및 훈련 사례
유니티의 인공지능 제품 활용 프로젝트   유니티는 인공지능 제품으로 제작한 다양한 유니티 프로젝트를 진행하고 있다. 이 글에서는 OpenCV Spatial AI 대회의 최근 출품작을 소개한다. 이 대회에서는 인상적인 예제들을 통해 유니티의 로보틱스와 컴퓨터 비전, 강화학습, 그리고 증강현실 기능을 선보인다. ■ 자료 제공 : 유니티코리아     전통적으로 유니티는 게임 개발자들을 지원하는 엔진과 툴을 제작해 왔지만, AI@Unity 그룹에서는 머신러닝, 컴퓨터 비전, 로보틱스와 같은 분야를 중심으로 툴을 제작하여 게임 이외에, 특히 인공지능과 실시간 3D 환경에 의존하는 애플리케이션을 지원하고 있다. 제라드 에스포나(Gerard Espona)와 카우디(Kauda) 팀의 대회 출품작에는 여러 예제에 걸쳐 유니티의 다양한 AI 툴과 패키지가 사용되었다. 팀은 컴퓨터 비전 모델을 훈련하기 위해 유니티의 Perception 패키지를 사용했으며, ML-Agents 툴킷을 사용하여 머신러닝 모델을 훈련하고 로봇 팔을 시뮬레이션했다. 이 글에서는 에스포나와의 인터뷰를 통해 이번 프로젝트를 제작한 계기를 알아보았다.   카우다 팀이라는 이름은 어디에서 착안했는지 지오바니 레르다(Giovanni Lerda)가 만든 카우다(KAUDA)에서 팀 이름을 따왔다. 카우다는 3D 프린팅이 가능한 데스크톱 크기의 무료 오픈 소스 5축 로봇 팔로, 카우다를 사용하여 이번 프로젝트를 원격으로 공동 작업할 수 있었다.     유니티에서 어떻게 카우다의 디지털 트윈을 만들었는지 카우다의 디지털 트윈을 구동하는 유니티 애플리케이션인 Kauda Studio를 개발했다. 이는 역운동학(IK) 컨트롤과 실물 카우다에 대한 USB/블루투스 연결을 지원하여 정확한 카우다 시뮬레이션과 기능을 제공하며, 여러 대의 OpenCV OAK-D 카메라도 지원할 수 있다.   ▲ OAK-D 카메라의 유니티 모델   OAK-D 카메라가 무엇이며, 어떻게 유니티와 같이 사용했는지 인텔 MyriadX VPU 기반의 온보드 프로세싱을 갖춘 OAK-D 카메라는 스테레오 뎁스 카메라 두 대와 4K 컬러 카메라 한 대를 결합한 것으로, 다양한 기능을 자동으로 처리한다. 대회에 참여하는 과정에서 OAK 기기용 유니티 플러그인을 제작했으며, 유니티로 디지털 트윈도 만들고 싶었다. OAK-D 유니티 디지털 트윈은 가상 3D 카메라에 합성 데이터 수집에 사용될 수 있는 정확한 시뮬레이션을 제공했으며, 실제 기기의 파이프라인에도 가상 이미지를 제공했다. 가상 OAK-D 카메라로 커스텀 아이템을 훈련하기 위해 필요한 합성 데이터는 Unity Perception 패키지를 사용하여 수집할 수 있었다.     유니티로 디지털 트윈을 만드는 것이 왜 중요한가 디지털 트윈이 있어서 카우다에 추가 기능을 활성화할 수 있었다. 유니티의 증강현실(AR) 기능을 사용하면 현실에서 가상 로봇과 상호 작용하는 것도 가능하다. 이를 활용하면 로봇 없이도 로봇을 유지 보수하는 방법을 배울 수 있다. 아울러 로봇의 정확한 가상 표현이 있기에 코드를 작성하지 않고도 순차적인 작업을 프로그래밍할 수 있다. 디지털 트윈 덕분에 RL(강화학습) 훈련을 수행할 수 있었다. RL은 시간이 많이 걸리는 과정으로, 지극히 단순한 예제가 아닌 이상 언제나 시뮬레이션이 필요하다. 유니티로 제작한 카우다에 ML-Agents 툴킷을 사용하여 제어를 위한 RL 훈련을 수행했다. 또한 유니티에서 로봇을 복제하고 로봇 영역 안에 있는 사람의 위치를 카메라로 측정하여, 사람과 기계 사이의 협업과 안전 절차를 테스트했다. 오류가 발생하면 사람이 다칠 수도 있는 대형 로봇에 이 기능을 활용할 수 있다. 시뮬레이션 환경을 이용하면 이와 같은 시나리오를 안전하게 테스트할 수 있다.   ▲ ML-Agents를 통한 훈련 및 호스트와 OAK-D 간의 추론 비교   이번 프로젝트에서 ML-Agents 툴킷을 어떤 방식으로 활용했는지 RL은 강력한 로보틱스용 프레임워크이며, Unity ML-Agents는 디지털 트윈이 복잡한 작업을 배우고 수행할 수 있도록 하는 뛰어난 툴킷이라고 생각한다. 대회 기간이 짧았기 때문에, 목표는 간단한 RL ‘만지기’ 과제를 구현하고 결과 모델을 변환하여 OAK-D 기기에서 추론을 실행하는 것이었다. 로봇은 ML-Agents를 통해 탐지된 3D 오브젝트를 동적으로 만지도록 IK 컨트롤을 사용하여 최적의 경로를 학습했다. 이를 위해 우선 Spatial Tiny YOLO를 사용하여 3D 오브젝트 탐지기를 구현했다. RL 모델(PPO)은 탐지 결과와 IK 컨트롤 포인트의 위치를 입력 관찰 값으로 사용한다. 출력 동작은 IK 컨트롤 포인트의 3축 이동이 담당한다. 각 단계마다 작은 페널티를 주고 로봇이 오브젝트를 만질 때 큰 보상(1.0)을 주는 식으로 보상 시스템을 구성했다. 훈련 속도를 높이기 위해, 동시에 학습하는 다중 에이전트를 활용하여 실제 Spatial Tiny YOLO와 동일한 출력을 가진 가상의 Spatial Tiny YOLO를 개발했다. 모델의 훈련이 끝나면 OpenVino 툴킷을 통해 OpenVino IR 및 Myriad Blob 포맷으로 변환하여 OAK-D 기기에 모델을 로드하고 추론을 실행했다. 최종 파이프라인은 Spatial Tiny YOLO와 RL 모델이다. 유니티 플러그인 덕분에 유니티에서 ML-Agents와 OAK-D 에이전트를 사용하여 추론을 비교할 수 있었다.   ▲ Perception 패키지를 이용한 합성 데이터의 생성과 통합   합성 데이터가 이번 프로젝트에 어떤 도움이 되었는지 파이프라인의 첫 단계는 3D 오브젝트 탐지기로, AI 기반 컴퓨터 비전과 로봇을 이용한 작업은 대부분 여기에서 시작한다. 팀은 미리 훈련시킨 Tiny YOLO v3 모델을 사용했으며 Unity Perception 패키지를 통해 커스텀 카테고리를 훈련할 수 있었다. 이를 통해 자동으로 실측 바운딩 박스 레이블링이 완료된 3D 모델의 대규모 합성 데이터 세트를 몇 분만에 생성할 수 있었다. 일반적으로 데이터 수집과 레이블링 과정은 수작업으로 이루어지며 상당히 오랜 시간이 걸린다. 따라서 다양한 회전, 조명 조건, 텍스처 배리에이션 등의 여러 랜덤화 옵션을 사용하여 풍부한 데이터 세트를 생성할 수 있는 역량을 갖추게 된 것은 대단한 진척이라 할 수 있다.   프로젝트 진행에 어려움은 없었는지 가상 아이템과 실물 아이템을 동기화할 때 타이밍이 약간 어긋나는 경우가 있었다. 이 문제는 오픈소스 로봇 개발 플랫폼인 ROS를 사용하여 해결할 수 있을 거라 예상한다. 이제 유니티에서 공식적으로 ROS를 지원하니 더 반가운 일이다.   ▲ sim2real을 수행하는 최종 솔루션     기사 내용은 PDF로도 제공됩니다.
작성일 : 2021-12-01
한국CDE학회, CDE DX Awards 2020 성황리에 개최
디지털 트랜스포메이션 활성화를 위한 CDE DX Awards 2020가 2월 24일 성황리에 개최되었다. CDE DX Awards 2020는 정부, 기업, 연구소/대학들의 디지털 트랜스포메이션 정책, 엔지니어링 이노베이션 사례 및 4차 산업기술 연구개발 관련 활동을 발굴하고, 상호 교류를 통해 시너지 효과를 창출하며, 우수 정책, 적용 사례, 연구개발 성과를 시상하는 자리이다.     한국CDE학회가 매년 개최해오던 CDE 경진대회를 확대 개편하여 진행된 CDE DX Awards 2020에서는 공공 부문(디지털 비전 어워즈), 민간기업 부문(엔지니어링 이노베이션 어워즈), 대학/연구소 부문(CDE 경진대회 어워즈)에서 디지털 트랜스포메이션 및 엔지니어링 이노베이션의 성공 사례를 발굴하여 시상했다. 이번 행사에는 총 59편의 작품(공공기관 부문 5편, 민간기업 부문 15편, 대학/연구소 부문 39편)이 출품되었으며 1차 서류 심사와 2차 발표 평가를 통해 부문별 수상 기관을 선정하였다. 디지털 비전 어워즈(공공기관) 대상은 한국가스안전공사가 수상했으며, 엔지니어링 이노베이션 어워즈(민간기업) 대상은 삼성중공업이 수상하였다. 또한  CDE 경진대회 어워즈(대학/연구소) 대상은 한국기계연구원이 수상하였다.   디지털 비전 어워즈(공공기관) 대상 : 한국가스안전공사 디지털 비전 어워즈(공공기관)는 정부가 추진 중인 디지털 경제로의 전환 노력에 발맞춰 공공기관에서진 행하고 있는 디지털 트랜스포메이션 관련 정책 성과물을 시상하였다.   엔지니어링 이노베이션 어워즈(민간기업) 대상 : 삼성중공업 엔지니어링 이노베이션 어워즈(민간기업)는 민간기업에서 경영 및 기술 등의 제반 비즈니스 분야에서 4차 산업기술을 융합하여 진행하고 있는 엔지니어링 이노베이션 성과물을 시상하였다.   CDE 경진대회 어워즈(대학/연구소) 대상 : 한국기계연구원 CDE 경진대회 어워즈(대학/연구소)는 소프트웨어, 메이커, 콘텐츠 분야에서 CAD/VR, AI, 3D 프린팅 등의 최신 기술을 활용하여 연구개발한 새로운 제품/기술/콘텐츠를 시상하였다.   공공기관 부문 수상자 수상 기관명 대상 (과학기술정보통신부장관상) 한국가스안전공사 특별상 한국전력공사 전력연구원 디지털솔루션연구소 금상 한국서부발전㈜ 은상 조달청 동상 국립기상과학원   민간기업 부문 수상자 수상 기업명 대상 (과학기술정보통신부장관상) 삼성중공업㈜ 특별상 ㈜큐빅테크 금상 ㈜연우PC엔지니어링 금상 두산중공업㈜ 은상 ㈜태성에스엔아이 은상 에스에이치아이엔티 은상 주식회사 코너스 은상 대우조선해양 은상 동광사우 은상 디엘이앤씨 주식회사 동상 호전실업㈜ 동상 ㈜무영씨엠건축사사무소 동상 디에이그룹엔지니어링 종합건축사사무소 동상 주식회사 테이아 동상 ㈜소프트로이드   대학/연구소 부문 수상자 수상 대표자 제목  대상 (과학기술정보통신부장관상) 차무현 농업용 작업기계 가상 자율운용 체계 개발 특별상 김재정 친환경 그린 빌딩을 위한 BIM 기반 냉난방 시스템  설계 소프트웨어 금상 공민철 객체 인식 딥 러닝 모델을 활용한 선박 도면 인식 프로그램 금상 유성종 훼손 도자기 원형 복원 시뮬레이션 솔루션 은상 김성래 SmartScanFeature - 점군을 이용한 정도 관리 포인트 추출 시스템 은상 서동우 공기청정 시뮬레이션 가상현실(HVAC-VR) 은상 박홍석 Intelligent quality management system 은상 송규원 학술행사 진행을 위한 빅데이터 기반 지능형 전문가 추천 시스템 은상 배수민 청각장애인 업무 지원용 수어통역기 은상 이상훈 증강가상현실 및 360 공간 시각화 기반 실내 설계안 프레젠테이션 영상 동상 이세진 인허가법규 최적화 BIM 데이터 동상 여창모 기계가공 특징형상 인식 정보를 활용한 제조성 검증 시스템 동상 이아현 World of Geospatial Craft (WoGC, 유니티3D 기반의 공간정보 플랫폼) 동상 조영인 Gantt Planning with Time Window Scanner 동상 김형중 딥러닝 기반 FDM 공정 스파게티 형상 결함 검출 App - KEM Studio for FDM 동상 이현오 플랜트 3D CAD 시스템과 중립 모델간의 스펙-카탈로그 번역 시스템 동상 김다윗 정밀 3D 프린트 사이클로이드·유성기어 감속기를 이용한 고속 전방향 이동형 협동로봇 동상 백승훈 접이식 구조를 활용한 이재민 대피소(거주 시설) 장려상 박홍석 Digital Twin based process monitoring and control system 장려상 한민구 체적 적분방정식법 (Volume Integral Equation Method) 프로그램 장려상 이정민 AR/Navisworks 기반의 Crane/Curved Monorail Hoist 제어 모듈 개발 장려상 남명훈 피격선 분석을 통한 부품 피해확률 산출 소프트웨어 개발 장려상 임채옥 Computational ship analysis를 위한 운동 해석 전처리 시스템 장려상 이득희 환자별 심장 형상의 자동 4차원(3D+t) 모델 생성 소프트웨어 장려상 조영인 Pile stock locator 장려상 송민환 조선해양IoT플랫폼(Bada-IoT 플랫폼) 장려상 오승헌 멀티 에이전트 강화학습 기반 항공모함 비행 스케쥴링 알고리즘 장려상 김세윤 배관 및 기기 공종의 중립 형식의 3D CAD 모델 가시화 시스템 개발 장려상 이학성 적층제조물인식프로그램및시제품 장려상 정구엽 Vaccine Carrier and Monitoring System with 3D Printing Manufacturing 장려상 구자건 금속 3D 프린팅 기술을 이용한 다중판 에어포일 형상 제작 장려상 김남훈 냉각채널이 적용된 하이브리드방식의 다이캐스팅 몰드 제작 외 3편 장려상 지무건 Band Saw Blades 면취 공정 시스템 개선 장려상 양수현 반자동식 타격 보조장치를 포함한 망치 장려상 황현아 욕실 배수구 머리카락 분쇄기 장려상 박준호 스마트 주차 관리를 위한 주차정보 실시간 확인 디지털 트윈 구축안
작성일 : 2021-02-26
단단한 강화학습
리처드 서튼 , 앤드류 바르토 지음 / 제이펍   인공지능 분야에서 가장 활발하게 연구되고 있는 분야 중 하나인 강화학습은 복잡하고 불확실한 환경과 상호작용하는 학습자에게 주어지는 보상을 최대화하는 수치 계산적 학습 방법이다. 리처드 서튼과 앤드류 바르토는 이 책을 통해 강화학습의 핵심적인 개념과 알고리즘을 분명하고 이해하기 쉽게 설명한다. 1판이 출간된 이후 새롭게 부각된 주제들을 추가하였고, 이미 다루었던 주제들도 최신 내용으로 업데이트하였다. 첫 번째 부분에서는 정확한 해법을 찾을 수 있는 표 기반 방법만을 적용하여 가능한 한 많은 강화학습 방법을 다루었다. 첫 번째 부분에 제시되는 많은 알고리즘은 2판에서 새롭게 추가된 것인데, 여기에는 UCB, 살사, 이중 학습이 포함된다. 두 번째 부분에서는 인공 신경망이나 푸리에 기반과 같은 주제를 다루는 절이 새롭게 추가되면서 첫 번째 부분에서 제시된 방법들이 함수 근사 기반의 방법으로 확장되었고, 비활성 정책 학습과 정책 경사도 방법에 대한 내용이 더욱 풍부해졌다. 세 번째 부분에서는 강화학습이 심리학 및 신경 과학과 어떤 관계인지를 다루는 새로운 장들이 추가되었다. 마지막 장에서는 강화학습이 미래 사회에 미칠 영향에 대해 논의하였다.
작성일 : 2020-09-24
유니티 코리아, 공인 전문가 그룹 ‘유니티 마스터즈’ 5기 공개
유니티 코리아가 1년간 유니티 공인 전문가 그룹으로 활동할 ‘유니티 마스터즈’ 5기를 선정했다고 밝혔다. 유니티 마스터즈는 유니티 관련 지식과 활용 경험을 갖춘 전문가들로, 유니티 커뮤니티와 교류하며 각종 정보와 노하우를 공유하게 된다. 유니티 코리아는 지난 2016년부터 유니티 마스터즈 프로그램을 진행해왔으며, 이번 5기는 2021년 7월 말까지 활동을 진행할 예정이다.     5기 마스터즈는 유니티 관련 전문 도서 저자를 비롯해 1인 개발자, 대학 교수, 게임사 종사자 등 다양한 경험을 갖춘 11명의 전문가가 선정됐으며, 테크니컬 아트(TA), 프로그래밍, XR(확장현실), AI(인공지능) 등 다양한 분야에서 지식과 노하우를 전달할 예정이다. 주요 활동으로 ‘유나이트 서울(Unite Seoul)’  및 유니티가 주최하는 각종 세미나 등에 연사로 참가하며, 2019년 신설된 ‘유니티 마스터 데이’도 진행하면서 유니티 전문 지식을 개발자들과 공유하게 된다. 또한 유니티 에반젤리스트와 함께하는 유튜브 라이브 스트리밍 등 SNS 채널에서 다양한 온라인 활동도 전개할 예정이다. 3기부터 5기까지 활동하고 있는 한양대학교 미래자동차공학과의 민규식 연구원은 "작년 한해 ‘텐서플로와 유니티 ML-Agents로 배우는 강화학습’이라는 책을 집필하고, 올해 세종도서 학술 부문에 선정되는 등 유니티를 활용해오며 많은 보람과 성취를 느꼈다”며, “이번 5기 활동에서도 변함없이 꾸준한 활동을 해나가겠다”고 말했다. 또한 2019년 세종도서 학술 부문에 선정된 ‘레트로의 유니티 게임 프로그래밍 에센스’ 저자이자 게임 개발 트레이너로 활동 중인 이제민 개발자는 “비전공자이던 시절 유니티 개발에 입문한 경험을 살려 책과 비디오를 제작해왔는데, 이번 5기에 선정되어 개발 노하우와 정보를 개발자들과 나눌 수 있게 되어 기쁘다”면서, “비개발자와 아티스트도 유니티를 통해 자신만의 창작물을 만들 수 있도록 활발한 커뮤니티를 조성하는데 적극 힘쓰겠다”고 밝혔다.   ▲ 온라인으로 진행된 ‘유니티 마스터즈’ 5기 발대식
작성일 : 2020-09-09