• 회원가입
  • |
  • 로그인
  • |
  • 장바구니
  • News
    뉴스 신제품 신간 Culture & Life
  • 강좌/특집
    특집 강좌 자료창고 갤러리
  • 리뷰
    리뷰
  • 매거진
    목차 및 부록보기 잡지 세션별 성격 뉴스레터 정기구독안내 정기구독하기 단행본 및 기타 구입
  • 행사/이벤트
    행사 전체보기 캐드앤그래픽스 행사
  • CNG TV
    방송리스트 방송 다시보기 공지사항
  • 커뮤니티
    업체홍보 공지사항 설문조사 자유게시판 Q&A게시판 구인구직/학원소식
  • 디렉토리
    디렉토리 전체보기 소프트웨어 공급업체 하드웨어 공급업체 기계관련 서비스 건축관련 업체 및 서비스 교육기관/학원 관련DB 추천 사이트
  • 회사소개
    회사소개 회사연혁 출판사업부 광고안내 제휴 및 협력제안 회사조직 및 연락처 오시는길
  • 고객지원센터
    고객지원 Q&A 이메일 문의 기사제보 및 기고 개인정보 취급방침 기타 결제 업체등록결제
  • 쇼핑몰
통합검색 " 딥마인드"에 대한 통합 검색 내용이 13개 있습니다
원하시는 검색 결과가 잘 나타나지 않을 때는 홈페이지의 해당 게시판 하단의 검색을 이용하시거나 구글 사이트 맞춤 검색 을 이용해 보시기 바랍니다.
CNG TV 방송 내용은 검색 속도 관계로 캐드앤그래픽스 전체 검색에서는 지원되지 않으므로 해당 게시판에서 직접 검색하시기 바랍니다
구글, 제5회 ‘구글 포 코리아’ 개최… “AI로 창의성과 혁신 생태계 강화”
구글코리아가 7월 2일 ‘세계적인 문화강국 및 기술강국 대한민국의 오늘, AI와 함께’를 주제로 ‘구글 포 코리아 2025’ 행사를 개최했다. 올해로 5회차를 맞은 이번 행사에서는 AI가 한국의 창의성과 혁신 생태계에 기여하는 방안을 다각도로 조명하는 자리로 마련됐다. 이번 행사에는 윌슨 화이트 구글 아시아태평양 대외정책협력 총괄 부사장, 마니쉬 굽타 구글 딥마인드 시니어 디렉터, 사이먼 토쿠미네 구글 랩스 디렉터, 앤드류 김 구글 리서치 시니어 디렉터, 김경훈 구글코리아 사장, 이화영 LG AI연구원 상무 등 국내외 주요 인사들이 대거 참석했으며, 최민희 과학기술정보방송통신위원회 위원장은 영상으로 축사를 전했다. ▲ 구글 포 코리아에서 발표하고 있는 윌슨 화이트(Wilson White) 구글 아시아태평양 대외정책협력 총괄 부사장   윌슨 화이트 부사장은 “대한민국은 AI 시대를 선도할 독보적인 기술력과 창의성을 갖춘 국가”라며, AI가 한국의 경제 전반에 새로운 가능성을 열고 구글 역시 긴밀히 협력해 나갈 것이라고 밝혔다. ▲ 구글 포 코리아에서 발표하고 있는 마니쉬 굽타(Manish Gupta) 구글 딥마인드 시니어 디렉터   마니쉬 굽타 시니어 디렉터는 제미나이(Gemini), 프로젝트 아스트라(Project Astra), 알파폴드(AlphaFold) 등 AI 연구가 창작과 과학 혁신에 실질적으로 기여하고 있음을 강조했다. ▲ 패널 토크를 진행하고 있는 사이먼 토쿠미네(Simon Tokumine) 구글 랩스 디렉터, 이낙준 작가 겸 크리에이터, 구범준 세바시 대표PD 행사 중 진행된 첫 번째 패널 토크에서는 사이먼 토쿠미네 디렉터, 이낙준 작가, 구범준 세바시 대표PD가 참여해, AI가 창작자들의 리서치와 아이디어 발굴을 지원하는 지적 어시스턴트로 진화하고 있다고 설명했다. 구글의 노트북LM(NotebookLM), 위스크(Whisk), 비오(Veo) 등이 창작 몰입을 돕는 대표 사례로 소개됐다. 두 번째 세션에서는 앤드류 김 시니어 디렉터와 이화영 상무가 AI가 산업 전반에 미치는 구조적 변화와 협력의 중요성에 대해 설명했다. 이 상무는 “AI는 산업 생태계를 함께 조성해 나가야 할 공동의 과제”라며, 글로벌 AI 기업과의 개방형 협력 생태계 구축이 필수임을 강조했다. 한편, 구글코리아는 이날 행사에서 ‘구글과 대한민국: AI로 여는 창의성과 혁신의 시대’라는 리포트를 공개했다. 영국 시장조사기업 퍼블릭 퍼스트에 따르면, AI를 도입한 한국 대기업의 85%가 비즈니스 성장에 긍정적 영향을 받았다고 평가했으며, AI로 창출된 1원의 부가가치가 경제 전반에 평균 3.8배 이상의 파급 효과를 낳는 것으로 나타났다. 또한 2024년 기준, 구글의 제품과 서비스는 한국에서 약 18조 원의 경제활동과 11만 개의 일자리 창출에 기여하고 있다. 김경훈 구글코리아 사장은 폐회사에서 “AI는 한국의 창의성과 혁신성을 증폭시켜 글로벌 경쟁력을 높일 핵심 동력”이라며, 한국 인재들이 AI 시대를 선도할 수 있도록 교육, 협업, 생태계 조성에 지속 지원하겠다고 밝혔다.
작성일 : 2025-07-03
[칼럼] AI 스터디그룹(데이터공작소)에서 답을 찾다
현장에서 얻은 것 No. 20   피곤했지만 놓칠 수 없는 기회, AI 스터디그룹(데이터공작소)에서 답을 찾다.”   AI 시대, 배움과 연결에서 찾은 성장 동력 일상에 지쳐 몸은 천근만근이었지만, 빠르게 변화하는 인공지능(AI) 시대에 뒤쳐질 수 없다는 생각에 발걸음을 재촉했다. 특히 AI 기술이 단순한 효율성 도구를 넘어 업무 방식과 산업 지형을 근본적으로 바꾸고 있다는 통찰 앞에 서니, 피로감은 부차적인 문제로 느껴졌다. 이러한 변화의 파고를 헤쳐나갈 답을 찾기 위해, 필자는 주말에 스터디하는 데이터공작소 TFT, 데이터 공작소의 매주 월요일 줌강의, 매달 모임과 자율주행 회사들의 특별한 만남인 미모셀, 지식을 공유하고 서로 도움을 주는 네트워크 모임인 한국미래융합연구원 등 AI 및 관련 기술 스터디 그룹의 문을 두드렸다. 이곳에서 만난 전문가들과의 지식 공유와 토론은 필자가 가진 궁금증을 해소하고 새로운 가능성을 탐색하는 데 귀중한 기회가 되었다. “배우는 법을 배우라.” − 데미스 허사비스(Demis Hassabis) CEO, 구글 딥마인드   ▲ 피곤했지만 놓칠 수 없는 기회, AI 스터디그룹   AI 에이전트와 MCP : AI의 실행력을 극대화하는 연결 고리 탐색 스터디 그룹에서 가장 주목받는 개념은 AI 에이전트였다. AI 에이전트는 환경을 인식하고 스스로 결정하며 목표를 달성하는 소프트웨어 개체로 정의된다. 독립적으로 작동하며 목표를 향해 지속적으로 학습하고 개선하는 특징을 가진다. 데이터를 수집, 분석하고 최적의 행동을 선택하여 실행하는 방식으로 작동하며, 질문에 대한 하위 질문을 생성하고 리서치한 후 포괄적인 답변을 제공하거나 AI 요약 결과를 자동화하고 개선하는 등 다양한 기능을 수행할 수 있다. 일부는 다양한 도구를 사용하여 복잡한 작업을 수행하는 완전 자율 시스템으로 정의되기도 하고, 미리 정의된 워크플로를 따르는 규범적인 구현을 설명하기도 한다. 이러한 AI 에이전트의 역량을 극대화하는 핵심 기술로 MCP(Model Context Protocol)가 소개되었다. MCP는 LLM(Large Language Model) 애플리케이션과 외부 데이터 소스 및 다양한 도구 간의 원활한 통합을 가능하게 하는 개방형 프로토콜이다. 마치 USB-C가 다양한 전자기기를 연결하듯, MCP는 웹 서비스와 AI 에이전트를 연결하여 AI가 서비스에 직접 접근할 수 있도록 돕는 핵심 기술이다. 이를 통해 LLM은 단순히 텍스트를 생성하는 것을 넘어 현실의 도구들과 연결되며 이메일 작성 및 전송, 캘린더 약속 등록, 슬랙 메시지 전송, 파일 저장 및 정리, 소셜 미디어 검색 및 게시, 스프레드시트 데이터 정리, 줌 회의 예약 및 회의록 작성, 노션 자료 활용 등 다양한 작업을 실행할 수 있게 된다. 이는 에이전틱 AI(agentic AI) 발전의 중요한 요소로 강조되었다. 또한, MCP는 프레임워크나 벤더에 관계없이 에이전트 간 상호 운용 가능한 통신을 안전하게 지원하는 것을 목표로 한다. API와 MCP가 반드시 필요한 것은 아니지만, 엄청난 잠재력을 가지고 있다는 점이 강조되었다. API 연결은 개발자에게도 쉬운 일은 아니며 권한 부여 문제 등이 있기 때문에, MCP가 이를 더 쉽게 만들 수 있는지에 대한 고민도 있었다. “미래를 예측하는 최선의 방법은 미래를 창조하는 것.” − 정종기 박사, AI 비즈니스 전문가   바이브 코딩과 커서 : AI를 개발 동료로 활용하는 방법 AI 스터디에서는 개발의 패러다임 변화인 ‘바이브 코딩’에 대한 논의도 활발했다. 전통적인 코딩이 ‘개발자가 자신의 작업을 대신할 프로그램을 만드는 것’이라면, 바이브 코딩은 ‘AI가 자신의 작업을 대신할 프로그램을 만드는 것’이다. 이는 AI에게 개발을 외주로 맡기는 것과 유사한 개념으로 설명된다. 좋은 바이브 코더는 좋은 외주 의뢰자가 갖춰야 할 다섯 가지 역량을 AI에게 적용해야 한다. 내 문제를 풀기 위한 작업 정의(PRD, 유저 플로) AI가 잘 이해할 수 있게 의사소통(프롬프트, 지침) 프로그램을 잘 만들기 위한 리소스 지원(데이터, API, 실행/배포 환경) 프로그램이 의도대로 동작하는지 검수(자동화 테스트) 이 과정에서 모르는 것을 배워 점차 스스로 할 수 있게 되는 것이다. 커서(Cursor)는 이러한 ‘LLM-assisted IDE’ 개념을 제시하는 도구로 소개되었다. 복잡한 프로그래밍 지식, 문서, 오류 메시지 기반의 학습 곡선이나 사전 설계 중심의 신중한 개발 문화, 툴과 언어, 개발 환경의 복잡성 같은 문제 속에서 커서는 아이디어를 즉각 코드로 구현하고 비전문가의 접근성을 폭발적으로 증대시키며 LLM 기반의 빠른 실험과 피드백 루프를 가능하게 한다. 문법 대신 의도 전달과 맥락 중심으로 전환되는 패러다임의 변화를 지원한다. 데이터공작소 개발TFT(서울팀) 관련 세션에서는 커서를 활용한 실질적인 개발 프로세스가 시연되었다. 혼자서 다양한 역할을 수행하는 ‘솔로프리너’ 관점에서 기획부터 개발, 테스트, 배포, 모니터링, 마케팅까지 전 과정을 AI와 함께 진행하는 방법이 제시되었다. 커서를 통해 아이디어 구체화, 기획 문서 작성(PRD, 비즈니스 모델 캔버스), 프로젝트 관리(Task Master MCP를 활용한 작업 목록 생성, 복잡도 계산, 하위 태스크 분해), 실제 코드 작성, 그리고 문서화(Obsidian 연동) 등이 가능함을 보여주었다. 특히 개발 경험이 있는 발표자인 어니컴의 최성훈 팀장은 커서를 통해 불편하고 반복적인 작업의 상당 부분을 자동화하고, 단계별로 명확한 지시를 내리며 태스크 관리를 통해 AI가 맥락을 이해하도록 유도하는 장점을 강조했다. 그는 커서를 쓰면서 처음에는 AI가 코딩을 짜는 것을 도와주는 정도라고 생각했고, 코드를 다 안 봐도 알아서 다 짜 주는 줄 알았다고 했다. 하지만 실제로 해 보니 절대 그렇지는 않았고, 다만 불편하거나 반복적인 작업에서는 충분히 활용 가치가 있음을 느꼈다고 했다. AI와 소통하며 생각을 체계화하고 문서화하며 원하는 것을 구체화하고 실행 계획을 짜서 이뤄가는 과정을 보였다고 했다. 그는 커서 하나로 A부터 Z까지 다 해 볼 수 있겠다는 느낌을 받았고, 솔로프리너를 목표로 하는 사람들은 연구해 볼 만하다고 개인적인 의견을 덧붙였다. AI에게 외주를 맡기는 개념이기 때문에 사람이 명확하게 문제 정의를 하고, 의사소통하며, 검수하는 역할이 중요하다고 언급했다. 또한, 커서가 굉장히 많은 도움을 주었다고 말했다. 개발자는 커서를 통해 코드의 문제점이나 개선 포인트를 찾는 데 도움을 받을 수 있고, 혼자 개발하면서 보조적인 도움이 필요할 때 효과적일 수 있다고 했다. 또한 자동 PR 요약이나 커밋 메시지 작성 등 깃(Git)과의 연동도 잘 되는 장점이 있었다. 오랜 개발 경험을 가지고 있는 양선희 대표는 필자의 숙원 고민거리를 반나절만에 해결해 주었다. 디자인씽킹 기법 중 첫 번째인 공감대 형성의 템플릿을 시스템화시켜 주었다. 클로드(Claude)로 대화하듯이 고민거리를 얘기하고 프로그램 기획, 개발, 테스트 등을 통해 언제든지 실행 가능한 설루션으로 만들어 주었고 소스도 공유했다. 보안 분야를 다루면서 다양한 경험을 통해서 항상 정리를 잘 하고 번뜩이는 아이디어를 내는 NSHC 장주현 이사와 AI인터시스 신동욱 대표는 AI 일타 강사이다. 항상 새로운 기술, 주제를 뚝딱 만들어내고 강의도 잘 한다. 최근에는 개발, 교육을 병행하느라 전국을 일일 생활권으로 두고 있다. 신동욱 대표의 회사에서 핵심 인재인 정성석 상무는 차세대 유망주인데, 알고 보니 고등학교 후배였다. 세상은 넓고 할 일은 많지만, 오늘 이 모임이 있기까지 도움을 준 데이터마이닝 이부일 대표는 유튜브 R릴에오를 통해 데이터 통계 분석 기법을 유튜브로 알렸다. 2022년 콘셉트맵 캘린더 9월호의 주인공으로 모신 인연으로 SNS에서 자주 소통하고 온/오프라인으로 인연을 이어가고 있다. “결국 실행되는 지식만이 힘이다.” − 데일 카네기   노트북LM : 개인 맞춤형 학습 및 연구 파트너 활용 또 다른 유용한 AI 도구인 노트북LM(NotebookLM)은 맞춤형 AI 리서치 어시스턴트이자 AI 기반 학습 및 연구 파트너로 소개되었다. 노트북LM의 가장 큰 강점은 사용자가 제공한 소스 내에서만 정보를 검색하고 답변을 생성하여, 환각 현상을 줄이는 데 도움을 준다는 것이다. PDF, 구글 드라이브 문서, 웹사이트 링크, 유튜브 링크, 마크다운 등 다양한 형태의 소스를 학습할 수 있으며, 특히 유튜브 공개 동영상 URL을 소스로 사용할 수 있는 점은 챗GPT에서 제공하는 프로젝트 기능과의 차별점으로 언급되었다. 노트북LM의 주요 기능으로는 학습 자료(소스) 내 정보 검색 및 답변 생성, 소스 요약(핵심 내용 추출), 추가 탐색, 메모 추가 및 소스 전환, AI 오디오 오버뷰(팟캐스트 형태의 요약 청취), 오버뷰, 마인드 맵(소스 기반 개념 및 관계 구조화), 생성 맞춤 설정, 학습 가이드, FAQ 생성, 브리핑 문서, 타임라인(시간적 순서 정리), 소스 검색, 심화 질문 및 분석 등이 있다. AI 오디오 오버뷰 기능은 두 명의 팟캐스트가 대화 형식으로 소스 내용 중 중요한 부분을 6~7분 분량의 팟캐스트로 만들어 주며, 원하는 내용에 초점을 맞추어 생성할 수도 있다. 시각 장애인에게도 좋은 서비스로 생각된다고 언급되었다. FAQ 기능은 우리가 생각하지 못했던 질문을 많이 만들어 준다고 했다. 마인드 맵 기능은 주어진 소스를 기반으로 개념과 관계를 시각화하는 데 상당히 잘 작동한다고 했다. 타임라인 기능은 소스에 있는 여러 이벤트를 시간 순서대로 정리해 주는데 정말 훌륭하다고 했다. 활용 사례로는 새로운 개념 이해, 핵심 자료 수집, 스터디 메이트 역할(학습 계획 관리, 질문/답변 학습, 복습, 약점 보완, 동기 부여), 모의 시험 및 문제 풀이, 창의력 및 사고력 훈련, 논문 관련 작업(주제 선정, 배경 탐색, 선행 연구 정리, 개념 정립, 논리 구성, 글쓰기 초안, 피드백) 등이 제시되었다. 특히 장비 매뉴얼 이해나 유튜브 영상 내용 파악에 유용하며, 논문 작성을 위한 참고 문헌 제안 및 형식 정리에도 활용될 수 있다고 했다 새로운 개념을 이해하고 싶을 때나 중요한 질문에 대한 핵심 자료를 만들고 싶을 때 소스 검색 기능이 유용하다고 했다. 다만 노트북LM은 과제나 태스크를 대신해주는 도구가 아니라 도와주는 어시스턴트라는 점과 좋은 소스를 제공하는 것이 중요하다는 점이 강조되었다. 쓰레기를 집어넣으면 쓰레기가 나온다는 ‘Garbage In, Garbage Out’이라는 말이 있듯이. 노트북LM만 단독으로 사용하기보다 챗GPT, 제미나이(Gemini) 등 다른 툴과 함께 사용하는 것이 더 중요하다고 생각한다고 했다. 다른 툴로 좋은 소스를 만들어서 노트북LM에 넣어 활용하는 선순환 구조를 잘 활용하면 좋다고 했다. “성공하고자 하는 의지가 강하다면, 실패 따위가 나를 압도할 수 없다.” − 정광천, 이노비즈협회 회장   다양한 스터디 그룹의 시너지 : 연결과 성장의 기회 한국미래융합연구원은 정기적인 지식 공유 모임을 통해 AI를 비롯한 다양한 분야의 최신 트렌드와 비즈니스 인사이트를 공유하는 플랫폼 역할을 하고 있다. 정종기 박사는 AI 비즈니스 전문가로서 AI 대중화 시대에 지속 가능한 미래 준비, AI 활용 능력의 중요성, 그리고 AI 트랜스포메이션에 대한 강의를 진행하며 멤버들에게 영감을 주고 있다. 그는 AI가 기업 경영의 효율화와 비용 절감에 핵심적인 역할을 하며 제조 등 다양한 산업에 영향을 미치고 있음을 강조한다. AI에게 일을 잘 시키는 사람이 능력 있는 사람이라고 했다. 미모셀은 미래 모빌리티 분야의 전문가들이 모여 업계 동향 공유와 네트워킹을 하는 그룹이다. 자율주행 기술, 센서(라이다, 레이다), SDV(Software Defined Vehicle) 등 모빌리티와 AI가 접목되는 분야의 최신 정보를 공유하고 토론한다. 어려운 시기에도 서로 힘이 되고 지지하는 관계를 형성하며 연결의 중요성을 보여준다. 미모셀의 목표는 대표님들의 어깨를 가볍게 해 드리는 것이라고 했다. 이처럼 다양한 스터디 그룹은 AI 기술 자체뿐만 아니라 기술이 비즈니스, 커리어, 그리고 사회 전반에 미치는 영향에 대해 깊이 있게 논의하고 있다. 유발 하라리 교수는 초지능 AI가 인류를 파멸로 이끌 위험이 있지만 경쟁 때문에 개발 속도를 늦추지 못하며, AI는 단순 도구가 아닌 스스로 생각하고 결정하는 주체(agent)라고 했다. AI는 인간과 달리 휴식이 필요 없어 지속적으로 활동 가능하며, 알고리즘 속도를 인간의 속도에 맞게 조절해야 한다고 했다. 또한, AI는 인간을 대체해 불평등한 사회를 초래할 가능성이 있다고 했다. 이러한 예측 속에서 AI 활용 능력은 개인과 기업의 생존에 필수라는 메시지가 반복적으로 강조된다. “AI 활용 능력이 당신의 생존입니다.” − 정종기 박사, AI 비즈니스 전문가   맺음말 : 배움과 연결을 통한 미래 준비 AI 시대는 불확실성이 높지만 지속적인 학습과 유연성 개발, 광범위한 역량 개발을 통해 기회를 잡을 수 있다고 한다. 특히 기술 변화에 대한 적응력과 개인적인 열정을 바탕으로 오픈소스 도구 등을 활용해 실습하고 실험해보는 것이 중요하다. 데이터공작소와 같은 AI 스터디 그룹, 데이터공작소 개발TFT(서울팀)에서의 실질적인 기술 학습, 미모셀에서의 산업 지식 공유, 그리고 한국미래융합연구원에서의 비즈니스 및 트렌드 통찰은 이러한 미래를 준비하는 강력한 기반이 된다. 피곤함에도 불구하고 참여했던 이 스터디 그룹들에서 필자는 AI 기술의 최신 동향과 더불어 그것이 어떻게 실제 업무와 비즈니스에 적용될 수 있는지, 그리고 개인의 역량을 어떻게 발전시켜야 하는지에 대한 실질적인 답과 영감을 얻을 수 있었다. 기술 도입을 넘어 조직 문화와 일하는 방식을 근본적으로 전환할 용기를 가지고 AI를 경쟁 상대가 아닌 협업 파트너로 받아들일 준비를 하는 것, 그리고 배움과 연결을 멈추지 않는 것이 이 급변하는 시대에 생존하고 번영하는 길임을 다시 한 번 확인했다.   ■ 류용효 디원의 상무이며 페이스북 그룹 ‘컨셉맵연구소’의 리더로 활동하고 있다. 현업의 관점으로 컨설팅, 디자인 싱킹으로 기업 프로세스를 정리하는데 도움을 주며, 1장의 빅 사이즈로 콘셉트 맵을 만드는데 관심이 많다. (블로그)     ■ 기사 내용은 PDF로도 제공됩니다. 
작성일 : 2025-07-01
엔비디아, 더 강력하고 지능적인 AI 구축을 돕는 ‘스케일링 법칙’ 소개
엔비디아가 더 강력하고 지능적인 AI 구축을 지원하는 ‘스케일링 법칙’을 소개했다. 엔비디아는 이 법칙이 훈련 데이터, 모델 파라미터 또는 컴퓨팅 리소스 크기가 증가함에 따라 AI 시스템 성능이 향상되는 방식을 설명한다고 밝혔다. AI 분야에서 오랫동안 정의된 아이디어 중 하나는 컴퓨팅, 훈련 데이터, 파라미터가 더 많을수록 더 나은 AI 모델이 만들어진다는 것이다. 하지만 이후 AI에는 컴퓨팅 리소스를 다양한 방식으로 적용하는 것이 모델 성능에 어떻게 영향을 미치는지 설명하는 세 가지 법칙이 대두됐다. 이는 사전 훈련 스케일링(pretraining scaling), 사후 훈련 스케일링(post-training scaling), 긴 사고(long thinking)라고도 불리는 테스트 타임 스케일링(test-time scaling)이다. 이들 법칙은 점점 더 복잡해지는 다양한 AI 사용 사례에서 추가 컴퓨팅을 사용하는 기술을 통해 AI 분야가 어떻게 발전해왔는지를 보여준다. 최근 추론 시 더 많은 컴퓨팅을 적용해 정확도를 향상시키는 테스트 타임 스케일링이 부상하면서 AI 추론 모델의 발전을 가능하게 했다. 이 모델은 작업을 해결하는 데 필요한 단계를 설명하면서 복잡한 문제를 해결하기 위해 여러 추론 패스를 수행하는 새로운 종류의 대규모 언어 모델(LLM)이다. 테스트 타임 스케일링은 AI 추론을 지원하기 위해 많은 양의 컴퓨팅 리소스를 필요로 하며, 이는 가속 컴퓨팅에 대한 수요를 더욱 증가시킬 것이다.     사전 훈련 스케일링은 AI 개발의 기본 법칙이다. 이는 훈련 데이터 세트 크기, 모델 파라미터 수, 컴퓨팅 리소스를 늘림으로써 개발자가 모델 지능과 정확도의 예측 가능한 향상을 기대할 수 있음을 입증했다. 한 연구 논문에서 설명한 사전 훈련 스케일링 법칙에 따르면, 규모가 큰 모델에 더 많은 데이터가 공급되면 모델의 전반적인 성능이 향상된다. 이를 실현하려면 개발자는 컴퓨팅을 확장해야 하며, 이 거대한 훈련 워크로드를 실행하기 위해서는 강력한 가속 컴퓨팅 리소스가 필요하다. 사후 훈련 기법은 조직이 원하는 사용 사례에 맞춰 모델의 특이성과 관련성을 더욱 향상시킬 수 있다. 사전 훈련이 AI 모델을 학교에 보내 파운데이션 기술을 배우게 하는 것이라면, 사후 훈련은 목표한 업무에 적용할 수 있는 기술을 갖추도록 모델을 향상시키는 과정이다. 예를 들어, LLM은 감정 분석이나 번역과 같은 작업을 수행하거나 의료, 법률과 같은 특정 분야의 전문 용어를 이해하도록 사후 훈련될 수 있다. 긴 사고라고도 하는 테스트 타임 스케일링은 추론 중에 발생한다. 사용자 프롬프트에 대한 단답형 답변을 빠르게 생성하는 기존 AI 모델과 달리, 이 기술을 사용하는 모델은 추론 중에 추가적인 계산 작업을 할당한다. 이를 통해 여러 가지 잠재적 답변을 추론한 후 최적의 답변에 도달할 수 있도록 한다. 테스트 타임 컴퓨팅의 부상으로 AI는 복잡한 개방형 사용자 쿼리에 대해 합리적이고 유용하며 보다 정확한 답변을 제공하는 능력을 갖추게 됐다. 이러한 기능은 자율 에이전틱 AI와 피지컬 AI(Physical AI) 애플리케이션에서 기대되는 세밀하고 다단계의 추론 작업에 매우 중요하다. 또한, 산업 전반에서 사용자에게 업무 속도를 높일 수 있는 고성능 비서를 제공해 효율성과 생산성을 향상시킬 수 있다. 의료 분야에서는 모델이 테스트 타임 스케일링을 사용해 방대한 양의 데이터를 분석하고 질병이 어떻게 진행될지 추론할 수 있다. 뿐만 아니라, 약물 분자의 화학 구조를 기반으로 새로운 치료법이 불러올 수 있는 잠재적인 합병증을 예측할 수 있다. 소매와 공급망 물류 분야에서는 긴 사고가 단기적인 운영 과제와 장기적인 전략 목표를 해결하는 데 필요한 복잡한 의사 결정을 도와줄 수 있다. 추론 기법은 여러 시나리오를 동시에 예측하고 평가해 기업이 위험을 줄이고 확장성 문제를 해결하는 데 도움이 된다. 이를 통해 보다 정확한 수요 예측, 간소화된 공급망 이동 경로, 조직의 지속 가능성 이니셔티브에 부합하는 소싱 결정을 가능하게 한다. 나아가 글로벌 기업에서는 이 기술을 세부적인 사업 계획 작성, 소프트웨어 디버깅을 위한 복잡한 코드 생성, 배송 트럭과 창고 로봇, 로보택시의 이동 경로 최적화 등에 적용할 수 있다. AI 추론 모델은 빠르게 진화하고 있다. 최근 몇 주 동안 OpenAI(오픈AI) o1-미니(o1-mini)와 o3-미니(o3-mini), 딥시크(DeepSeek) R1, 구글 딥마인드(Google DeepMind) 제미나이 2.0 플래시 씽킹(Gemini 2.0 Flash Thinking)이 소개됐으며, 곧 새로운 모델이 추가로 출시될 예정이다. 이러한 모델은 추론 중에 사고하고, 복잡한 질문에 대한 정답을 생성하기 위해 훨씬 더 많은 컴퓨팅이 필요하다. 따라서 기업은 복잡한 문제 해결, 코딩, 다단계 계획을 지원할 수 있는 차세대 AI 추론 도구를 제공하기 위해 가속 컴퓨팅 리소스를 확장해야 한다.
작성일 : 2025-02-14
[칼럼] PLM과 챗GPT의 활용 방안
현장에서 얻은 것 No.17   “LLM 공부해야 소용없어… 대신 차세대 AI에 집중해야” - 얀 르쿤(메타 AI 수석과학자)  페친으로 커넥팅되어 시작된 인연은 인공지능 프로젝트를 통해서 책까지 출판하는 기회를 얻었다. 이번 호의 내용은 그 여정에 대한 기록이다. 기록의 중요성을 또 한 번 느끼며, 만남과 인연의 중요함도 느꼈다.  그 모든 것의 중심에는 ‘관심’ 그리고 ‘깊이와 Hungry’가 있었다. 또한 ‘호기심’은 두말하면 잔소리이다.  그리고 나의 여정을 두 단어로는 ‘리더십’과 ‘인플루언서’로 정했다.    챗GPT에게 PLM에 대해 묻다 2023년 4월호 칼럼으로 ‘챗GPT-PLM 활용의 모습’에 대해 썼다. 그리고 1년이 흐른 지금 다시 한번 챗GPT(ChatGPT)에게 길을 물었다.  1년 전인 2023년 3월에는 챗GPT의 버전이 3.5였고, 2024년 6월는 챗GPT 4o가 등장했다. 2023년 3월 당시에는 “AI가 아니라 AI를 쓰는 기업이 기업을 대체할 것”이라는 말이 유행했다. 1년이 흐른 지금… 통하는 기업이 있고, 여전히 AI가 어떤 결과를 낳을지 오리무중인 기업도 있다. 그동안 큰 변화는 글로벌 관심거리로 학습과 진보 속에서 ‘두려움’이 많이 사라졌다. 또한, 현실적인 장벽이 많이 있다는 것도 드러났다. 1년 전에 ‘챗GPT-PLM 활용의 모습’을 물었을 때 상당히 혁신적이었다. 마치 뭔가 큰일을 낼 것 같이 희망에 찬 답변이었다. 1년이 흐른 지금 같은 질문을 던졌더니, 그때보다는 상당히 현실적인 답변을 내 놓는다.  다음에서 챗GPT와의 대화 내용의 결과를 정리한 리포트 형식으로 풀어가겠다.  “인공지능은 실험실 조수, 최종 결정은 인간이 해야”  - 데미스 허사비스(구글 딥마인드 CEO)    PLM과 챗GPT의 활용 방안 - 프롬프트와 진단 주요 산업군 및 목표를 정했다. 주요 산업군은 자동차, 항공산업, 전기 전자 산업, 의료기기로 한정했다. 독자는 경영진, 임원, 마케팅 담당자로 정했다. 리포트의 주요 목표는 기업에 효과적인 PLM과 챗GPT 활용 방안을 제시하는 것으로, 이에 맞춰 프롬프트를 작성했다.  먼저, 챗GPT는 PLM의 주요 문제점에 대해서 다음과 같이 요약해 주었다.  “PLM 시스템은 복잡한 제품 개발 과정에서 다양한 문제를 안고 있습니다. 이러한 문제점들은 다음과 같습니다. ■ 프로젝트 관리 : 복잡한 프로젝트 관리는 다양한 팀과 부서 간의 협업을 필요로 하며, 실시간 상태 업데이트와 정보 공유가 어렵습니다. ■ 데이터 정합성 : 다양한 부서와 시스템에서 데이터를 관리하다 보면 데이터의 일관성을 유지하는 데 어려움이 있습니다. ■ BOM 관리 : 제품의 BOM(Bill of Materials) 데이터를 정확하게 관리하는 것은 중요하지만, 잘못된 데이터는 생산 오류를 유발합니다. ■ 품질 관리 : 품질 검사와 문제 해결에 많은 시간과 비용이 소요됩니다. ■ 제품 설계 : 설계 변경 요청이 빈번하게 발생하며, 이를 관리하기 어렵습니다. ■ 상품 기획 : 시장 트렌드를 정확히 예측하고 고객의 요구를 반영하기 어렵습니다. ■ 공급망 관리 : 공급망의 복잡성으로 인해 지연과 비용 증가가 발생합니다. ■ 고객 서비스 : 고객 문의와 지원 요청을 효율적으로 처리하기 어렵습니다. ■ 교육 및 훈련 : 직원 교육과 훈련에 많은 시간과 비용이 소요됩니다. ■ 사양 관리 : 제품 사양의 관리 및 업데이트 과정에서 오류가 발생할 수 있습니다. ■ 디지털 제조 : 제조 과정의 디지털화와 스마트 제조 시스템 구현이 어렵습니다. ■ 데이터 보안 : PLM 시스템은 많은 기밀 데이터를 포함하고 있어 데이터 유출의 위험이 큽니다.”   각 문제에 대한 해결 방안 “PLM의 각 문제점에 대해 챗GPT를 활용한 해결 방안은 다음과 같습니다. ■ 프로젝트 관리 : 챗GPT를 통한 실시간 상태 업데이트, 자동 보고서 생성, 팀 간 의사소통 지원 ■ 데이터 정합성 : 챗GPT를 활용하여 데이터 입력 및 검증 자동화, 오류 감지 및 수정 제안 ■ BOM 관리 : 챗GPT를 통해 BOM 데이터의 정확성과 일관성을 유지하여 생산 오류를 줄임 ■ 품질 관리 : 챗GPT를 통해 품질 문제의 원인 분석, 해결책 제안, 품질 검사 자동화 지원 ■ 제품 설계 : 챗GPT를 사용하여 설계 변경 제안 및 피드백 수집, 팀 간 협업 지원 ■ 상품 기획 : 챗GPT를 통해 시장 트렌드 분석, 고객 피드백 수집 및 분석, 제품 기획 아이디어 제안 ■ 공급망 관리 : 챗GPT를 사용하여 공급망 데이터 분석, 공급업체와의 실시간 커뮤니케이션 지원, 문제 발생 시 빠른 대응 방안 제안 ■ 고객 서비스 : 챗GPT를 활용한 자동화된 고객 응대, 자주 묻는 질문(FAQ) 자동 응답, 고객 피드백 수집 및 분석 ■ 교육 및 훈련 : 챗GPT를 통한 맞춤형 교육 자료 제공, 훈련 프로그램 관리, 실시간 질문 응답 시스템 구축 ■ 사양 관리 : 챗GPT를 사용하여 사양 데이터의 자동 검증 및 업데이트, 사양 변경 내역 관리, 사양 관련 질문에 대한 실시간 응답 제공 ■ 디지털 제조 : 챗GPT를 활용하여 제조 데이터 분석, 예측 유지보수 시스템 구축, 제조 과정 최적화 및 문제 해결 지원 ■ 데이터 보안 : 챗GPT를 통해 데이터 보안 시스템 강화, 실시간 보안 모니터링, 보안 위협에 대한 빠른 대응 방안 마련”   PLM 데이터 학습 방안 “PLM 데이터는 폐쇄적이고 기밀 정보가 많기 때문에 챗GPT가 직접적으로 학습하는 것은 어렵습니다. 그러나 다음과 같은 방안을 통해 챗GPT가 PLM 데이터를 활용할 수 있습니다. ■ 프록시 데이터 사용 : 익명화된 데이터로 학습하여 민감한 정보를 보호합니다. ■ API 기반 접근 : API를 통해 실시간으로 데이터를 조회하고 분석할 수 있습니다. ■ 데이터 마스킹 및 샘플링 : 민감 정보를 제거한 샘플 데이터를 사용하여 학습합니다. ■ 온프레미스 학습 시스템 : 기업 내부에 AI 학습 시스템을 구축하여 폐쇄된 환경에서 안전하게 학습합니다. ■ 주기적인 데이터 피드백 루프 : 정기적으로 업데이트된 데이터를 반영하여 학습합니다.”   결론 “챗GPT는 PLM 시스템의 다양한 문제를 해결할 수 있는 강력한 도구입니다. 데이터를 정확하게 관리하고 실시간으로 분석하며, 효율적인 의사소통을 지원함으로써 PLM 시스템의 효율성을 크게 향상시킬 수 있습니다. 그러나 데이터를 안전하게 관리하고, AI 모델의 정확성을 유지하기 위해 적절한 학습 방법과 보안 조치를 취하는 것이 중요합니다. 챗GPT를 통해 PLM 시스템의 문제를 해결하고, 더 나은 제품 개발과 관리를 실현할 수 있을 것입니다.”   PLM의 핫 이슈는 정합성과 정보의 공개 시행착오에서 해답을 찾을 수 있으리라 생각한다. 갈 길은 정해졌다. PLM의 가장 큰 이슈는 정합성과 정보의 공개이다. 왜냐면 사람이 운영하기 때문에, PLM의 복잡성 그리고 추적성을 고려하면 사용자들이 체계적으로 잘 사용해야 가능하다. 챗GPT가 해 줄 일은 자명하다. 고자질을 잘 할 것 같다. 누가 어떤 것에 에러를 범했다. 설계 데이터, BOM 오류, 결재를 미룬 사람 등 기업 업무의 불편한 진실을 챗GPT와 같은 생성형 AI가 내부고발자 역할을 하지 않을까 생각된다. 즉, 생성형 AI는 나를 도와주는 비서일 뿐만 아니라 감시자 역할도 할 수 있을 거라 예상된다.  두려움의 대상이라고 생각해도 나쁘지 않다. 시스템으로 의도하지 않은 업무상 오류를 바로잡을 수 있는 절호의 기회이기 때문이다.  기업 내부의 이슈로는 부서간, 개인간의 이해관계가 있다. 각자 자기 일을 잘 하게 되면 무슨 문제가 있으랴.    ▲ PLM과 챗GPT의 활용방안(Map by 류용효) (클릭하시면 큰 이미지로 볼 수 있습니다.)   ■ 류용효 디원의 상무이며 페이스북 그룹 ‘컨셉맵연구소’의 리더로 활동하고 있다. 현업의 관점으로 컨설팅, 디자인 싱킹으로 기업 프로세스를 정리하는데 도움을 주며, 1장의 빅 사이즈로 콘셉트 맵을 만드는데 관심이 많다. (블로그)     ■ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2024-07-03
엔비디아-구글 딥마인드, 대규모 언어 모델 혁신 위해 협력
엔비디아가 구글의 연례 개발자 콘퍼런스인 ‘구글 I/O 2024’에서 세 가지 새로운 협업 내용을 발표했다. 이번 협업으로 엔비디아와 구글은 세계적 수준의 성능을 갖춘 AI 기반 애플리케이션을 더 쉽게 만들 수 있도록 개발자를 지원할 예정이다. 텍스트, 이미지, 사운드와 같은 여러 유형의 데이터를 처리하는 모델이 점점 더 보편화되면서 생성형 AI를 구동하는 대규모 언어 모델(LLM)에 대한 혁신이 가속화되고 있다. 그러나 이러한 모델을 구축하고 배포하는 것은 여전히 어려운 과제다. 개발자는 모델을 빠르게 경험하고 평가해 사용 사례에 가장 적합한 모델을 결정한 다음, 비용 효율적일 뿐만 아니라 최상의 성능을 제공하는 방식으로 모델을 최적화할 수 있는 방법이 필요하다. 엔비디아는 이번 행사에서 구글이 선보인 두 가지 새로운 모델인 젬마 2(Gemma 2)와 팔리젬마(PaliGemma)를 최적화하기 위해 텐서RT-LLM(TensorRT-LLM)을 사용하고 있다. 이 두 모델은 모두 제미나이(Gemini)를 만드는 데 사용된 동일한 연구와 기술을 기반으로 구축됐으며, 각각 특정 영역에 중점을 둔다. 젬마 2는 광범위한 사용 사례를 위한 차세대 젬마 모델로, 획기적인 성능과 효율성을 위해 설계된 완전히 새로운 아키텍처가 특징이다. 팔리젬마는 PaLI-3에서 영감을 받은 개방형 시각 언어 모델(VLM)이다. 이는 SigLIP 시각 모델과 젬마 언어 모델을 포함한 개방형 구성 요소를 기반으로 구축됐으며, 이미지, 짧은 비디오 캡션, 시각적 이미지 질의응답, 이미지 내 텍스트 이해, 객체 감지나 분할과 같은 시각 언어 작업을 위해 설계됐다. 팔리젬마는 광범위한 시각 언어 작업에서 높은 수준의 미세 조정 성능을 탑재했고 엔비디아 JAX-툴박스(JAX-Toolbox)에서도 지원된다.   젬마 2와 팔리젬마는 대규모 AI 모델 배포를 간소화하는 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼의 일부인 엔비디아 NIM 추론 마이크로서비스와 함께 제공될 예정이다. 새로운 두 모델에 대한 NIM 지원은 팔리젬마를 시작으로 API 카탈로그에서 사용할 수 있으며, 곧 엔비디아 NGC와 깃허브(GitHub)에서 컨테이너로 출시될 예정이다. 구글은 데이터 과학자에게 인기 있는 개발자 플랫폼 중 하나인 구글 코랩(Colab)에서 오픈 소스 GPU 데이터 프레임 라이브러리인 래피즈 cuDF(RAPIDS cuDF)가 기본으로 지원된다고 발표했다. 매월 1000만 명에 이르는 구글 코랩의 월간 사용자들은 이제 코드 변경 없이 단 몇 초 만에 엔비디아 L4 텐서 코어(Tensor Core) GPU를 사용해 판다스(pandas) 기반 파이썬(Python) 워크플로를 최대 50배까지 가속화할 수 있다. 구글 코랩을 사용하는 개발자는 래피즈 cuDF를 통해 탐색적 분석(exploratory analysis)과 생산 데이터 파이프라인의 속도를 높일 수 있다.  또한, 엔비디아와 구글은 엔비디아 RTX 그래픽을 사용해 AI PC를 활용하는 파이어베이스 젠킷(Firebase Genkit)에 대한 협업도 발표했다. 이는 개발자가 새로운 젬마 모델 제품군을 비롯한 생성형 AI 모델을 웹과 모바일 애플리케이션에 쉽게 통합해 맞춤형 콘텐츠, 시맨틱 검색(semantic search), 문의에 대한 답변을 제공할 수 있도록 지원한다. 개발자는 로컬 RTX GPU로 작업 줄기(work stream)를 시작한 다음, 작업을 구글 클라우드 인프라로 원활하게 이동할 수 있다. 개발자들은 모바일 개발자들이 주로 쓰는 프로그래밍 언어인 자바스크립트(JavaScript)를 사용하는 젠킷으로 앱을 더욱 쉽게 개발할 수 있다. 엔비디아와 구글 클라우드는 AI의 발전을 위해 다양한 분야에서 협력하고 있다고 전했다. 곧 출시될 그레이스 블랙웰(Grace Blackwell) 기반 DGX 클라우드 플랫폼과 JAX 프레임워크 지원부터 구글 쿠버네티스 엔진(Kubernetes Engine)에 엔비디아 네모(NeMo) 프레임워크 도입까지, 양사의 풀스택(full-stack) 파트너십은 사용자가 구글 클라우드에서 엔비디아 기술을 사용해 AI로 수행할 수 있는 작업의 가능성을 확장하고 있다.
작성일 : 2024-05-17
엔비디아, AI 개발 가속화 위해 구글 클라우드와 협력
엔비디아가 구글 클라우드와 협력을 통해 전 세계 스타트업의 생성형 AI 애플리케이션과 서비스 개발 가속화를 지원한다고 발표했다. 양사의 이번 협력은 다양한 규모의 기업이 생성형 AI 애플리케이션을 개발하는데 드는 비용을 절감하고 장벽을 완화하기 위해 공개된 일련의 발표들 중 가장 최근에 이뤄진 것이다.  특히 스타트업은 AI 투자에 대한 높은 비용으로 인해 많은 제약을 받고 있다. 이번 협업으로 엔비디아와 구글 클라우드는 클라우드 크레딧, 시장 진출 지원, 그리고 기술 전문 지식에 대한 접촉 기회 확대를 통해 고객에게 더 빠르게 스타트업의 가치를 제공하도록 지원한다. 1만 8000개 이상의 스타트업을 지원하는 엔비디아 인셉션 글로벌 프로그램의 회원은 특히 AI에 중점을 둔 스타트업의 경우 최대 35만 달러의 구글 클라우드 크레딧을 제공받고 구글 클라우드 인프라 사용 가속화 경로를 확보할 수 있다. 구글 포 스타트업 클라우드 프로그램 멤버는 엔비디아 인셉션에 가입해 기술 전문 지식, 엔비디아 딥 러닝 인스티튜트(Deep Learning Institute) 과정 크레딧, 엔비디아 하드웨어와 소프트웨어 등을 이용할 수 있다. 또한 구글 포 스타트업 클라우드 프로그램의 스타트업 회원은 해당 분야에 관심이 있는 벤처 투자 기관에 노출될 기회를 주는 엔비디아 인셉션 캐피탈 커넥트(Inception Capital Connect) 플랫폼에 참여할 수 있다. 두 프로그램 모두에서 급성장한 신생 소프트웨어 제조업체는 구글 클라우드 마켓플레이스(Marketplace) 등록해 공동 마케팅, 제품 개발 가속화 지원을 우선적으로 받을 수 있다.     구글 딥마인드(DeepMind)는 지난 2월 최첨단 개방형 모델 제품군 젬마(Gemma)를 공개했는데,  엔비디아는 최근 구글과 협력해 모든 젬마 전용 엔비디아 AI 플랫폼에 대한 최적화를 실시했다. 젬마는 구글 딥마인드의 가장 뛰어난 모델인 제미나이(Gemini) 제작에 사용된 동일한 연구와 기술로 구축됐다. 양사의 긴밀한 협력으로 거대 언어 모델(LLM) 추론 최적화를 위한 오픈 소스 라이브러리 엔비디아 텐서RT-LLM(TensorRT-LLM)을 통해 엔비디아 GPU로 젬마를 실행, 젬마의 성능을 발전시켰다. 젬마 7B(Gemma 7B), 리커런트젬마(RecurrentGemma), 코드젬마(CodeGemma)를 포함한 젬마 모델 제품군은 엔비디아 API 카탈로그에서 사용 가능하며, 사용자는 이를 브라우저에서 사용하거나, API 엔드포인트로 프로토타입을 제작하거나, NIM을 통한 셀프 호스팅을 할 수 있다. 구글 클라우드를 사용하면 GKE와 구글 클라우드 HPC 툴킷으로 플랫폼 전반에 엔비디아 네모(NeMo) 프레임워크를 배포하기 쉬워진다. 이를 통해 개발자는 생성형 AI 모델의 훈련과 제공을 확장하고 자동화할 수 있으며, 개발 과정에 빠르게 착수하는 맞춤형 청사진을 통해 턴키 환경을 신속히 구축할 수 있다. 엔비디아 AI 엔터프라이즈의 일부인 엔비디아 네모는 구글 클라우드 마켓플레이스에서도 이용 가능하다. 이를 통해 고객들은 네모 및 기타 프레임워크에 쉽게 액세스해 AI 개발을 가속할 수 있다. 구글 클라우드는 엔비디아 생성형 AI 가속 컴퓨팅의 가용성 확대를 위해 5월 A3 메가(Mega)의 정식 출시를 발표했다. 이 인스턴스는 엔비디아 H100 텐서 코어(H100 Tensor Core) GPU로 구동되는 A3 가상 머신(VM) 제품군의 확장으로, A3 VM에서 GPU 대 GPU 네트워크 대역폭이 두 배로 늘었다. A3에 탑재된 구글 클라우드의 새로운 컨피덴셜(Confidential) VM에는 컨피덴셜 컴퓨팅에 대한 지원도 포함돼 있어, 고객이 H100 GPU 가속에 액세스하는 동안 코드를 변경하지 않고도 민감 데이터의 기밀성과 무결성을 보호하고 학습과 추론 도중 애플리케이션과 AI 워크로드를 보호할 수 있다. 이 GPU 기반 컨피덴셜 VM은 올해 미리보기로 제공될 예정이다. 한편, 블랙웰(Blackwell) 플랫폼에 기반한 엔비디아의 최신 GPU는 2025년 초에 엔비디아 HGX B200과 엔비디아 GB200 NVL72 등 두 가지 버전으로 구글 클라우드에 출시될 예정이다. HGX B200은 가장 까다로운 AI, 데이터 분석 그리고 고성능 컴퓨팅 워크로드를 위해 설계됐으며, GB200 NVL72는 차세대, 대규모, 조 단위의 매개변수 모델 학습과 실시간 추론을 위해 설계됐다. 엔비디아 GB200 NVL72는 각각 2개의 엔비디아 블랙웰 GPU와 엔비디아 그레이스 CPU(Grace CPU)가 결합된 36개의 그레이스 블랙웰 슈퍼칩을 900GB/s의 칩투칩(chip-to-chip) 인터커넥트를 통해 연결한다. 이는 하나의 엔비디아 NV링크(NVLink) 도메인에서 최대 72개의 블랙웰 GPU와 130TB/s의 대역폭을 지원한다. 통신 병목 현상을 극복하고 단일 GPU처럼 작동해 이전 세대 대비 30배 빠른 실시간 LLM 추론과 4배 빠른 트레이닝을 제공한다. 엔비디아는 지난 3월 생성형 AI의 요구사항에 최적화된 엔터프라이즈 개발자용 AI 플랫폼인 엔비디아 DGX 클라우드를 H100 GPU 기반의 A3 VM에서 사용할 수 있다고 발표했다. GB200 NVL72가 탑재된 DGX 클라우드는 2025년 구글 클라우드에서도 제공될 예정이다.
작성일 : 2024-04-12
엔비디아-구글 클라우드, 생성형 AI 가속화 위한 파트너십 확대
엔비디아가 구글 클라우드와 파트너십을 확대한다고 발표했다. 구글 클라우드는 올해 엔비디아 H100 GPU로 구성된 전용 구글 클라우드 A3 가상 머신(VM)을 발표했고, G2 VM을 출시하면서 엔비디아 L4 텐서 코어(Tensor Core) GPU를 제공하는 첫 번째 클라우드 제공업체가 됐다. 또한  H100 GPU의 버텍스(Vertex) AI 플랫폼 지원, 엔비디아 DGX GH200 AI 슈퍼컴퓨터로 생성형 AI 워크로드 성능 탐색 등을 발표했다. 양사는 향후 파트너십을 강화하면서 새로운 AI 인프라와 소프트웨어를 출시할 예정인데, 이는 생성형 AI를 위한 대규모 모델을 구축하고 배포해 데이터 사이언스 워크로드를 가속화하기 위한 것이라고 설명했다. 새로운 하드웨어와 소프트웨어 통합은 지난 2년간 구글 딥마인드(DeepMind)와 구글 리서치 팀에서 사용한 것과 동일한 엔비디아 기술을 활용한다. 대규모 언어 모델(LLM)을 구축하기 위한 구글의 프레임워크인 PaxML은 이제 엔비디아 가속 컴퓨팅에 최적화됐다. 기존 PaxML은 여러 구글 TPU 가속기 조각에 걸쳐 구축됐다. 하지만 이제 개발자는 PaxML을 통해 엔비디아 H100과 A100 텐서 코어 GPU로 구성 가능한 고급 실험과 확장을 수행할 수 있다. GPU에 최적화된 PaxML 컨테이너는 엔비디아 NGC 소프트웨어 카탈로그에서 즉시 사용할 수 있다. 또한 PaxML은 OpenXLA 컴파일러를 통해 GPU에 최적화된 JAX에서 실행된다. 구글 딥마인드와 다른 구글 리서치 연구원들은 탐색적 연구를 위해 엔비디아 GPU와 함께 PaxML을 사용한 최초의 기업 중 하나이다. PaxML에 최적화된 엔비디아 컨테이너는 엔비디아 NGC 컨테이너 레지스트리(container registry)에서 즉시 사용할 수 있다. 이 컨테이너는 차세대 AI 기반 애플리케이션을 구축하는 전 세계 연구자, 스타트업, 기업을 대상으로 한다. 또한, 엔비디아와 구글 클라우드는 구글의 데이터프록(Dataproc) 서비스를 통해 구글의 서버리스 스파크(Spark)와 엔비디아 GPU를 통합한다고 발표했다. 이를 통해 데이터 사이언티스트는 아파치 스파크(Apache Spark) 워크로드를 가속화해 AI 개발을 위한 데이터를 준비할 수 있다.     한편, 최근 열린 '구글 클라우드 넥스트(Google Cloud Next)' 이벤트에서는 엔비디아의 젠슨 황(Jensen Huang) CEO와 구글 클라우드의 토마스 쿠리안(Thomas Kurian) CEO가 대담을 진행했다. 이 대담에서는 파트너십을 통해 세계 대규모 AI 고객들에게 엔드투엔드 머신러닝 서비스를 제공하는 방법과 엔비디아 기술을 기반으로 구축된 구글 클라우드 제품으로 AI 슈퍼컴퓨터를 쉽게 실행할 수 있는 방법에 대해 논의했다. 젠슨 황 CEO는 "우리는 가속 컴퓨팅과 생성형 AI가 결합해 놀라운 속도로 혁신을 가속화하는 전환점에 서 있다. 구글 클라우드와의 파트너십 확대로 개발자는 에너지 효율을 높이고 비용을 절감하는 인프라, 소프트웨어와 서비스를 통해 작업을 가속화할 수 있다"고 말했다. 토마스 쿠리안 CEO는 "구글 클라우드는 고객을 위한 혁신을 촉진하고 가속화하기 위해 AI 분야에서 오랜 기간 기술을 혁신해 왔다. 구글의 많은 제품이 엔비디아 GPU를 기반으로 구축하고 제공되고 있으며, 많은 고객들이 생성형 AI를 발전시키기 위한 LLM의 효율적인 개발을 위해 엔비디아 가속 컴퓨팅을 찾고 있다”고 전했다.
작성일 : 2023-08-30
엔비디아 'GTC 2023'에서 한국 개발자를 위한 '코리아 AI 데이' 진행
엔비디아가 3월 20일부터 24일까지 엔비디아 GTC 2023 콘퍼런스를 개최한다고 밝혔다. 엔비디아 GTC는 AI와 메타버스 시대를 위한 글로벌 개발자 콘퍼런스로서, 지난해에 이어 올해도 가상으로 진행된다. GTC 2023은 650개 이상의 세션을 통해 AI, HPC, 클라우드, 메타버스, 생성 A 등 최첨단 연구에 이르기까지 전 세계 기술 전문가 및 비즈니스 리더들의 강연을 직접 확인할 수 있다. 젠슨 황과 오픈AI(OpenAI) 공동 설립자인 일리야 수츠케버(Ilya Sutskever)와의 대담을 비롯해 딥마인드(DeepMind)의 데미스 허사비스(Demis Hassabis), 스태빌리티 AI(Stability AI)의 이마드 모스타크(Emad Mostaque)등의 대담을 준비해 최신 발전에 대한 심도 깊은 논의가 이뤄질 예정이다.     특히 엔비디아는 이번 GTC 2023에서 한국 개발자를 위한 스페셜 이벤트인 '코리아 AI 데이(Korea AI Day)'가 마련된다고 밝혔다. 여기서는 생성 AI, 옴니버스(Omniverse), LLM(Large Language Model), 과학연산 분야 등 한국의 AI 연구 및 비즈니스를 혁신하는 다양한 기술 토크 세션과 엔업(N&up) 참가사 및 생성 AI 한국 인셉션(Inception) 스타트업 쇼케이스 세션이 공개된다. 또한, 코리아 AI 데이에서는 최근 챗GPT(ChatGPT)로 화제를 모으고 있는 생성형 AI 세션도 준비했다. 해당 세션에서는 생성형 AI 분야의 국내 스타트업을 초청해 기술 스타트업이 바라보는 최신 비즈니스 트렌드, 기술 동향, 직면 과제와 해결 방안을 논의한다. 클레온, 플라스크, 슈퍼톤, 리콘랩스가 대표 스타트업 패널로 참여하며, 생성형 AI와 GPU 가속 컴퓨팅, 엔비디아 AI 기술의 결합을 통해 AI와 인간 상호 작용의 미래를 제시한다. 여기에 AI 개발자 밋업에서는 GTC 주요 한국인 발표 연사를 초청해 AI의 미래에 대한 인사이트를 확인할 수 있다. 엔비디아 GTC 2023은 한국 참석자를 위한 한국어 해설을 지원한다. 3월 21일부터 22일까지 진행되는 자율 주행 개발자를 위한 한국어 해설 세션(Korea Drive Developer Day)이 진행된다. 또한, 주요 세션을 엄선해 한국어 해설을 지원한 워치 파티(Wach Party) 및 리플레이(Replay) 세션을 준비해 참석자들이 편리하게 정보를 얻어갈 수 있게 했다. GTC 2023에서 진행하는 엔비디아 DLI(Deep Learning Institute) 워크숍에서도 한국 개발자를 위한 과정을 준비했다. 이 과정은 총 두 가지로, 데이터 병렬화와 모델 병렬화이다. 엔비디아 DLI는 AI, 가속 컴퓨팅 및 데이터 과학에 대한 실습 교육과 업계 지식을 전달해 기술 능력을 향상시킬 수 있는 기회를 제공한다.
작성일 : 2023-03-09
엔비디아, 'GTC 2023'에서 생성 AI·산업용 메타버스 등 최신 기술 소개
엔비디아가 3월 20일부터 23일까지 'GTC 2023' 콘퍼런스를 가상 이벤트로 개최한다고 발표했다. 이번 콘퍼런스에서는 엔비디아 젠슨 황(Jensen Huang) CEO의 기조연설을 비롯해 생성 AI, 메타버스, 대형 언어 모델, 로보틱스, 클라우드 컴퓨팅 등의 최신 발전을 다룰 예정이다. GTC 2023에서는 모든 컴퓨팅 영역의 연구원, 개발자 및 업계 리더들이 650개 이상의 세션을 제공하며, 25만 명 이상이 등록할 것으로 예상된다. 또한 GTC 2023은 젠슨 황과 오픈AI(OpenAI) 공동 설립자인 일리야 수츠케버(Ilya Sutskever)와의 대담뿐만 아니라 딥마인드(DeepMind)의 데미스 허사비스(Demis Hassabis), 스태빌리티 AI(Stability AI)의 이마드 모스타크(Emad Mostaque)등의 대담을 준비했다.      또한, 광범위한 청중을 대상으로 생성 AI에 대한 이해를 돕는 여러 강연이 진행된다. 어도비의 스콧 벨스키(Scott Belsky) 최고 제품 책임자와 엔비디아의 브라이언 카탄자로(Bryan Catanzaro) 응용 연구 부사장이 생성 AI가 크리에이티브 프로세스를 어떻게 변화시키고 있는지에 대한 담화를 진행하며, 엔비디아의 자동차 팀이 생성 AI가 어떻게 AV 개발을 혁신하고 있는지에 대한 대화를 나눌 예정이다. 이외에도 GTC 2023에서는 미국 노동부, 메타, 넷플릭스, IBM, 지멘스 디지털 인더스트리 소프트웨어 등이 발표를 진행한다. 그리고 아마존 로보틱스, AWS, 바이트댄스, 델 테크놀로지스, 딜로이트, 에픽게임즈, 포드, 프라운호퍼, GM, 구글, HPE, 재규어 랜드로버, 레노버, 록히드 마틴, 마이크로소프트, MIT, 오라클 클라우드, 픽사, 삼성, 셸, TSMC, VM웨어 등이 참여한다. 한편, GTC 2023에서는 AI 인력의 준비도를 높이고 보다 포괄적인 AI 생태계를 만들기 위해 초기 경력자 및 학생 참가자를 위한 교육과 세션을 제공하며, 스타트업이 AI, 데이터 사이언스, 머신 러닝 전문가로부터 직접 배울 수 있는 기회도 마련된다. 최첨단 스타트업을 육성하기 위해 설계된 글로벌 프로그램인 엔비디아 인셉션(Inception)은 스타트업의 사업 성장과 업계 지식을 습득할 수 있도록 지원하는 트랙을 주최할 예정이다. 엔비디아의 젠슨 황 CEO는 "AI 역사상 지금이 가장 놀라운 순간이다. 새로운 AI 기술과 빠르게 확산되는 채택은 과학과 산업을 변화시키고 수천 개의 새로운 기업을 위한 새로운 지평을 열고 있다. 이것은 우리의 가장 중요한 GTC가 될 것”이라고 말했다.
작성일 : 2023-02-22
그래프코어, 한국 진출과 함께 새로운 아키텍처의 AI 칩 선보인다
글로벌 AI 반도체 전문 기업인 그래프코어(Graphcore)가 한국 지사를 설립했다. 또한, 데이터 처리 속도를 최대 100배까지 높일 수 있는 ‘콜로서스(Colossus) IPU(지능 처리 장치: Intelligence Processing Unit)’를 발표하고, 국내 AI 반도체 시장 공략 강화에 나선다고 밝혔다. 그래프코어는 2016년 영국 브리스톨에서 설립되었다. 나이젤 툰 최고경영자(CEO)와 사이먼 놀스 최고기술책임자(CTO)는 AI 시대와 머신러닝에 특화한 반도체의 필요성에 주목하여 그래프코어를 공동 창업했으며, 현재 미국과 유럽, 한국, 일본을 비롯해 전세계에 지사를 두고 있다.     그래프코어가 설계하고 만든 콜로서스 IPU는 기존 중앙처리장치(CPU)나 GPU와 달리 프로세서에 직접 메모리를 배치하는 '메모리 중심적 아키텍처'를 내세우고 있다. 학습 및 추론 모델을 메모리에 적재한 후 바로 연산할 수 있게 되어 CPU, D램, GPU 간 지연을 제거하고 연산 속도를 높이는 것이 기본 콘셉트이다. 콜로서스 IPU는 새로운 머신 인텔리전스 워크로드를 실현할 수 있도록 설계되어, 자연어처리(NLP) 경계 확장에 중점을 두고 있으며, 기계 지능 개선에 우선순위를 두고 있다. 콜로서스 IPU는 1200개 이상의 병렬 코어로 150W에서 125 TFLOPS의 연산속도를 제공한다. 이 아키텍처를 통해 그래프코어가 내세우는 성능상의 이점은 ▲연산 성능 향상(카드당 2배 이상 향상) ▲엣지에서 전송속도 지연 최소화(특히 실시간 애플리케이션에서 유용함) ▲기계 학습 소요 시간 단축 ▲전력 효율적인 메모리 사용 등이다. 또한 학습과 추론에 동일한 하드웨어 및 소프트웨어를 사용하여 유연성을 제공하며, 엣지부터 클라우드까지 지속적으로 증가하고 있는 새로운 솔루션에 모두 적용할 수 있는 확장성을 제공한다.     그래프코어의 IPU는 실제 글로벌 기업 컴퓨팅 시스템에 채택되고 있다. 2019년 마이크로소프트는 클라우드 컴퓨팅 플랫폼 '애저(Azure)'에 그래프코어 IPU를 탑재해 고객에게 좀 더 편리한 AI 개발 환경을 제공한다고 밝혔다. MS 애저에 IPU가 적용되면 사용자들은 애저 플랫폼 안에서 머신러닝이나 자연어처리(NLP) 등을 활용해 새로운 서비스나 제품을 개발할 수 있게 된다. 또한 그래프코어 IPU는 델의 서버 랙 기술과 통합되고 있다. 이는 기업 고객이 직접 머신 인텔리전스 컴퓨팅을 구축할 수 있다. 이와 같은 기술력을 바탕으로 그래프코어는 보쉬 벤처캐피털, 삼성전자, 델 테크놀로지 캐피털, 아마데우스 캐피털파트너스, C4벤처스, 드라퍼 에스프리트, 파운데이션 캐피털, 피탕고 캐피털, 암(Arm) 공동 창업자 헤르만 하우저와 딥마인드(DeepMind) 공동 창업자 데미스 하사비스 등으로부터 3억 달러(약 3500억원)를 유치했으며, 현재 기업 가치는 15억 달러(약 1조 7400억원)로 평가받고 있다. 그래프코어의 한국 지사장으로 선임된 강민우 지사장은 그래프코어에 합류하기 이전에 오버랜드와 데이터도메인, 블랙아이옵스, 퓨어스토리지, 루브릭, 엑사그리드 등의 다국적 기업에서 지사장을 맡았으며, 20년 이상 IT 전반의 고객 지원과 영업을 두루 경험한 IT 분야 전문가이다.   ▲ 그래프코어 코리아 강민우 지사장   그래프코어 코리아의 강민우 지사장은 “그래프코어 IPU는 기존에 경험해보지 못한 빠른 학습과 추론을 위한 속도를 보장한다. AI 프로젝트를 진행하는 공공 기관을 비롯하여 주요 기업과 연구소에서 사용하는 데이터센터 등에서 필요한 AI프로젝트를 완벽하게 수행하기 위한 컴퓨팅 시스템에 IPU를 공급할 것”이라면서, “국내 기업 고객들의 변화하는 수요에 맞춰 공격적으로 시장을 개척하고, 최적의 제품과 서비스 제공을 위해 조직 확대 및 지원에 적극 나설 것”이라고 밝혔다.
작성일 : 2020-02-05