팔란티어 온톨로지 플랫폼 아키텍처 기술 해부 및구현 방법
BIM 칼럼니스트 강태욱의 이슈 & 토크
이번 호에서는 세계적으로 주목받고 있는 팔란티어(Palantir)의 온톨로지 플랫폼 아키텍처를 소프트웨어 공학 관점에서 분석하고, 오픈소스 기술을 활용한 구현 방법을 정리한다. 팔란티어의 핵심은 기존 시스템을 대체하는 것이 아니라, 통합하고 확장하는 개방성에 있다. 이번 호에서는 국방이나 제조 분야에서 팔란티어가 어떻게 검증된 오픈소스 기술 기반 위에 독자적인 온톨로지(ontology)라는 의미론적 추상화 계층을 구축했는지, 그리고 그 구조를 파헤쳐 본다.
■ 강태욱
건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/ GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다.
페이스북 | www.facebook.com/laputa999
블로그 | http://daddynkidsmakers.blogspot.com
홈페이지 | https://dxbim.blogspot.com
팟캐스트 | www.facebook.com/groups/digestpodcast
팔란티어 아키텍처
팔란티어 아키텍처의 근간에는 ‘대체가 아닌 통합’이라는 철학이 있다. 이는 기업이 이미 막대한 투자를 한 데이터레이크, ERP, CRM과 같은 기존 IT 환경을 교체하는 대신, 이들을 하나로 묶고 그 가치를 증대시키는 플랫폼 역할을 하는 것이다.
이러한 철학은 아키텍처의 명확한 관심사 분리로 이어진다. 배포, 오케스트레이션, 데이터 처리와 같은 하위 계층은 의도적으로 쿠버네티스(Kubernetes), 스파크(Spark), 플링크(Flink) 등 보편적인 오픈소스 표준 위에 구축된다. 이를 통해 고객의 기존 기술 스택 및 엔지니어링 역량과 마찰 없이 통합된다. 반면, 온톨로지, AI 플랫폼(AIP)과 같은 상위 계층에는 팔란티어의 독자적인 지적 재산이 집중된다. 이 구조는 고객이 새로운 데이터베이스나 컴퓨팅 엔진이 아닌, 기존 자산과 상호 작용하는 새로운 패러다임을 구매하게 만들어 비즈니스 가치를 제안한다.
플랫폼의 안정성과 확장성은 두 가지 핵심 기술, 즉 자율 배포 시스템인 아폴로(Apollo)와 쿠버네티스 기반의 컨테이너 오케스트레이션 기판인 루빅스(Rubix)에 의해 뒷받침된다. 이 기반 위에서 데이터 통합 및 분석 플랫폼인 파운드리(Foundry), 국방 및 정보 분석에 특화된 고담(Gotham), 그리고 AI 모델을 온톨로지와 연결하는 AIP(Artificial Intelligence Platform)가 운영된다.
그림 1. 팔란티어 아키텍처 구조 개념도
그림 2. 국방 분야 서비스인 팔란티어 고담 플랫폼
그림 3. 서비스의 지속적인 자율 통합/배포(CI/CD)를 위한 팔란티어 아폴로
데이터 처리 워크플로
팔란티어의 워크플로는 이기종의 파편화된 데이터 소스를 연결하고, 이를 구조화된 지식으로 변환하여 온톨로지 모델로 변환한다.
데이터 수집 및 파싱
PDF, 문서, 이미지와 같은 비정형 데이터는 먼저 ‘미디어 셋(media sets)’이라는 파일 모음으로 수집된다. 데이터를 파싱하는 과정은 블랙박스가 아니다. 개발자는 파이썬(Python)이나 자바(Java) 변환과 저수준 파일 시스템 API를 사용하여 직접 파이프라인을 구축한다. 이는 결정론적이고, 테스트 가능하며, 버전 관리가 가능한 파이프라인을 통해 신뢰성과 거버넌스를 확보하는 엔지니어링 중심의 접근 방식이다.
더 나아가 AIP는 AI 기반 파싱 기능을 제공한다. 이는 사전 훈련되거나 맞춤화된 AI 모델(예 : NLP 모델)을 파이프라인 내에 통합하여 개체명 인식, 요약과 같은 정교한 작업을 수행하는 방식이다. 이 구조는 엔지니어가 견고한 데이터 파이프라인을 구축하고, AI 엔지니어가 그 안에 두뇌 역할을 하는 모델을 배포하는 효율적인 이중 계층 시스템을 만든다.
기반 처리 기술
이러한 데이터 변환 및 통합 로직은 독점 엔진에 종속되지 않는다. 모든 데이터는 아파치 파케이(Apache Parquet), 아브로(Avro)와 같은 표준 형식으로 저장되며, 대규모 배치 처리를 위한 아파치 스파크, 실시간 스트림 처리를 위한 아파치 플링크와 같은 오픈소스 런타임을 사용한다.
온톨로지 메타모델
온톨로지는 팔란티어의 핵심 차별화 요소로, 기업의 모든 데이터, 모델, 프로세스를 현실 세계의 대응물(공장, 고객, 제품 등)과 연결하는 의미론적, 동역학적 계층이다. 이는 기업의 ‘디지털 트윈(digital twin)’ 역할을 한다.
온톨로지의 개념은 객체 지향 프로그래밍(OOP)과 매우 유사하다.
객체(object)는 클래스(class)에 해당한다. 온톨로지의 ‘항공기’ 객체 유형은 OOP의 Aircraft 클래스와 같다.
속성(property)은 속성(attribute)에 해당한다. ‘항공기’ 객체의 ‘꼬리 번호’ 속성은 Aircraft 클래스의 tailNumber 속성과 같다.
연결(link)은 객체 간의 관계(association)에 해당한다. ‘조종사’가 ‘항공기’에 탑승한다는 연결은 Pilot 객체와 Aircraft 객체 간의 관계를 정의한다.
■ 자세한 기사 내용은 PDF로 제공됩니다.
작성일 : 2025-12-02