바로가기 메뉴
본문 바로가기
주메뉴 바로가기
혼합현실기반 디지털트윈 시스템 개발
2023년 03월 02일

디지털라이제이션팀 김거화 책임, 이은주 선임

 

최근 인공지능, 빅데이터, IoT 등 새로운 기술의 급격한 기술발달로 인해 모든 산업 전반에서 이 기술들 활용하여 경쟁력을 확보하는 것이 트렌드가 되고 있다. 제조업, 항공우주, 스마트시티, 건설, 의료, 물류 등 다양한 응용 분야에서 적용되고 있으며 조선해양 분야에도 새로운 기술도입을 위한 움직임이 크게 일어나고 있다. 

 

이 연구에서는 선박의 디지털트윈을 구축하고 선원이나 검사원들이 이를 편하게 사용할 수 있는 혼합현실 기술을 적용하였다.

 

선박의 디지털트윈 아키텍처는 그림 1과 같이 4개의 파트로 나뉘어 구성하였다. Part1은 디지털트윈의 물리모델으로 프로토타입 어플리케이션의 대상 선박에 해당한다. 선박은 선내외 데이터를 수집해 클라우드 시스템에 전달하는 역할을 수행하며, 이를 위해 선내외 데이터를 수집할 수 있는 IoT 센서와 육상 연계를 위한 해상통신설비를 갖추고 있어야 한다. Part2는 선박의 데이터를 수신 받아 디지털트윈 모델을 구현하는 클라우드 상의 디지털 모델이며 Part3는 디지털 모델을 통해서 최적화된 솔루션을 제공할 수 있는 애플리케이션 분야이다. Part4는 선박의 정보와 클라우드 상의 정보를 시각적으로 확인할 수 있는 MR 시스템이다.

 

그림1. 디지털트윈 아키텍쳐

그림 1. 디지털트윈 아키텍쳐

 


3D 모델 구현

디지털 트윈 시스템 사용자의 직관성을 높이기 위해 실제 선박과 유사한 3D 디지털 모델을 활용했다. 선박의 3D 모델 가시화를 위해서는 선박 및 장비에 대한 3D CAD 파일의 확보가 필요하다. 장비 모델의 경우 설계단계에서 제작되는 CAD 파일을 사용하였으며, 선체 모델의 경우 직접 모델링을 진행하였다. 이후 해당 파일을 어플리케이션에서 구동하기 위해서는 3D 모델 경량화 작업을 수행하였다. 디지털트윈 시스템 적용대상의 선박과 MR 시스템에 활용을 위한 3D 모델은 다음의 그림2와 같다.

 

그림2. 디지털트윈 대상 소형 선박(좌)과 MR 시스템에 활용을 위한 3D 모델로 구현한 선박(우)

그림 2. 디지털트윈 대상 소형 선박(좌)과 MR 시스템에 활용을 위한 3D 모델로 구현한 선박(우)

 


네트워크 시스템

선박의 통신시스템과 육상 지원 센터는 VPN(Virtual Private Network)을 사용하여 하나의 네트워크망으로 구성하였다. 선박의 통신은 불안정한 해상상태 고려하여 Wifi와 LTE로 병렬로 구성하였다. 선박의 실시간 데이터를 클라우드 상에 업로드하기 위하여 선내 네트워크를 통해 Azure 클라우드에 연계하였다. 선내에는 TCP/IP 기반의 네트워크 서버와 MR 디바이스 간의 협력업무를 위한 동기화 서버를 구축하였다.

 


프로토타입 구현

클라우드를 활용하여 프로토타입 선박의 디지털트윈 어플리케이션을 구현해보았다. 다음의 그림은 홀로렌즈2를 사용해 어플리케이션을 구동한 모습으로 그림 3와 같이 왼쪽의 실제 선박과 오른쪽의 3D 모델을 확인할 수 있다. 


또한, 그림 4과 같이 모터의 실시간 정보를 대시보드를 통해 확인할 수 있다. 결과적으로 선내 통신망을 사용해 실시간 데이터를 클라우드에 전달받아 어플리케이션을 통해 사용자가 선박의 실시간 정보를 확인할 수 있음을 확인하였다. 사용자는 Mixed Reality 기반의 홀로렌즈와 모바일 장비를 사용해 어플리케이션을 구동할 수 있으며, 자리 이동을 통해 선박의 360도 모습과 현재 상태를 확인하고 화면 터치와 손 추적 기능을 통해 어플리케이션과 인터페이스할 수 있다.

 

그림3. 혼합현실 기반 어플리케이션 구동그림4. 혼합현실기반 선박 모니터링 시스템

 그림3. 혼합현실 기반 어플리케이션 구동 / 그림4. 혼합현실기반 선박 모니터링 시스템

 

 

결론

앞서 분석된 디지털트윈이 적용 가능한 선박의 시스템 중 기관의 원격 모니터링 기능에 대한 프로토타입 어플리케이션을 개발해 보았다. 본 연구를 위해 8m 크기의 배터리 기반의 전기추진선박을 준비했고, Azure 클라우드를 활용하여 선박용 디지털트윈 아키텍처를 구현하였다. 아키텍처는 총 4개의 파트로 선박 물리모델, 클라우드 시스템, 최적화 알고리즘, 어플리케이션으로 구성되어 있으며, 이후 해당 아키텍처를 사용하여 프로토타입 디지털 트윈 시스템을 개발한 결과 성공적으로 시스템 적용이 가능함을 확인했다.

 

현재 진행되고 있는 연구개발에서는 선박의 상태를 분석하고 보여줄 수 있는 PART3의 애플리케이션과 MR 시스템 사용자 간의 협업을 위한 동기화 시스템을 개발 중에 있다. 위치기반 동기화 시스템은 선원과 검사원에게 선박의 정보를 빠르고 정확하게 제공할 뿐만 아니라 원격검사 업무까지 업무를 확장할 수 있을 것으로 기대된다.