开发以利用360°影像虚拟现实为基础的验船师培训模拟器
2022年 01月 21日
撰稿人
KIL WOOSUNG主任验船师，LEE EUNJOO 验船师，LEE KYEONGHO 验船师
ICT Solution Team
1. 绪论
验船师应以对船体及轮机的综合理解为基础不断熟悉制定、修改的国际协议及船级社规范并根据相应的规定和规范进行船舶检验。KR通过自己的教育系统使验船师掌握整个检验的理论和实务技术，大部分培训课程由理论教育和现场同行教育组成。
如表1所示，理论教育和现场教育是传统的学习过程在教育资料和程序的量和质量方面有系统地建立，但包含着两个教育不能两立的问题。
为了克服这些缺点，KR想介绍基于虚拟现实的综合检验培训系统。介绍的软件以360°影像为基础构建虚拟船舶环境，船舶验船师随时在虚拟船舶空间内确认船舶检验所需的规范和规定，更进一步可以一起培训先任验船师的经验的虚拟现实基础的综合检验培训系统。
|
理论教育 |
|
|
教育 方法 |
基于国际海事局（IMO）、国际船级协会（IACS）等相关机构发行的规定及规范和船舶安全法的理论背景，利用各种照片和文件资料传达对实际检验的信息。 |
|
优点 |
可以获得有关规定和规范的正确信息，根据空间和时间的限制较少。 |
|
缺点 |
通过文件和照片的教育，很难直观地理解船体的构造和现场。 |
|
现场同行教育 |
|
|
教育 方法 |
教育对象验船师在实际环境中用肉眼确认检验装备，传达检验经验的方法。 |
|
优点 |
可以直接传达经验用肉眼确认检验对象的各个部分，因此实效性很高。 |
|
缺点 |
由于需要实际乘坐船舶，暴露在检验现场的危险情况下存在时空限制。 |
表1.检验培训形式的优缺点
2. 系统开发
2.1. 框架设计
为了实现模拟器需要的系统是培训者使用的软件（以后用户软件）和可以输入培训数据的开发者软件（以后开发者软件），控制各个软件的控制服务器和存储各种教育信息和图像数据的数据库服务器。图1是各系统的框架设计图。用户软件有PC版本和VR版本，可以以用户想要的方式驱动软件。PC版本可以通过键盘和鼠标，VR版本可以通过HMD（Head Mounded Device）和控制器进行程序控制和数据输入。
控制服务器的作用是在用户软件中调用功能或与数据库交互提供必要的信息。为此为了实现与用户软件的双向通信使用了Nodejs和Socket.io。
DB服务器使用的数据框架和形式固定，所以使用了SQL DB。作为用户软件开发工具，从开发者的角度出发使用VR参考资料多、提供多种软件包的通用引擎开发了模拟器。
2.2 技能要求事项
为了发挥验船师培训模拟器的作用，将系统应具备的功能整理成表2。从通用功能和用户软件、开发者软件中分离定义了所需功能。
|
区分 |
项目 |
功能说明 |
|
共同功能 |
Admin |
账号，登录，船舶信息管理 |
|
用户
SW |
Map |
图纸上标志全部信息位置及移动到选择位置 |
|
Remark |
查询检验及规定资料 |
|
|
Navigation |
移动到相应路径 |
|
|
Video |
观看介绍视频 |
|
|
开发者
SW |
Image |
输入船舶图像信息 |
|
Map |
输入各图像图纸上的位置信息 |
|
|
Remark |
输入检验和规定资料 输入重复信息的模板功能 |
|
|
Navigation |
输入箭头后登录连接的图像 |
|
|
机器联动 |
VR interaction |
HMD，控制器支持 |
|
PC |
Window OS 支持 |
表2.VR功能需求定义
共同功能有将程序的使用权限及船舶的信息按账户分配管理的登录功能和账户管理功能。考虑到没有VR设备的用户需要提供VR设备或PC版本的驱动方法并建立一个统一的数据管理数据库服务。
开发者软件的功能需要将船舶拍摄的图像存储在DB服务器上的功能。之后要输入各图像船舶的位置信息，分类照片，输入用户可移动的路径。最后需要输入和更新向用户提供的检验及规范信息。在向检测对象输入数据时，存在像消火栓这样反复的检测项目。这时可以提供反复使用的模板功能，提高验船师的工作效率。
用户软件可以通过点击确认先任验船师输入的检验信息的软件移动路径来移动线路。通过图纸可以掌握使用者的位置还可以确认其他位置的信息。
2.3基于360°图像的虚拟现实模拟器开发
360°VR影像是以一个位置为基准摄像机拍摄360°的影像媒体。360°相机由多重镜头组成通过将拍摄各个方向的影像合成360°图像。之后为了优化照片的渲染进行了规模作业和清晰度作业等后续处理工作。进行上述处理过程的拍摄图像与图3的数据端口组相同。
通过360°图像制作虚拟环境的方法是在开发者软件中输入图像后，在通用程序中将区（Sphere）的背景设定为该图像。因此可以利用实线的形象制作虚拟现实环境。
为了构建图3的XR Platform开发船舶的构成信息和元数据堆积的DB服务器环境。设计数据库和数据表后与控制服务器联系建立信息输入输出平台的形态。
平台建立后对于开发者软件先任验船师开发了可以输入有关位置的图纸上的位置信息和图像移动的导航、检验对象的检验信息数据的GUI（Graphical user interface）。可以使用该GUI进行数据输入和存储功能来构成程序内容。
用户软件在用户登录程序时通过控制服务器开发了数据库服务器中存储的信息和图像的功能。通过下面的UI可以确认移动路径和检验信息并且点击各道具确认该项目。
3. 开发结果
开发的程序由PC版本的用户程序、开发者程序、VR版本的用户程序和开发者程序提供。
验船师可以通过开发者程序输入图像文件和船舶的构成信息、检验信息，直接输入和修改图像的追加删除、修改的船级规范。
图4的（a）是登录后选择船舶内连接位置的画面。选择连接位置后进入可确认如图4（b）的虚拟环境。用户可以点击箭头移动到该路径，点击检验对象装备确认如图4（c）的先任验船师输入的信息。使用下端的Show Map功能，通过图纸确认该图像的位置，移动到其他位置，获得想要的信。上述的所有功能都支持PC和VR设备版本，图片（d）是使用HMD和控制器运行的样子。
图3. 软件开发结果
4. 结论
利用360°影像的虚拟现实基础的验船师培训模拟器，提供了以360°图像为基础的虚拟环境，视角自由以实际船舶的拍摄形象为基础制作可以体验到现场感高的体验。本软件提供了用户软件和开发者软件的功能，可持续维护程序，数据操作方便。并将相关功能以系统化的平台形式构建，使多艘船的照片和检验信息能够持续存储在数据库服务器上。
本软件将现场验船师积累的知识有效地传播给其他验船师，提高检验力量一这一点具有意义，只有伴随验船师的最新数据输入支持才能发挥其作用。
本软件今后将与船级社提供的多种服务联系提供给给船级社验船师以及船上的船员和相关大学生。