광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

앞으로 수술실에서는 혼합현실을 사용하여 수술을 진행하게 된다. Microsoft 이 만든 홀로렌즈(HoloLens)는 우리가 전 세계의 모든 수술실에서 디지털 혁명을 민주화할 수 있는 도구이다. HoloLens는 손 제스처 및 음성 명령으로 작동하므로 외과의는 X-레이 또는 기타 스캔으로 생성된 환자의 해부학적 3차원 홀로그램 이미지를 볼 수 있다.

https://www.weforum.org/agenda/2021/02/hololens-surgery-digital-revolution-medical-techonology/

JM Kim | 기사입력 2021/02/22 [00:53]

앞으로 수술실에서는 혼합현실을 사용하여 수술을 진행하게 된다. Microsoft 이 만든 홀로렌즈(HoloLens)는 우리가 전 세계의 모든 수술실에서 디지털 혁명을 민주화할 수 있는 도구이다. HoloLens는 손 제스처 및 음성 명령으로 작동하므로 외과의는 X-레이 또는 기타 스캔으로 생성된 환자의 해부학적 3차원 홀로그램 이미지를 볼 수 있다.

https://www.weforum.org/agenda/2021/02/hololens-surgery-digital-revolution-medical-techonology/

JM Kim | 입력 : 2021/02/22 [00:53]

엔지니어이자 Microsoft 기술 연구원인 Alex Kipman이 만든 HoloLens는 수술 중에 새로운 도구로 사용된다. HoloLens는 손 제스처와 음성 명령으로 작동하므로 외과의가 이전에 사용할 수 있었던 것보다 훨씬 더 많은 정보를 불러올 수 있다. 또한 훈련에 사용할 수 있으며 수술실에 공동으로 작업할 수 있다.

12월 중순 어느 날, 정형외과 의사인 Bruno Gobbato 박사가 브라질 자라 구아 두 술에 있는 수술실로 걸어 들어가 HoloLens 2 혼합현실 헤드셋을 착용하고 수술을 준비했다.

그와 원격으로 합류한 동료 외과의사인 Thomas Gregory 교수는 파리에서 동조했고, 뉴저지에 거주하는 John Erickson 박사도 있었다. Gobbato의 환자는 제대로 치유되지 않은 쇄골 골절이 있었기 때문에 Gobbato는 뼈의 위치를 ​​변경하고 어깨 관절경 검사를 수행해야했다. 여기에는 관절에 작은 카메라를 삽입하여 남성의 어깨 통증을 유발하는 원인을 확인해야했다.

Gregory Erickson Microsoft Dynamics 365 Remote Assist 앱을 통해 Gobbato의 헤드셋에 연결되었으며 Microsoft Teams를 통해 컴퓨터 화면에서 시야를 공유했다. 그들은 환자와 CT 스캔에서 생성된 Gobbato의 홀로그램 이미지를 볼 수 있었다. 하나는 환자의 손상된 쇄골을 보여주고 다른 하나는 그의 건강한 쇄골을 복제한 것이다. 3 개 대륙에 있는 3명의 외과의는 절차에 접근하는 방법에 대해 논의하고 각 단계에 대해 의논하고 각자의 접근 방식을 공유했다.

A new reality for healthcare

Gobbato그들은 수술을 도와주는 파트너였다. “우리는 프랑스의 관점, 미국의 관점, 라틴 아메리카 관점의 관점을 가졌다. 우리는 전 세계의 4분의 1이 수술실 안에 있었다.”고 말했다.

이 절차는 HoloLens2가 외과 의사에게 어떻게 혜택을 주고 전 세계 의사 간의 협업을 가능하게 하는지 보여주는 프로젝트의 일부였다. 2017년 최초의 HoloLens를 사용하여 첫 번째 수술을 수행한 Gregory가 착안한 이 이니셔티브에는 5개 대륙 13개국의 정형외과 의사가 참여했다.

11월과 1월 사이에 12명의 의사가 HoloLens를 사용하여 수술을 수행했다. 아랍에미리트의 무릎 수술부터 남아프리카의 어깨 교체에 이르기까지 다양한 수술을 수행했으며 Gregory와 합류한 다른 의사는 교대로 앉아 관찰하고 제안했다. 이 프로젝트는 혼합현실 기술의 교차점과 의료 서비스에 미치는 영향에 대한 일련의 원탁 회의 및 인터뷰로 오늘 끝이 난다.

Gregory에게 이 프로젝트는 "외과의사를 위한 스마트폰"의 이점을 전달하는 방법이었다. 많은 사람들이 일상 업무에서 정보에 빠르게 액세스하기 위해 스마트폰에 의존하지만 외과의는 무균 수술실 환경에서 전화나 컴퓨터를 사용할 수 없다고 그는 지적한다. 그들은 일반적으로 절차를 미리 계획하고 수술이 시작되면 환자 데이터 또는 기타 리소스에 거의 액세스 할 수 없다.

2016년에 최초의 HoloLens가 도입되었을 때 Gregory는 외과의가 정보 및 커뮤니케이션 도구로 사용할 가능성을 즉시 확인했다. 갑자기 그는 키보드나 마우스를 터치하는 대신 손짓이나 음성 명령을 사용하여 정보를 불러올 수 있었다.

파리 Avicenne 병원의 정형외과 외상수술 부서장이자 University Sorbonne-Paris-Nord의 정형외과 교수인 Gregory "내가 오랫동안 찾고 있던 것이었다."고 말한다.

HoloLens를 컴퓨터나 스마트폰으로 사용하여 수술 중에 필요할 때 필요한 정보를 얻을 수 있다는 것을 깨달았다. 이를 통해 외과의는 더 빠르고 효율적이며 성과를 향상시킬 수 있다."

자칭 "기술 전문가"이자 "괴짜" Gobbato HoloLens를 구입하기를 매우 열망하여 장치가 출시된 직후 비행기를 타고 8시간을 마이애미로 날아가 1개를 구입했다. 그는 몇 년 동안 더 복잡한 수술에서 이 장치를 사용해 왔다.

Gobbato앞으로 많은 일을 위해 수술실에서 혼합현실이 사용될 것이라고 정말로 생각한다. "앞으로 몇 년 안에 이 기술로 무엇을 할 수 있을지 기대된다."

HoloLens는 손 제스처 및 음성 명령으로 작동하므로 외과의는 X-레이 또는 기타 스캔으로 생성된 환자의 해부학적 3차원 홀로그램 이미지를 볼 수 있다. 외과의사는 이러한 가상 이미지를 다른 각도에서 볼 수 있다. 또한 HoloLens를 사용하여 수술 중 환자 데이터에 액세스하고, 문제를 해결하는 데 도움이 되는 비디오 또는 문서를 호출하고, 다른 전문가에게 조언을 구할 수 있다.

루이지애나 주 라파예트의 정형외과 의사인 John Sledge 박사는 HoloLens 프로젝트의 일부인 10시간 척추 융합 수술을 수행했다. Gregory와 영국 및 UAE의 외과의 2명이 지켜보는 동안 Sledge X- 레이를 촬영하고 환자의 허리를 스캔하여 제거해야 할 하드웨어를 찾고 기기에 접근하기위한 최적의 위치를 ​​결정했다. 그는 또한 환자의 사고 직후에 찍은 이미지를 로드하여 다른 외과의에게 수술 전 이력을 설명할 수 있었다.

HoloLens가 없었다면 컴퓨터 화면에서 환자가 스캔한 이미지 몇 개로 제한되었을 것이라고 Sledge는 말한다.

"내가 사용할 수 있는 데이터 세트는 엄청나게 제한적이다."고 그는 말한다. “HoloLens를 사용하면 원하는 이미지를 가져와 필요에 따라 더 크게 만들 수 있다. 필요한 크기와 선명도에 관계없이 필요한 모든 이미지를 말 그대로 제 앞에 있다. "

HoloLens는 수술 및 훈련 계획에도 유용하다고 Sledge는 말한다. 예를 들어 어깨 수술을 계획하는 경우 환자의 어깨를 홀로그램으로 표현하여 임플란트를 어디에 배치해야 하는지 또는 뼈를 재건해야 하는지 여부를 결정할 수 있다.

뼈의 3D 복제품을 인쇄하고 수술을 한 번만 수행하는 대신 필요한만큼 홀로그램에서 자신의 접근 방식을 테스트할 수 있다고 Sledge는 말한다. 훈련을 위해 그는 모든 수술 절차의 3차원 대화형 모델을 생성하거나 홀로그램에 시뮬레이션 된 합병증 (: 골절 또는 예상치 못한 출혈)을 생성하여 훈련중인 의사가 해결할 수 있다.

“의학, 특히 수술은 여전히 ​​견습이다. 허용되기 전에 사람이 100번 작동하는 것을 지켜본다.” Sledge는 말한다. “그러나 이제 우리는 주민들이 HoloLens에서 100개의 작업을 수행하도록 할 수 있으며, 드물게 발생하는 문제와 솔루션을 갖추고 있다. 최악의 시나리오 훈련을 할 수 있다. HoloLens를 사용하면 문제가 발생할 수 있으며 교육중인 의사가 문제를 해결해야한다.

"전 세계의 모든 졸업생이 교육 분야에서 HoloLens 라이브러리의 모든 사례를 해결하는 방법을 보고 학습할 수 있도록 수술 교육을 표준화할 수 있다."고 그는 말한다. "다른 사람이 문제를 해결하는 것을 보는 것과 직접 해결해야하는 것 사이에는 큰 차이가 있다."

정형외과 의사인 Stefan Greiner 박사는 그의 좋은 친구인 Gregory와 함께 프로젝트에 참여하기로 동의하기 전에 HoloLens를 사용한 적이 없다. Greiner는 처음에는 장치에 대해 회의적이었다. 드문 경우에 유용할 수 있는 "다른 장치"로 간주했다.

그러나 사용 방법을 배우면서 Greiner는 더 많은 가능성을 보기 시작했다. 그는 수술 중에 내시경의 이미지가 일반적으로 표시되는 화면을 앞뒤로 볼 필요가 없도록 관절경 수술 중에 이미지를 표시하는 데이 장치를 사용하는 것을 상상한다.

“다른 곳을 볼 필요가 없기 때문에 수술의 정확성과 수술의 안전성이 향상될 것이라고 생각한다.”고 독일에서 가장 큰 스포츠 의학 시설 중 하나인 Sporthopaedicum Regensburg에서 어깨와 팔꿈치 부서를 운영하는 Greiner는 말한다.

이 장치는 홀로그램이나 애니메이션을 통해 절차를 설명함으로써 환자의 수술 준비를 돕는 데 사용될 수도 있다고 그는 말한다.

"작은 사진을 보는 것보다 홀로그램을 실제로 볼 수 있다면 훨씬 더 분명하다."고 그는 말한다. "이는 환자가 어떤 종류의 수술을 받을 것인지 이해하는 데 매우 유용할 것이다."

Ashish Babhulkar 박사는 Gregory의 프로젝트에 등록하기 전에 HoloLens를 사용한 적이 없다. 인도 푸네에 있는 Deenanath Mangeshkar 병원 및 연구 센터의 어깨 및 스포츠 부상 부서 책임자 인 Babhulkar는 두 번의 어깨 역 교체 수술을 했다. Gregory와 영국의 정형외과 의사와 협력하여 어깨 관절의 볼과 소켓 위치가 반전된다.

두 의사의 의견을 바탕으로 Babhulkar는 완벽한 착용감을 얻기 위해 삽입하기 전에 환자 위에 소켓 임플란트의 홀로그램 이미지를 중첩했다. 그의 시야에는 각 단계에 대한 3D비디오가 포함된 수술 매뉴얼이 포함되어 있었는데, 외과의는 Gregory가 어깨 수술에 사용한 장치를 보기 위해 참조했다.

Babhulkar는 절차에 대한 설명서가 필요하지 않았지만 HoloLens가 교육 도구로 얼마나 유용한지 확인했다.

“내일 케냐에서 누군가 HoloLens를 받고 이 수술을 시작하고 싶어한다고 상상해보라. 그는 그것을 배우기 위해 인도에 올 필요가 없다.” Babhulkar는 말한다. “우리는 그가 실수하지 않고 프로세스를 안내하고 자신감을 키울 수 있다. 일부 외딴 지역에서 치료에 혁명을 일으킬 것이다.”

그는 경험을 통해 HoloLens가 향후 의학에서 중요한 도구가 될 것이라고 확신했다.

“이 장치는 너무 강력해서 발전하면서 매년 혁신하고 새로운 응용 프로그램을 추가할 것이다.”고 그는 말한다. "결국 우리의 모든 경우에 사용할 수 있기를 바란다."

인도에 본사를 둔 Ashish Babhulkar 박사는 HoloLens가 세계의 오지에서 '치료를 혁신'할 것이라고 믿는다. 이미지 출처: Microsoft/Soumik Kar

 

HoloLens와 그 선구자인 Kinect 모션 감지 장치 제품군은 의미 있는 3차원 방식으로 물리적 세계와 디지털 세계를 병합하는 장치의 필요성을 확인한 비전 엔지니어인 Microsoft 기술 연구원 Alex Kipman이 만들었다.

Kipman은 인간과 그 환경을 이해하고 디지털 세계를 컴퓨터 화면, 전화기와 같은 평평한 직사각형 유리에서 현실세계와 상호 작용하거나 시뮬레이션 할 수 있는 홀로그램 우주로 변환할 수 있는 장치를 개발하고자 했다.

최초의 HoloLens 2016년에 출시되었고, 그 다음으로 2019 11월에 HoloLens 2가 출시되었다. 이 기기에는 정교한 환경 매핑 하드웨어와 시선 추적 카메라가 장착되어 있어 사용중인 공간과 사용자가 무엇에 집중하고 있는지 이해할 수 있다. Microsoft Dynamics 365 Remote Assist 응용 프로그램은 HoloLens Teams와 연결하여 사용자가 전 세계 사람들과 공동 작업할 수 있도록 설계되었다.

10년 전에는 외과의가 수술에 홀로그램 이미지를 사용하는 것을 상상하거나 혼합현실 기술이 의료 분야에서 무엇을 가능하게 할 수 있는지 상상하기가 어려웠을 것이다. HoloLens2는 현재 의대생을 위한 가상 병원 라운드에서 코로나19 환자 치료에 이르기까지 의료 분야의 다양한 애플리케이션에 사용되고 있으며 의사를 교육하고 치료를 표준화하기 위해 다양한 의학적 상태를 시뮬레이션 하는 데 사용되는 "홀로환자"이다.

수술에 HoloLens를 사용하는 것은 Gregory와 다른 선구적인 의사들에 의해 추진된 새로운 것이다. 유럽, 중동 및 아프리카의 의료 및 생명과학 부문 책임자이자 지역 책임자인 Elena Bonfiglioli는 말한다.

“이 리더들은 매우 오랫동안 전통적인 방식으로 행해진 수술을 재 구상하고 있다.”고 그녀는 말한다. “변화를 상상하고 변화를 구현할 수 있는 능력은 이러한 임상의들에게 변화를 가져다 준다. 우리는 수술을 위해 HoloLens를 사용하는 시작 단계에 있지만 경로가 차트에 나와 있고 변경 에이전트가 있다."

Bonfiglioli HoloLens의 힘은 신뢰할 수 있는 디지털 환경에서 실제 세계에 개체와 데이터를 중첩하고 자연스러운 학습 수단을 가능하게하는 능력이라고 말한다.

"홀로그램 컴퓨팅은 새로운 차원의 시각을 제공하기 때문에 의학의 미래는 홀로그램 컴퓨팅에 의해 강화된다."고 그녀는 말한다. “우리는 오랫동안 협업의 차원을 가지고 있다. 우리는 인공지능으로 구동되는 데이터 차원을 가지고 있다. 하지만 우리에게는 인간에게 매우 전형적인 시각적인 향상이 없었다. 그게 그토록 강력한 이유이다. 그것은 그 자체로 변화의 원동력이 되어 미래를 볼 수 있는 사람들에게 힘을 실어주는 기술이다."

Gregory의 부서는 1년 이상 모든 수술에 HoloLens2를 사용해 왔으며이 장치는 그의 일상 업무의 일부가 되었다. 젊은 동료는 수술 중에 문제가 발생하면 HoloLens로 전화하여 조언을 구한다. Gregory는 수술 중 다른 전문의에게 전화를 걸거나 간호사에게 연락하여 다음 환자를 데려올 것을 요청할 수 있다.

2020 1, MicrosoftGregory 및 다른 기업들과 협력하여 수술 분야의 인공지능을 전담하는 연구 및 교육 센터인 Institut Moveo를 시작했다. University Sorbonne-Paris-Nord에 위치한이 센터는 컴퓨터 과학자, 수학자 및 외과의를 한데 모아 수술에 HoloLens를 사용하는 방법에 대한 교육을 제공한다.

향후 계획에는 수술에서 HoloLens 데이터를 수집하고 이를 사용하여 수술 절차를 개선할 수 있는 알고리즘을 개발하거나 외과의사가 어려움에 직면했을 때 안구 움직임을 기반으로 식별할 수 있다.

Gregory HoloLens를 약 2백만 달러에 달하는 일부 유형의 최소 침습 수술에 사용되는 수술 용 로봇보다 훨씬 저렴한 비용으로 전 세계의 소규모 의료 시설에서도 수술 실습에서 인공지능에 액세스 할 수있는 장치로 보고 있다.

"HoloLens를 통해 우리는 전 세계의 모든 수술실에서 이 디지털 혁명을 민주화 할 수 있는 도구를 갖게 되었다."고 그는 말한다. “이것의 영향은 엄청나다. 앞으로 외과의는 HoloLens없이 수술을 할 수 없을 것이다.”

 

 
홀로그램, 혼합현실, 홀로그램 컴퓨팅 관련기사목록
광고
광고
광고
광고
광고
광고
광고
많이 본 기사
최신기사