New York University Langone Medical Center 사례 연구

New York University(NYU) 의료 정보학 및 생물 정보학 센터의 High Performance Computing Facility(고성능 컴퓨팅 시설)는 NYU Langone Medical Center 연구진에게 첨단 컴퓨팅 기술을 제공하기 위해 2009년에 설립되었습니다. 이 시설은 의학 정보과학 및 생물정보학 연구진이 컴퓨팅 파워, 데이터 스토리지, 슈퍼컴퓨팅 리소스에 대한 액세스와 전 세계 협업자와의 데이터 공유를 통해 발견과 혁신을 가속화하도록 지원합니다.

고성능 컴퓨팅 시설의 기술 이사인 Stratos Efstathiadis 박사는 시설의 주요 활동을 "우리 시설은 차세대 시퀀서, 현미경, 슬라이드 스캐너, 질량 분석계 및 기타 연구 기구에서 대량의 데이터를 캡처합니다. 시설에서는 이러한 데이터를 저장, 큐레이트 및 지원하고 분석할 수 있게 하고, 과학자가 시뮬레이션을 실행하고 모델을 생성하는 데 사용할 수 있는 리소스를 제공해야 합니다."라고 설명합니다.

이러한 분석 및 시뮬레이션 작업은 보통 며칠 또는 몇 주 동안 실행됩니다. 따라서 이 시설이 의학 센터로는 가장 큰 규모 중 하나임에도 불구하고 연구진이 좀 더 빠르게 데이터를 분석하기 위해서는 추가 컴퓨팅 리소스가 필요할 때가 있습니다.

데이터를 분석하는 데 걸리는 시간보다 더 문제가 되는 것은 이를 전송하는 데 걸리는 시간입니다. Efstathiadis는 "데이터 전송은 거대한 병목 지점입니다. 우리 데이터 세트는 크기가 매우 크고 이를 생성하는 것보다 전송하는 데 더 오랜 시간이 걸릴 때가 많습니다. 협업자가 전 세계에 분산되어 있으므로 우리가 데이터를 전송할 수 없으면 그들은 이를 사용할 수 없습니다."라고 말합니다.

AWS에서 호스팅되고 제공되는 무료 파일 전송 서비스인 Globus Online과 결합된 AWS 클라우드는 대규모 데이터 세트를 Amazon EC2로 전송하는 안정적인 방법을 제공합니다. 이 솔루션은 초당 최대 50메가바이트의 속도로 병렬로 파일을 전송할 수 있습니다. Efstathiadis는 "이는 우리 온사이트 전송 속도와 비슷합니다. 속도가 느려지는 일이 전혀 없습니다!"라고 언급합니다.

Efstathiadis 박사가 AWS를 사용하기로 한 데는 Amazon EC2의 인스턴스 패밀리가 한몫했습니다. 센터 연구진이 이미 이 서비스에 익숙했기 때문입니다. "또한, Globus Online을 사용하면 손쉽게 데이터를 Amazon EC2로 전송할 수 있으므로 이는 대규모 데이터 세트를 연구진이 액세스하고 사용할 수 있는 클라우드로 이동할 수 있는 매력적인 방법입니다."라고 Efstathiadis는 덧붙입니다. Efstathiadis에 따르면 SCP와 같은 다른 도구는 "너무 오래 걸리거나 기관의 방화벽에 막혀 우리가 사용할 수 있는 도구의 유형에 제한을 받습니다. Globus Online은 사용성 저하 없이 처리량을 개선할 수 있는 방법입니다."

또한, 이 시설에서는 데이터 스토리지에 Amazon S3를 사용합니다. Efstathiadis 박사는 "Globus Online을 사용하면 서버 이미지를 배포하고, Globus Online 엔드포인트를 설치한 후, 데이터를 엔드포인트로 이동함으로써 손쉽게 데이터를 로컬 스토리지에서 Amazon S3로 이동할 수 있습니다."라고 설명합니다.

클라우드를 사용함으로써 HPC 시설은 NYU 연구진에게 제공할 수 있는 서비스 집합을 확장했습니다. 이제 연구진은 필요할 때 필요한 리소스에 액세스할 수 있습니다. 또한, 클라우드는 연구진의 협업을 지원합니다. Amazon S3를 사용함으로써 연구 결과와 데이터 세트를 전 세계 연구원과 손쉽게 공유할 수 있습니다.

데이터 공유는 중요한 요소입니다. Efstathiadis는 "다른 사이트에 우리 연구진과 협업하는 연구원이 많이 있습니다. Amazon S3에 데이터를 업로드함으로써 다른 장소에 있는 연구원이 이에 액세스하여 자체적으로 사용할 수 있습니다. 따라서 NYU 연구진은 이 솔루션으로 자체 분석 파이프라인을 신속하게 처리하고 다른 연구원도 그렇게 할 수 있도록 지원합니다."

NYU의 의료 정보과학 및 생물정보학 센터의 고성능 컴퓨팅 시설은 연구를 좀 더 쉽고 저렴하게 수행할 수 있는 방법을 끊임없이 모색합니다. 이 시설은 클라우드를 사용하면서 로컬 시설 단독으로 제공할 수 있는 한계를 넘어 확장 가능한 컴퓨팅 리소스라는 목표에 더 가까이 다가갈 수 있게 되었습니다.