국립 재생 에너지 연구소의 OpenEI.org 사례 연구

국립 재생 에너지 연구소(NREL)는 미국 콜로라도 골든에 위치하고 있습니다. 재생 에너지 및 에너지 효율 연구 및 개발을 위한 에너지국의 주요 국립 연구소 이 연구실에는 국립 연구 센터와 공동 연구 시설이 있으며 이들은 바람, 바이오 에너지 및 태양 에너지를 직류 전기로 변환하는 태양광 에너지를 연구하는 데 중점을 두고 있습니다.

2009년에 백악관 사무국 관리예산처에서 Open Government Directive를 시작한 이후 NREL의 에너지 정보 공개 포털인 OpenEI.org는 다양한 소스의 연구 데이터를 게시하고 공유하는 데 주력해 왔습니다. 이 조직은 현재 십여 개의 공개 웹 사이트를 호스팅하고 최신 에너지 정보를 자주 업데이트하고 있습니다. 과학 커뮤니티 간에 정보 공유와 협업 증진은 NREL의 장기 목표입니다. "많은 연구원이 업계의 다른 과학자들과 협업하고 데이터를 공유하길 원합니다. 우리는 클라우드 기반 솔루션을 사용하여 손쉽게 외부 데이터에 액세스하고 협업할 수 있습니다."라고 NREL의 클라우드 책임 엔지니어인 Chris Webber는 말합니다.

Marine Hydrokinetic Program을 위한 협업 데이터 리포지토리를 구축해야 하는 프로그램을 기반으로 NREL은 수력 연구에 중점을 둔, 중간 수준의 민감한 데이터를 수집, 큐레이트, 저장 및 공유할 수 있는 안전한 협업 플랫폼을 구축하길 원했습니다. 이러한 노력의 일환으로 NREL은 연방 정보 보안 관리법(FISMA)의 중간 수준 운영 권한(ATO) 인증을 받은 환경을 구축했습니다. FISMA 중간 수준 ATO로 NREL은 모두 필수 사이버 보안 요구 사항을 유지하고 중간 수준의 민감한 데이터를 관리하고 다른 정부 기관 및 연구 단체와 공유할 수 있는 기능을 확보했습니다.

NREL은 새로운 인프라를 설계할 준비를 하면서 민첩성과 유연성이 필요하다는 것을 깨달았습니다. "우리의 목표는 애널리스트와 과학자가 손쉽게 데이터에 액세스하고 이를 게시할 수 있도록 하는 것이었습니다. 하지만 이를 지원하는 인프라를 관리하는 데 시간을 쓰고 싶지는 않았습니다. 우리는 제품, 즉 데이터 자체에 집중하길 원합니다."라고 Webber는 말합니다. 예를 들어 NREL은 고객의 요구에 초점을 맞추는 데브옵스 팀 접근 방식을 사용하고 연구 메타데이터가 접근성을 위해 최적화되도록 합니다. "우리가 사용자를 모든 다른 연구 사이트에 손쉽게 연결할 수 있으려면 적절한 설명자와 키워드가 있어야 합니다."라고 NREL의 책임 웹 전략가인 Jon Weers는 말합니다. "데이터를 검색할 수 없으면 연구원에게는 아무 소용이 없습니다."

또한, NREL은 새로운 중간 수준의 환경을 확장할 수 있어야 했습니다. "우리는 누구나 사이트를 사용할 수 있길 바랐습니다. 따라서 이러한 예측 불가능한 수요에 대응할 수 있는 확장성이 필요했습니다."라고 Weers는 말합니다. 또한, 관련 데이터의 민감도로 인해 새로운 환경은 안전해야 했습니다.

NREL은 이 모든 요구 사항을 맞추기 위해서는 클라우드가 올바른 기술적 선택이라는 것을 깨달았습니다. "우리 팀의 규모는 작고 고객의 예산은 빠듯하므로 인프라에 많은 투자를 하지 않고도 확장 가능한 리소스를 활용할 수 있어야 합니다."라고 Webber는 말합니다. "클라우드에서 데이터 리포지토리와 수많은 다른 웹 사이트를 구축하는 것이 합당하다고 생각합니다."

NREL은 중간 수준의 ATO 환경을 만들기 전에 Open Energy Information Initiative(OpenEI.org)용 오픈 소스 데이터 플랫폼을 Amazon Web Services(AWS)로 이전해야 했습니다. "AWS는 OpenEI를 위한 고가용성, 유연성 및 확장성을 제공해 주었고, 새로운 환경에서도 마찬가지일 것이라고 확신했습니다."라고 Webber는 말합니다. 또한, Amazon은 자체 FISMA 중간 수준 ATO 인증을 보유하고 있다는 점도 NREL에 매력적으로 다가왔습니다.

NREL은 AWS를 확장 적용하기로 한 후 AWS 내에서 중간 수준 클라우드 환경을 설계하여 시작했습니다. OpenEL 외에도 새로운 AWS 환경에서 신규 Marine Hydrokinetic Data Repository(MHKDR) 애플리케이션을 호스팅합니다. 미국 에너지국은 MHKDR을 사용하여 프로그램 데이터를 수집하고, 특정 기간 동안 데이터를 안전하게 유지하며, 에너지국과 국립 연구소에서 해당 데이터에 대한 액세스를 제한하도록 할 수 있습니다. 데이터를 공개할 수 있게 되면, 누구나 연구 목적으로 데이터에 액세스할 수 있습니다. 또한, AWS 중간 수준 클라우드는 협업 및 데이터 액세스에 중점을 둔 다른 몇몇 사이트와 지열 에너지 연구 데이터베이스를 호스팅합니다.

NREL은 300개가 넘는 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스로 중간 수준 클라우드를 지원하고 Elastic Load Balancing을 사용하여 환경에서 수신되는 네트워크 요청을 분산합니다. 환경에서 웹 애플리케이션의 성능을 최적화하기 위해 NREDL은 Amazon DynamoDB(10밀리초 미만의 지연 시간이 필요한 애플리케이션을 위한 NoSQL 데이터베이스 서비스)를 사용하고 인 메모리 캐시를 배포 및 확장하기 위해 Amazon ElastiCache 웹 서비스를 사용합니다. ElastiCache를 사용하면 NREL이 느린 디스크 기반 데이터베이스에 의존하는 대신 빠른 인 메모리 캐시에서 정보를 검색하여 애플리케이션 성능을 향상할 수 있습니다.

NREL은 Amazon Virtual Private Cloud(Amazon (VPC)를 사용하여 환경에서 안전한 프라이빗 네트워크를 구축합니다. 데이터 스토리지의 경우 NREL은 Amazon Simple Storage Service(Amazon S3) 버킷을 사용하여 테라바이트 규모의 연구 데이터를 저장하고 Amazon Elastic Block Storage(Amazon EBS)를 사용하여 MHKDR, OpenEI 및 지열 에너지 데이터베이스를 위한 블록 스토리지를 제공합니다.

클라우드 환경을 구축하기 위해 NREL 전략적 에너지 분석 센터의 클라우드 팀은 CIO 사무국과 협력하여 400개 넘는 ATO 관련 규제 항목에 맞추면서 규제 항목을 문서화하고 전반적인 시스템 보안을 확인했습니다. 데이터 세트와 관련된 개방형 데이터와 모든 메타데이터는 제출되는 데이터 유형, 데이터 설명 및 대중에 공개할 시간을 보여주는 인터페이스를 통해 공유됩니다. 매월 6천 명에 가까운 사람들이 새로운 MHKDR 사이트에 방문할 것으로 예상됩니다. MHKDR의 메타데이터는 개방형 데이터 파트너와 공유하여 MHKDR의 데이터가 science.gov, Thompson Reuters 데이터 인용 색인, Data.gov 등과 같은 사이트에서 검색될 수 있도록 허용합니다. 사용자는 이러한 주요 사이트 어디에서나 MHKDR 데이터에 액세스할 수 있으므로 MHKDR의 다운로드 수가 눈에 띄게 증가할 것입니다.

새로운 AWS 중간 수준 클라우드 환경은 규모가 적은 NREL의 전략적 분석 클라우드 팀에 손쉽게 MHKDR, OpenEI 및 지열 에너지 웹 사이트를 관리할 수 있는 방법을 제공합니다. "AWS를 사용함으로써 성능 확인, 비용 모니터링, 새로운 가상 서버 생성을 비롯하여 모든 것을 하나의 API로 관리할 수 있습니다."라고 Webber는 말합니다. Webber의 팀 또한 이 API를 사용하여 환경을 효율적으로 관리할 수 있습니다. “AWS를 통해 고객에게 빠르게 대응할 수 있는 민첩성을 확보했습니다"라고 Weers는 말합니다. 예를 들어 NREL은 새로운 웹 서버를 신속하게 시작하여 내부 분석을 위한 새 웹 사이트를 지원하고, 프로토타입을 생성하거나 긴급한 외부 수요를 충족할 수 있습니다. "우리는 하루면 새로운 웹 사이트를 시작할 수 있습니다. 예전 같으면 스토리지를 조달하고 하드웨어를 구매하여 설치하는 데 몇 주가 걸렸을 것입니다. 이 모든 것을 API 호출 몇 번으로 완료할 수 있습니다."

또한, NREL은 조직의 웹 사이트에서 데이터를 공유하는 연구원이 늘어남에 따라 가상 머신을 신속하게 시작하는 데 필요한 확장성을 확보했습니다. "MHKDR과 지열 에너지 데이터 리포리토리는 데이터를 공유하도록 구축되었습니다. AWS에서는 이를 확장성이 뛰어난 방법으로 지원할 수 있습니다."라고 Weers는 말합니다. "AWS를 사용함으로써 우리는 이 모든 개방형 데이터 연결을 제공할 수 있습니다. 따라서 누구나 우리 웹 사이트를 방문할 수 있고 우리는 이러한 예측 불가능한 수요에 대응하여 확장할 수 있습니다. 내일 10개의 웹 사이트가 추가로 MHKDR에 연결된다면 우리는 아주 쉽게 이를 수용할 수 있습니다."

또한, NREL은 AWS를 사용함으로써 비용을 절감합니다. "데이터 큐레이터의 작업량이 줄었습니다."라고 Weers는 말합니다. "이전 환경은 사내 가상 머신이 있는 좀 더 전형적인 환경이었고 큐레이터가 이러한 머신을 시작하고 관리하기 위해 수많은 버튼을 눌러야 했습니다. 이제는 그럴 필요가 없으므로 해당 작업과 관련해 최대 30%의 비용을 절감하고 있습니다."

AWS를 사용하여 MHKDR 환경을 관리함으로써 NREL은 데이터 품질에 좀 더 집중할 수 있습니다. “AWS를 사용하면서 걱정이 줄고 인프라에 소비하는 시간과 비용도 줄었습니다. 이에 따라 우리는 콘텐츠와 데이터 품질, 그리고 전 세계 연구원들이 우리의 재생 가능 에너지 데이터를 찾을 수 있도록 하는 데 더 주의를 집중할 수 있습니다. 우리 개발자는 연결 및 보안 프로토콜을 코딩하는 시간을 줄이고 좋은 품질의 데이터와 데이터 큐레이션 방법을 코딩하는 데 더 많은 시간을 할애합니다."라고 Weers는 말합니다.

AWS 보안 규제 항목과 NREL에서 구현한 규제 항목이 결합되어 ATO 환경을 내부 연구소 서버만큼 안전하게 만듭니다. "우리에게 보안은 다른 무엇보다 중요합니다. 에너지국이 이 클라우드 환경을 승인한 이유는 우리의 보안 프로토콜을 신뢰했기 때문입니다."라고 Webber는 말합니다. "우리 사이버 보안 그룹이 400개가 넘는 ATO 규제 항목을 관리하는 데 도움을 주었고 이러한 규제 항목 중 상당수를 이미 AWS에서 Amazon의 자체 ATO 인증을 통해 처리하고 있었습니다. 이 클라우드 도입을 가속화하는 데 큰 도움이 되었습니다."

새로운 중간 수준 클라우드가 실행되면서 NREL은 추가 웹 애플리케이션을 이 환경으로 마이그레이션했고 계속해서 추가할 예정입니다. "이 환경이 완료되고 나니 이를 활용하는 데 관심이 있는 연구원과 잠재적 협업자에게 매주 몇 통씩 전화가 걸려옵니다."라고 Weers는 말합니다. "이 새로운 환경으로 인해 폭발적인 성장을 할 것으로 생각합니다. AWS가 이에 크게 기여했습니다."