AWS re:Invent 2019 참관 DAY4
4일차는 아마존 CTO인 Dr. Werner Vogel의 키노트의 이야기를 하려 합니다.
Dr. Werner Vogel’s Key note
Dr. Werner Vogel이 말한 아마존이 집중하는 가치
- Security
- Reliability
- Cost Efficiency
- Performance
- Scale
There’s no compression algorithm for experience라는 문구와 함께 시작한 키노트. 지금의 아마존이 있기까지의 어려움과 성장의 무게가 느껴지는 말이었습니다.
키노트를 통해 아마존의 다양한 서비스들이 훌륭한 설계로 인해 가능했다는 사실을 확인할 수 있었습니다.
AWS는 기존 가상화 방식에 몇 가지 문제점을 찾았고 Nitro라는 새로운 가상화 시스템을 준비했습니다. 실시간 업데이트, VMWare, Bare, Metal, Outpost같은 서비스들이 Nitro 시스템을 통해 가능하게 됐습니다.
이런 가상화는 보안에 있어 중요한 요소라며, 보안의 중요성에 대해서 다시 한 번 강조했습니다.
모든 것은 실패할 수 있고 설계에서 가장 중요한 것은 실패의 여파를 얼마나 줄일 수 있느냐는 것, 이에 대해 고민해온 아마존의 이야기를 들려주었습니다.
Cell-based 설계를 적용해 에러율을 대폭 줄이긴 했지만, 그것만으로는 실패의 여파를 확실하게 줄일 수 없었습니다. 그래서 Physalia를 통해 영감을 얻었고 Shuffle Sharding을 통해 고객이 경험하는 에러율을 확실하게 줄일 수 있었습니다.
발표된 내용처럼 분산 시스템에 대한 고민뿐만 아니라 AWS 개발자들이 문제를 해결하는 방법을 공유하는 서비스를 오픈했습니다.
아마존은 운송, 농업, 생산 등의 분야에서 많은 변화를 일으키고 있으며 4차 산업혁명에서 아마존이 굉장히 다양한 역할을 하고 있다고 강조했습니다.
아마존의 화려한 신규 서비스 밑에는 이렇듯 견고한 설계와 기술들이 있다는 것을 새삼스럽게 깨닫는 키노트였습니다. 또한 아마존 개발자가 시스템을 설계할 때의 마음가짐도 알 수 있었구요.
S1: AIM230 New Amazon SageMaker notebook experience
이번에 새롭게 발표된 SageMaker에 탑재되는 기능 중 하나인 SageMaker Notebook 기능을 살펴보는 세션입니다. 딥러닝을 해본 사람이라면 누구나 공감하듯이 주피터 노트북을 활용한 학습 환경 세팅에는 약간의 노력이 필요합니다. 이러한 환경 셋팅을 노트북에서 바로 공유하고 개발할 수 있다면 많은 시간을 절약할 수 있겠죠.
아마존은 오픈 소스인 주피터로부터 많은 혜택을 받아왔으며 그 혜택을 돌려주기 위해 이 제품을 개발했다고 말했습니다.
과거 SageMaker Notebook이 없던 시절에 어떻게 주피터 노트북으로 개발을 해왔고 노트북을 공유하고 활용하기 위해 어떤 노력을 해왔는지 Pinterest 사례로 확인할 수 있었습니다.
총 5단계로 사용과정을 발전시켜왔으며 이 5단계의 발전 과정이 세션을 듣는 사람에게 많은 공감대를 형성하고 있었습니다.
실무적인 어려움을 직접 확인하고 그 어려움을 해소하기 위해 바로 제품에 반영하는 노력과 개발과정을 함께 소개하는 세션이라 더 의미 있게 다가왔습니다.
데이터 사이언티스트들이 사용하고 만든 노트북을 공유하는 과정에서 계정 문제를 잘 해결했으며 모든 사용자마다 EFS에 연동된 홈 디렉토리로 노트북을 생성할 수 있도록 했습니다. EFS와 연동되기 때문에 다른 서비스에서도 활용이 가능합니다.
노트북 공유기능은 가장 많이 요청받은 기능 중 하나였고 이번에 새로이 구현되었습니다. 노트북만 공유하는 것이 아닌 환경 전체를 공유할 수 있습니다.
마지막으로 학습에 필요한 인스턴스에 대한 조정을 자유롭게 변화할 수 있는 기능도 추가되었고, 어드민은 팀원들의 최대 인스턴스를 제한할 수 있는 기능들도 추가되었습니다.
이제 AWS re:Invent의 마지막 날만 남겨두었습니다.