re:Invent 2022 참가 후기

AWS 경험이라고는 지난해 이사할 때 홈서버를 잠시 호스팅하는 용도와 최근에 셀프 청첩장 만들때 써 본 free-tier EC2, RDS, EFS 이 정도가 전부인 초급 사용자인데, 감사하게도 회사 지원으로 "AWS re:Invent 2022" 에 참가할 수 있는 기회를 갖게 되었다.

클라우드 서비스에 대한 이해가 높지 않아 기술적인 내용 전달보다는 여기서 경험할 수 있는 것들을 동료들에게 최대한 공유해드리는 것이 제게 주어진 미션이라고 생각을 해서 하루하루 경험한 것들을 나름 열심히 기록해봤다.

~~다 쓰고 보니 크게 영양가는 없고 후기 정도인듯~~

10/11 일자 (행사 한달 반 전) 부터 세션 예약이 가능했는데 인기 세션은 수강신청이 열리는 날 거의 바로 마감돼버려서 예약이 쉽지 않았다. 뭐 어떻게든 되겠지 하는 마음으로, 매일 전날에 다음날 스케줄 짜서 이동하자는, 하루살이 전략으로 북마크라도 잔뜩 해놓고 시작했던 것 같다. (미리 신청한 reserved seat 가 없더라도 당일 walk-up 으로 한 30분 정도 일찍 도착하면 대부분 참석할 수 있다.)

아무튼 breakout, chalktalk, workshop, lab 등 다양한 종류의 세션을 체험해보기, 그동안 당장 온프렘에서 맞닥뜨린 문제들만 해결하면서 경험 해보지 못했던 넓은 시야를 가져보기를 목표로 세션 스케줄을 준비했다.

이어지는 내용들은 날짜순으로 참석했던 세션, 이벤트 내용들과 사진으로 채워져있는데 쓰다보니 제법 길어져서 짤방으로 "미국미국"한 사진 몇 장 먼저 공유하기.

예전에 총기난사 사건이 있었던 호텔이 이번 컨퍼런스 장소 중에 있었는데 아무튼 모든 호텔 컨벤션 센터에 출입할때는 이렇게 삼엄한 보안을 뚫고 들어가야 했다.

11/25 (금)

금요일은 미국에 처음 도착한 날인데, 해외 경험이 많은 동료의 하드캐리로 해리 리드 공항에서 호텔까지 Lyft 를 타고 무사히 도착했고, 체크인까지도 문제없이 마칠 수 있었다.

체크인할 때 옆에 꼬맹이가 춘식이 목베개에 엄청 관심을 가지던데 글로벌에서 통하는(?) 캐릭터인듯.

11/26 (토)

둘째날은 출장 인원 대부분이 시차적응에 애를 먹었던 날인데, 라스베가스 전역에서 행사가 열리다보니 주요 호텔 동선도 파악해봤고 컨퍼런스 메인 호텔인 베네시안에서는 처음으로 현지 스타벅스도 들러서 동료분들과 티타임도 가졌다.

낮에는 개인적으로 오래전부터 버킷리스트였던 현지 인앤아웃을 도전해봤고 저녁에는 소금 냅다 뿌리는 퍼포먼스로 유명한 누스렛에도 다녀왔다. (대장님의 사비로 .. 감사합니다 ..!)

메인스트립 탐방을 다니면서 스케일이 다르다는걸 이럴때 쓴다는 걸 처음 느낄 수 있었다. 호텔 하나하나가 코엑스나 잠실 롯데월드몰 크기여서 지도 상으로는 느껴지지 않았는데, 숙소였던 호텔 벨라지오에서 제일 먼 만달레이 베이나 윈 호텔은 2, 3 킬로미터는 되는 거리였다. 차도를 넘을때는 횡단보도가 아닌 보행자 브릿지로만 이동해야하는 곳들이 많았고 자연스레 카지노로 이끄는 동선이 많다는 것을, 일찍 도착해서 미리 체험해본 덕분에 알게되었고, 무리하게 여기저기 호텔을 건너다니는 일정들을 전부 다시 짰던 것 같다.

11/27 (일)

지난 밤에 타일에 폰을 떨어트렸는데 그대로 맛이 가서 밤을 꼴딱 새고 아침 10시에 애플스토어 문이 열리자마자 달려가서 새 폰을 장만했다. 의도치 않게 애플 사용자가 됐는데 .. 어쩌다보니 애플케어와 정품케이스까지 질러버렸다. 39 달러짜리 액정 보호필름은 그래도 잘 참은듯.

뱃지 픽업 후에는 황송하게도 거인의 어깨 위에 올라가 칠판에 흔적도 남기고 즉석 사진(?)도 하나 찍어서 붙여놓을 수 있었다.

저녁에는 AWS Korea 에서 한국인의 밤 행사를 준비해주셔서 참가했다. 네트워킹 파티라고 해서 비슷한 직군 사람들끼리 교류할 수 있는 자리를 기대하고 갔었는데 주최측에서 진행을 따로 해주시는건 아니었기 때문에 아는 사람이 정말 1도 없었던 저는 다소 뻘쭘했던 것 같다.

여기 가면 그동안 못 써봤던 명함을 좀 쓰는 시간이 있을거라 해서 챙겨갔는데 한 장도 쓸 일이 없었어서 민망한 기분이면서 동시에, 이런 행사에 파견됐으면 마땅히 해야할 미션을 수행 못하는게 아닌가 싶어 AWS 슬랙 채널에다가 데이터엔지니어 모임 글을 하나 등록해봤었는데, 괜히 나댔나 후회하긴 했지만, 덕분에 데이터 엔지니어 몇 분과 연결돼서 각자 들었던 세션 내용 공유도 하고 각자 업무 환경에 대한 얘기도 나눠볼 수 있었다.

11/28 (월)

Deep dive on accelerating HPC and ML with Amazon FSx
Democratizing ML for data analysts
EXPO & Happy hour

Deep dive on accelerating HPC and ML with Amazon FSx

Lustre 를 홍보(?)하는 세션이었고, 첫인상에 든 생각은 일종의 Network Attached Filesystem 인데 클라우드의 유연함(?)을 보여주는 좋은 서비스인 것 같았다. 리얼 머신에서 직접 마운트된 디스크에 RAID 등의 기법으로 성능을 높이려면 꽂고 이런저런 설정을 해야만 하겠지만, 단순히 콘솔이나 화면에서 설정만 바꿔주는걸로 Provisioned Workload 에 필요한 파일시스템의 IO bandwidth 를 확장할 수 있는 느낌. 세션 막바지에는 EC2 에 마운트한 Lustre 의 설정을 바꿔가면서 read/write IO 비교해보는 데모까지 준비돼있었다.

Democratizing ML for data analysts

redshift 의 built-in ML 을 활용해, 필요에 따라 선택적으로 각 단계를 커스터마이징 할 수 있다고 소개하며 몇개의 시나리오를 같이 보여줬는데 아무래도 레드시프트를 엄청 밀고 있는듯.

올해 "re:MARS 2022" 에 다녀왔던 동료가 추천해준 chalktalk 유형의 세션을 이때 처음 참가해본건데 발표자와 청중 간의 소통도 세션 도중에 계속되고 생동감(?)이 넘쳤다보니 너무 재미있어서 이후 세션들은 북마크가 겹치면 chalktalk 으로 골라서 들었던 것 같다.

EXPO & Happy hour

엄청 큰 행사장에서 여러 파트너사들 등등이 부스를 운영하는 곳인데 여기 문화는 잘은 모르겠지만 양말에 진심인 문화가 있는듯하다. 부스에서 제품 설명 열심히 들으면 해당 제품 로고가 그려진 양말 기념품을 받을 수 있었고 네 시부터는 행사장 사이드에서 이런저런 음료를 제공해주는데 맥주 역시 무제한이었다.

11/29 (화)

Adam Selipsky Keynote
Train and deploy large language models on Amazon SageMaker
Create a CI/CD pipeline to deploy your application to AWS Fargate
Frontend is for everyone

Adam Selipsky Keynote

정말 대단한 현장감이었다. 녹화본으로는 볼 수 없는 사전 공연이 어마어마했고, New Feature 가 등장할때마다 들리는 환호소리를 직접 들으니 괜히 진짜 써보고싶어졌던 것 같다. (레드시프트 뽕을 엄청 주입했는데 잠깐 취했었던 것 같기도)

(셀립스키가 등장하기 전에 밴드가 사전 공연으로 분위기를 띄워줬는데 어떤 밴드였는지 나중에 찾아봐야겠다.)

Train and deploy large language models on Amazon SageMaker

이 세션에 아무런 배경지식 없이 들어왔으면 아무것도 못 들었을 내용이었을텐데, 훌륭하신 동료들이 아지트 팀 그룹에 HuggingFace, DJL 등등 키워드를 강제로 주입해준 덕분에 그래도 어느정도 흐름은 따라갈 수 있었던 것 같다.

이 세션도 초크톡이었는데, 도중에 어떤 분이 흐름 잘못 따라가서 엉뚱한 질문을 했는데 다른 청중이 답답하다는듯이 야유를 날리는 상황도 있었고 뭔가 자유로운 분위기가 신선했다.

Create a CI/CD pipeline to deploy your application to AWS Fargate

Frontend is for everyone

위 두 세션들은 lab 유형의 세션이었는데 컴퓨터실(?)에서 self-paced 로 관련 직접 서비스를 구현해볼 수 있는 시간이었다.

11/30 (수)

Best practices for high performance computing in the cloud
NatWest: Personalizing banking at scale with machine learning on AWS
Prepare data and model features for ML with ease, speed and accuracy
Productionize ML workloads using Amazon SageMaker MLOps, feat. NatWest

Best practices for high performance computing in the cloud

요거는 개인 노트북을 지참해서 참가해야하는 workshop 유형의 세션이었는데 AWS Parallel Cluster 를 직접 구축해보고 간단한 MPI Job 호출까지 해볼 수 있었고 첫날 들었던 Lustre 를 워크로드에 설정해서 진짜 처리 속도가 빨라지는 것도 확인해볼 수 있었다.

외국인들과 맥북 사이에 당당히 자리잡은 한국어 윈도 씽크패드

NatWest: Personalizing banking at scale with machine learning on AWS

요거는 Natwest 라는 영국의 은행에서 AWS SageMaker 기반의 MLOps 를 성공적으로 안착시켜서 지금은 자기들의 아이디어가 얼마나 빠르게 시도되고 있는지 자랑하는 시간이었다.

Productionize ML workloads using Amazon SageMaker MLOps, feat. NatWest

그리고 이건 앞선 세션의 NatWest Guys 들이 좀 더 디테일하게 알고 싶으면 찾아오라고 홍보해서 원래 스케줄 했던걸 취소하고 만달레이 베이까지 이동해서 들었던 세션.

12/01 (목)

Orchestrating hybrid workflows with Apache Airflow
Enabling operational analytics with Amazon Aurora and Amazon Redshift
re:Play

Orchestrating hybrid workflows with Apache Airflow

이 세션이 행사 전체에서 제일 제대로 들어볼만 했던 것 같아서 기대가 컸었는데 가는 길에 길을 헤매는 바람에 1분 늦었다고 처음부터 입장을 할 수가 없었다. 문 앞을 지키시던 분이 절대 들여보내주지 못한다고 했는데 계속 앞에서 알짱거리고 거슬리게 했더니 결국에는 들여보내주시긴 했지만 그럼에도 20분 정도 놓쳐버리고 말았다. 세션 마치고 옆자리에 있던 인도 분께 초반에 지나갔을 것 같은데 아키텍처가 어떻게 되는거냐고 물어봤더니, 유튜브에서 종종 보이는 자신감 넘치는 인도인 모드로 갑자기 변하면서 안 물어본 것까지 술술 설명 해주신 덕분에 어느정도는 내용을 건져온 것 같다.

MWAA 로 AWS 에 워크플로우 본진을 두고 있고 ECSOperator 를 최대한 활용하고, 여러 온프렘 사이트 별로 만들어져있는 이미지 템플릿을 활용해 remote 작업으로 호출한다고 뭔가 메모를 해 왔는데 ECS Anywhere 자료도 좀 더 찾아보고 직접 구성해본 뒤 공유 자료 같은걸 한번 만들어보면 좋을 것 같다. DAG 코드 배포 전략 등등도 있었던 것 같은데 많이 놓쳐서 아쉽다.