re:Invent 2022 참가 후기

AWS 경험이라고는 지난해 이사할 때 홈서버를 잠시 호스팅하는 용도와 최근에 셀프 청첩장 만들때 써 본 free-tier EC2, RDS, EFS 이 정도가 전부인 초급 사용자인데요, 감사하게도 회사 지원으로 "AWS re:Invent 2022" 에 참가할 수 있는 기회를 갖게 되었습니다.

클라우드 서비스에 대한 이해가 높지 않아 기술적인 내용 전달보다는 여기서 경험할 수 있는 것들을 동료들께 최대한 공유해드리는 것이 제게 주어진 미션이라고 생각을 해서 하루하루 경험한 것들을 나름 열심히 기록해봤습니다.

~~다 쓰고 보니 크게 영양가는 없는 내용인 것 같지만 후기 정도로 봐주시면 감사하겠습니다.~~

10/11 일자 (행사 한달 반 전) 부터 세션 예약이 가능했는데 인기 세션은 수강신청이 열리는 날 거의 바로 마감돼버려서 예약이 쉽지 않았습니다. 뭐 어떻게든 되겠지 하는 마음으로, 매일 전날에 다음날 스케줄 짜서 이동하자는, 하루살이 전략으로 북마크라도 잔뜩 해놓고 시작했습니다. (미리 신청한 reserved seat 가 없더라도 당일 walk-up 으로 한 30분 정도 일찍 도착하면 대부분 참석할 수 있었습니다.)

아무튼 breakout, chalktalk, workshop, lab 등 다양한 종류의 세션을 체험해보기, 그동안 당장 온프렘에서 맞닥뜨린 문제들만 해결하면서 경험 해보지 못했던 넓은 시야를 가져보기를 목표로 세션 스케줄을 준비했습니다.

이어지는 내용들은 날짜순으로 참석했던 세션, 이벤트 내용들과 사진으로 채워져있습니다. 쓰다보니 제법 길어져서 짤방으로 "미국미국"한 사진 몇 장 먼저 올려놓겠습니다.

예전에 총기난사 사건이 있었던 호텔이 이번 컨퍼런스 장소 중에 있었는데 아무튼 모든 호텔 컨벤션 센터에 출입할때는 이렇게 삼엄한 보안을 뚫고 들어가야 했습니다.

11/25 (금)

금요일은 미국에 처음 도착한 날인데요, 해외 경험이 많은 동료의 하드캐리로 해리 리드 공항에서 호텔까지 Lyft 를 타고 무사히 도착했고, 체크인까지도 문제없이 마칠 수 있었습니다.

체크인할 때 옆에 꼬맹이가 춘식이 목베개에 엄청 관심을 가지던데 글로벌에서 통하는 캐릭터인가 봅니다.

11/26 (토)

둘째날은 출장 인원 대부분이 시차적응에 애를 먹었던 날인데요, 라스베가스 전역에서 행사가 열리다보니 주요 호텔 동선도 파악해봤고 컨퍼런스 메인 호텔인 베네시안에서는 처음으로 현지 스타벅스도 들러서 동료분들과 티타임도 가졌습니다. (스타벅스도 팁을 받네요..)

낮에는 개인적으로 오래전부터 버킷리스트였던 현지 인앤아웃을 도전해봤고 저녁에는 소금 냅다 뿌리는 퍼포먼스로 유명한 누스렛에도 다녀왔습니다. (대장님의 사비로 .. 감사합니다..!!)

메인스트립 탐방을 다니면서 스케일이 다르다는걸 이럴때 쓴다는 걸 처음 느꼈습니다. 호텔 하나하나가 코엑스나 잠실 롯데월드몰 크기여서 지도 상으로는 느껴지지 않았는데, 숙소였던 호텔 벨라지오에서 제일 먼 만달레이 베이나 윈 호텔은 2, 3 킬로미터는 되는 거리더라구요.. 차도를 넘을때는 횡단보도가 아닌 보행자 브릿지로만 이동해야하는 곳들이 많았고 자연스레 카지노로 이끄는 동선이 많다는 것을, 일찍 도착해서 미리 체험해본 덕분에 알게되었고, 무리하게 여기저기 호텔을 건너다니는 일정들을 전부 다시 짰던 것 같습니다.

11/27 (일)

지난 밤에 타일에 폰을 떨어트렸는데 그대로 맛이 가서 밤을 꼴딱 새고 아침 10시에 애플스토어 문이 열리자마자 달려가서 새 폰을 장만했습니다. 의도치 않게 애플 사용자가 됐는데 .. 어쩌다보니 애플케어와 정품케이스까지 질러버렸네요 ; 39 달러짜리 액정 보호필름은 그래도 잘 참았습니다 ..

그래서 (사내망 접근에 필요한) OTP랑 와치타워를 설치를 할 수가 없네요 ㅜㅜ ㅎ

뱃지 픽업 후에는 황송하게도 거인의 어깨 위에 올라가 칠판에 카카오뱅크도 써보고 즉석 사진(?)도 하나 찍어서 붙여놓고 왔습니다.

저녁에는 AWS Korea 에서 주최한 한국인의 밤 행사에 참가해서 세일즈 분들과 인사(?)를 하고 왔습니다. 네트워킹 파티라고 해서 비슷한 직군 사람들끼리 교류할 수 있는 자리를 기대하고 갔었는데 주최측에서 진행을 따로 해주시는건 아니었기 때문에 아는 사람이 정말 1도 없었던 저는 다소 뻘쭘했던 것 같습니다. (영업사원들 과의 네트워킹이었던 것 같네요 ㅎㅎ)

여기 가면 그동안 못 써봤던 명함을 좀 쓰는 시간이 있을거라 해서 챙겨갔는데 한 장도 쓸 일이 없었어서 민망한 기분이면서 동시에, 이런 행사에 파견됐으면 마땅히 해야할 미션을 수행 못하는게 아닌가 싶어 AWS 슬랙 채널에다가 데이터엔지니어 모임 글을 하나 등록해봤는데요, 괜히 나댔나 후회하긴 했지만, 덕분에 데이터 엔지니어 몇 분과 연결돼서 각자 들었던 세션 내용 공유도 하고 각자 업무 환경에 대한 얘기도 나눠볼 수 있었습니다.

11/28 (월)

Deep dive on accelerating HPC and ML with Amazon FSx
Democratizing ML for data analysts
EXPO & Happy hour

Deep dive on accelerating HPC and ML with Amazon FSx

Lustre 를 홍보(?)하는 시간이었습니다. 첫인상에 든 생각은 일종의 Network Attached Filesystem 인데 클라우드의 유연함(?)을 보여주는 좋은 서비스라는 생각이 들었습니다. 리얼 머신에서 직접 마운트된 디스크에 RAID 등의 기법으로 성능을 높이려면 꽂고 이런저런 설정을 해야만 하겠지만, 단순히 콘솔이나 화면에서 설정만 바꿔주는걸로 Provisioned Workload 에 필요한 파일시스템의 IO bandwidth 를 바꿔줄 수 있겠더라구요. 세션 막바지에는 EC2 에 마운트한 Lustre 의 설정을 바꿔가면서 read/write IO 비교해보는 데모도 있었습니다.

Democratizing ML for data analysts

redshift 의 built-in ML 을 활용해, 필요에 따라 선택적으로 각 단계를 커스터마이징 할 수 있다고 소개하며 몇개의 시나리오를 같이 보여줬습니다. 레드시프트를 엄청 밀고 있는 것 같아요.

올해 "re:MARS 2022" 에 다녀왔던 동료가 추천해주셨던 chalktalk 을 이때 처음 참가해본건데 발표자와 청중 간의 소통도 세션 도중에 계속돼서 생동감(?)이 넘쳤는데 너무 재미있어서 이후 세션들은 북마크가 겹치면 chalktalk 으로 골라서 들었습니다.

EXPO & Happy hour

엄청 큰 행사장에서 여러 파트너사들 등등이 부스를 운영하는 곳인데 여기 문화는 잘은 모르겠지만 양말에 진심이더라구요. 부스에서 설명 열심히 들으면 자기네들 서비스 로고 그려진 양말 기념품을 받을 수 있었습니다. 네 시부터는 행사장 사이드에서 이런저런 음료를 제공해주는데 맥주도 무제한이었습니다.

11/29 (화)

Adam Selipsky Keynote
Train and deploy large language models on Amazon SageMaker
Create a CI/CD pipeline to deploy your application to AWS Fargate
Frontend is for everyone

Adam Selipsky Keynote

정말 대단한 현장감이었습니다. 녹화본으로는 볼 수 없는 사전 공연이 어마어마했고, New Feature 가 등장할때마다 들리는 환호소리를 직접 들으니 괜히 진짜 써보고싶더라구요. (레드시프트 뽕을 엄청 주입했는데 잠깐 취했었던 것 같습니다.)

셀립스키가 등장하기 전에 밴드가 사전 공연으로 분위기를 띄워줬는데 어떤 밴드였는지는 아직 못 찾아봤네요 ㅜㅜ

Train and deploy large language models on Amazon SageMaker

이 세션에 아무런 배경지식 없이 들어왔으면 아무것도 못 들었을 내용이었을텐데, 훌륭하신 동료분들이 아지트 팀 그룹에 HuggingFace, DJL 등등 키워드를 강제로 주입해셨던 덕분에 그래도 어느정도 흐름은 따라갈 수 있었던 것 같습니다.

이 세션도 초크톡이었는데요, 도중에 어떤 분이 흐름 잘못 따라가서 엉뚱한 질문을 했는데 다른 청중이 답답하다는듯이 야유를 날리는 상황도 있었고 뭔가 자유로운 분위기가 시선했습니다.

Create a CI/CD pipeline to deploy your application to AWS Fargate

Frontend is for everyone

위 두 세션들은 lab 유형의 세션이었는데 컴퓨터실(?)에서 self-paced 로 관련 직접 서비스를 구현해볼 수 있는 시간이었습니다.

11/30 (수)

Best practices for high performance computing in the cloud
NatWest: Personalizing banking at scale with machine learning on AWS
Prepare data and model features for ML with ease, speed and accuracy
Productionize ML workloads using Amazon SageMaker MLOps, feat. NatWest

Best practices for high performance computing in the cloud

요거는 개인 노트북을 지참해서 참가해야하는 workshop 유형의 세션이었습니다. AWS Parallel Cluster 를 직접 구축해보고 간단한 MPI Job 호출까지 해볼 수 있었고 첫날 들었던 Lustre 를 워크로드에 설정해서 진짜 처리 속도가 빨라지는 것도 확인해볼 수 있었습니다.

외국인들과 맥북 사이에 당당히 자리잡은 한국어 윈도 씽크패드

NatWest: Personalizing banking at scale with machine learning on AWS

요거는 Natwest 라는 영국의 은행에서 AWS SageMaker 기반의 MLOps 를 성공적으로 안착시켜서 지금은 자기들의 아이디어가 얼마나 빠르게 시도되고 있는지 자랑하는 시간이었습니다.

Productionize ML workloads using Amazon SageMaker MLOps, feat. NatWest

그리고 이건 앞선 세션의 NatWest Guys 들이 좀 더 디테일하게 알고 싶으면 찾아오라고 홍보해서 원래 스케줄 했던걸 취소하고 만달레이 베이까지 이동해서 들었던 세션입니다.

12/01 (목)

Orchestrating hybrid workflows with Apache Airflow
Enabling operational analytics with Amazon Aurora and Amazon Redshift
re:Play

Orchestrating hybrid workflows with Apache Airflow

이 세션이 행사 전체에서 제일 제대로 들어볼만 했던 것 같아서 기대가 컸었는데 가는 길에 길을 헤매는 바람에 1분 늦었다고 처음부터 입장을 할 수가 없었습니다. 문 앞을 지키시던 분이 절대 들여보내주지 못한다고 했는데 계속 앞에서 알짱거리고 거슬리게 했더니 결국에는 들여보내주시긴 했지만 그럼에도 20분 정도 놓쳐버리고 말았습니다. 세션 마치고 옆자리에 있던 인도 분께 초반에 지나갔을 것 같은데 아키텍처가 어떻게 되는거냐고 물어봤더니, 유튜브에서 종종 보이는 자신감 넘치는 인도인 모드로 갑자기 변하면서 안 물어본 것까지 술술 설명 해주신 덕분에 어느정도는 내용을 건져온 것 같습니다.

MWAA 로 AWS 에 워크플로우 본진을 두고 있고 ECSOperator 를 최대한 활용하고, 여러 온프렘 사이트 별로 만들어져있는 이미지 템플릿을 활용해 remote 작업으로 호출한다고 했던 것 같습니다. DAG 코드 배포 전략 등등도 있었던 것 같은데 많이 놓쳐서 아쉽네요 ..