스타 스키마와 One Big Table 사례 찾아서 공부해보려고 스크랩만 해두고 한참 미뤄뒀었는데 마침 좋은 영상이 유투브 알고리즘으로 찾아왔다. https://youtu.be/ltQgbSs99WU Data with Zach 라는 처음 보는 채널인데 한때 Airbnb, Facebook에서 일했고 지금은 dataexpert.io 라는 온라인 코스 운영자인 네임드 데이터 엔지니어인 듯하다. https://github.com/eczachly General Enterprise Data System Architecture 아무튼 이 영상에서는 다음과 같은 데이터 레이크 기반 데이터 […]
Ollama ✕ WSL 2 ✕ VSCode Code GPT
Windows 에서는 아직 네이티브 클라이언트를 제공하지는 않지만 WSL 2 에서 Linux 버전으로 구동하거나 도커 컨테이너로 기동할 수 있다. https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image 먼저 WSL 안에서 NVIDIA CTK 활용이 가능해야하는데 다음 문서를 참고한다. https://learn.microsoft.com/ko-kr/windows/ai/directml/gpu-cuda-in-wsl 위 문서를 참고해 컨테이너를 실행하고 mistral, mistral:instruct 이미지를 내려받아놓기까지만 하면 로컬 API 서버 준비 끝. docker run –rm -d –gpus=all \ -v ./ollama:/root/.ollama -p 11434:11434 […]
Vagrant ✕ WSL 2
Kubernetes 를 본격 공부하려고 하는데 개발 장비에 Docker Desktop 기반으로 해보자니 이가 하나 빠진 느낌이다. 한땀한땀 장인정신으로 구성해보면서 클러스터 관리까지 제대로 공부해보고싶은데 클러스터를 개발 장비에 바로 구성하려니 시스템이 금방 오염될 것 같아 오랜만에 VM 을 만지작거려봤다. Windows WSL 2 에서도 Vagrant 로 VirtualBox VM 제어가 가능한데 일반적이진 않은 것 같아서 기록해두려고 한다. WSL2 에서 도커 […]
VSCode 에서 CUDA (nvcc) 개발 환경 설정하기 – 1
이전 포스팅에서 그래픽 카드 붙은 시스템까지는 구성했고 이어서 개발환경 구축을 위한 첫걸음. 사실 NVIDIA Container Runtime 만 구성하면 NVIDIA NGC 에서 CUDA 뿐만 아니라 여러 라이브러리, 프레임워크 버전별 이미지를 제공해주다보니 직접 버전별로 구성해놓을 필요가 없어서 시스템을 깔끔하게 관리할 수도 있고 집에 있는 개인 장비, Cloud Workspace 그리고 폐쇄망인 회사 업무 환경에 까지 일관된 개발환경을 구성할 […]
OAuth2 Proxy
oauth2-proxy 를 이용하면 특정 reverse proxy 경로에 접근할때 OAuth2 인증을 요청하게 되고 인증된 세션만 접근할 수 있도록 제한할 수 있다. 공식 문서의 왼쪽 그림과 같이 앞단에 nginx 를 하나 더 붙여서 구성할 수도 있는데 nginx 에서 다음과 같이 vhost private.oboki.net 로 분기시키고 server { server_name private.oboki.net; location / { proxy_pass http://${OAUTH2-PROXY-HOST}:4180; … } } ${OAUTH2-PROXY-HOST}:4180 […]
NVIDIA Container Runtime on Rocky Linux
작업용 데스크탑에 gpu 를 업그레이드 하면서 남는 gpu 카드가 생겼는데 이걸 서버에 붙여 써보려고 한다. 1050Ti 인데, 추가 보조 전원도 필요없는 SFF 카드여서 서버용으로 충분(?)하지 않을까 싶다. 고사양도 아니고 Pascal 아키텍처로 연식이 오래된 것이긴 하지만 회사 업무 환경에서는 인터넷을 활용한 이런저런 테스트가 쉽지 않다보니,, 원격으로 가볍게 테스트 해볼 환경으로 쓸만할 것 같다. 도커를 활용하는게 더 […]
code-server (설치형 VSCode 웹버전)
code-server vscode.dev 같이 웹버전 vscode 를 직접 구성할 수 있게 하는 오픈소스(?) 프로젝트가 있어 사내 jupyterhub 프로젝트에서 개인별 노트북 환경에 설정해봤는데 동료들 사이에서 반응이 괜찮고 직접 써봐도 사용성이 제법 좋아서 홈서버에 붙여 써볼까 한다. https://github.com/coder/code-server 컨테이너로 실행할 수도 있겠지만 홈서버 호스트를 외부에서 바로 제어(?)하고 싶은 용도로 쓰고싶어 일단은 바이너리를 그대로 받아 네이티브 프로세스로 실행할 예정. […]
Star Schema vs. One Big Table (OBT)
DW 데이터 모델로 유서깊은(?) 두 가지에 관련한 레딧 스레드가 있어서 스크랩 How would you choose between star schema vs one big table (OBT) data models for big data reporting without explicit enterprise data warehouse requirements? 상황에 따라, 개인에 따라 선호되는 방식이 있는 것 같은데 기회가 되면 정리해봐야겠다.
re:Invent 2022 참가 후기
AWS 경험이라고는 지난해 이사할 때 홈서버를 잠시 호스팅하는 용도와 최근에 셀프 청첩장 만들때 써 본 free-tier EC2, RDS, EFS 이 정도가 전부인 초급 사용자인데, 감사하게도 회사 지원으로 "AWS re:Invent 2022" 에 참가할 수 있는 기회를 갖게 되었다. 클라우드 서비스에 대한 이해가 높지 않아 기술적인 내용 전달보다는 여기서 경험할 수 있는 것들을 동료들에게 최대한 공유해드리는 것이 […]
nextcloud 백업 전략
라즈베리파이로 운영하던 홈서버에다가 이것저것 자꾸 올렸더니 너무 버거워해서 x86으로 다시 돌아왔는데, 겸사겸사 백업 전략을 다시 정비해봤다. 최소 비용으로 소중한 데이터들만 어떻게든 살리는 것을 목표로 한다. 서버에 nextcloud 클라이언트를 추가로 실행시켜서 별도의 물리디스크에 동기화시키는 방법인데, rsync로 양방향 동기화를 시키는 것보다 구성도 간편하고 혹시 모를 데이터 오염(?) 걱정도 없는 것 같다. 위와 같이 데이터 흐름을 표현해봤는데, wordpress […]