Windows 에서는 아직 네이티브 클라이언트를 제공하지는 않지만 WSL 2 에서 Linux 버전으로 구동하거나 도커 컨테이너로 기동할 수 있다. https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image 먼저 WSL 안에서 NVIDIA CTK 활용이 가능해야하는데 다음 문서를 참고한다. https://learn.microsoft.com/ko-kr/windows/ai/directml/gpu-cuda-in-wsl 위 문서를 참고해 컨테이너를 실행하고 mistral, mistral:instruct 이미지를 내려받아놓기까지만 하면 로컬 API 서버 준비 끝. docker run –rm -d –gpus=all \ -v ./ollama:/root/.ollama -p 11434:11434 […]
Kubernetes 를 본격 공부하려고 하는데 개발 장비에 Docker Desktop 기반으로 해보자니 이가 하나 빠진 느낌이다. 한땀한땀 장인정신으로 구성해보면서 클러스터 관리까지 제대로 공부해보고싶은데 클러스터를 개발 장비에 바로 구성하려니 시스템이 금방 오염될 것 같아 오랜만에 VM 을 만지작거려봤다. Windows WSL 2 에서도 Vagrant 로 VirtualBox VM 제어가 가능한데 일반적이진 않은 것 같아서 기록해두려고 한다. WSL2 에서 도커 […]
이전 포스팅에서 그래픽 카드 붙은 시스템 까지는 구성해놨으니 이제 개발환경을 설정해본다. 사실 NVIDIA Container Runtime 만 구성하면 NVIDIA NGC 에서 CUDA 뿐만 아니라 여러 라이브러리, 프레임워크 버전별 이미지를 제공해주다보니 직접 버전별로 구성해놓을 필요가 없어서 시스템을 깔끔하게 관리할 수도 있고 집에 있는 개인 장비, Cloud Workspace 그리고 폐쇄망인 회사 업무 환경에 까지 일관된 개발환경을 구성할 수 […]
oauth2-proxy 를 이용하면 특정 reverse proxy 경로에 접근할때 OAuth2 인증을 요청하게 되고 인증된 세션만 접근할 수 있도록 제한할 수 있다. 공식 문서의 왼쪽 그림과 같이 앞단에 nginx 를 하나 더 붙여서 구성할 수도 있는데 nginx 에서 다음과 같이 vhost private.oboki.net 로 분기시키고 server { server_name private.oboki.net; location / { proxy_pass http://${OAUTH2-PROXY-HOST}:4180; … } } ${OAUTH2-PROXY-HOST}:4180 […]
작업용 데스크탑에 gpu 를 업그레이드 하면서 남는 gpu 카드가 생겼는데 이걸 서버에 붙여 써보려고 한다. 1050Ti 인데, 추가 보조 전원도 필요없는 SFF 카드여서 서버용으로 충분(?)하지 않을까 싶다. 고사양도 아니고 Pascal 아키텍처로 연식이 오래된 것이긴 하지만 회사 업무 환경에서는 인터넷을 활용한 이런저런 테스트가 쉽지 않다보니,, 원격으로 가볍게 테스트 해볼 환경으로 쓸만할 것 같다. 도커를 활용하는게 더 […]
code-server vscode.dev 같이 웹버전 vscode 를 직접 구성할 수 있게 하는 오픈소스(?) 프로젝트가 있어 사내 jupyterhub 프로젝트에서 개인별 노트북 환경에 설정해봤는데 동료들 사이에서 반응이 괜찮고 직접 써봐도 사용성이 제법 좋아서 홈서버에 붙여 써볼까 한다. https://github.com/coder/code-server 컨테이너로 실행할 수도 있겠지만 홈서버 호스트를 외부에서 바로 제어(?)하고 싶은 용도로 쓰고싶어 일단은 바이너리를 그대로 받아 네이티브 프로세스로 실행할 예정. […]
AWS 경험이라고는 지난해 이사할 때 홈서버를 잠시 호스팅하는 용도와 최근에 셀프 청첩장 만들때 써 본 free-tier EC2, RDS, EFS 이 정도가 전부인 초급 사용자인데요, 감사하게도 회사 지원으로 "AWS re:Invent 2022" 에 참가할 수 있는 기회를 갖게 되었습니다. 클라우드 서비스에 대한 이해가 높지 않아 기술적인 내용 전달보다는 여기서 경험할 수 있는 것들을 동료들께 최대한 공유해드리는 것이 […]
라즈베리파이로 운영하던 홈서버에다가 이것저것 자꾸 올렸더니 너무 버거워해서 x86으로 다시 돌아왔는데, 겸사겸사 백업 전략을 다시 정비해봤다. 최소 비용으로 소중한 데이터들만 어떻게든 살리는 것을 목표로 한다. 서버에 nextcloud 클라이언트를 추가로 실행시켜서 별도의 물리디스크에 동기화시키는 방법인데, rsync로 양방향 동기화를 시키는 것보다 구성도 간편하고 혹시 모를 데이터 오염(?) 걱정도 없는 것 같다. 위와 같이 데이터 흐름을 표현해봤는데, wordpress […]
wsl2 부터 symantec PC 보안 솔루션에 의해서 외부 네트워크가 차단되는 문제가 있다. 다음 링크에서 resolution 을 제공해주기는 하지만, https://knowledge.broadcom.com/external/article/221329/endpoint-protection-firewall-blocks-netw.html wsl2 을 재실행(재부팅)할 때마다 룰을 적용해주는게 번거롭기도 하고, 회사와 같이 해당 규칙을 직접 관리할 수 없는, 중앙관리되는 환경이라면 매번 결재를 받을 수도 없고 난감하다. 근본적인 문제를 해결하는 방법은 아니겠지만, 컨테이너로 프록시를 구동해주는 것으로 우회해서 사용하고 있는데 […]
사내 웹서비스들은 무조건 ldap으로 연동해서 사용해야하는데 로컬에서 간편하게 구성해서 쓸 수 있는 도커 이미지가 있어 정리해본다. 사내 개발망에서 ldap 과 연동해서 바로 테스트해볼 수도 있지만 사용하고자 하는 앱마다 서비스 등록을 해야하고 토큰 발급에 결재 등등 시일이 걸려, 빠르고 간편한게 로컬에서 테스트 해보는 용도로 참고하면 좋을 것 같다. 예전에는 한땀한땀 slapd를 설치해서 썼었는데 osixia/openldap 이미지에서 파라미터로 […]