별로 길게 안적었어요

Kubeflow에서 Training을 하기 위해 쓰는 방법은 크게 2종류가 있다. 1. Kubeflow에서 Jupyter 를 사용하기 Kubeflow에서 Jupyter를 만들때, Jupyter에 사용할 jupyter server image를 선택하는 부분에서 tensorflow-cpu? gpu? 선택 부분이 있고, resource할당에 cpu, gpu 코어수를 어떻게 할당할지 정할 수 가 있다. 이 부분에서 GPU를 충분히 할당해주고 실행하면 EMR 클러스터 등에서 사용하듯이 분산학습도 수행 할 수 가 있다. 장점 : 쓰기 너무 쉽다.

이게 중간 과정을 그때그때 올려야 하는데, 너무 띄엄띄엄 올려서 마지막으로 올렸던 내용이랑 지금 내가 진행하는 거랑 거리감이 너무 커져버렸다. (그 동안 Jira에 2명이 추가로 합류하게 되고, 처음부터 가르쳐 줘야 하는 친구들도 있고, 개인프로젝트 방향성 전환, 해야하는 작업의 난이도 상승으로 블로그 글 쓰는게 가장 뒤로 밀려나버렸다...) 지금 현황을 먼저 이야기 하면, Terraform으로 인프라를 만들었고, Kubernetes를 직접 master, worker 설치 스크립트를 짰다가, kubernetes의 cloud native함에 정신을 못차리고 EKS로 도망왔다. 이 위에 뭘 올릴까 정말 열심히 고민해 보다가 (웹서버나, 그라파나를 올려서 내가 일하는 거의 연장선을 갈 수 도 있고, k8s에는..

인스턴스를 어느 사이즈로 고를까? 디스크 사이즈는 어떻게 할까? 내가 골라준 인스턴스, 리소스들을 쿠버네티스를 어떻게 다룰까? 노드당 pod 비율을 어떻게 할까? 이런 전반적인 Resource에 대해서 다룬 chapter이다. 쿠버네티스는 pod의 limit을 정해둘 수가 있고,(yaml 파일의 resources 항목을 채우면 된다.) 스케줄러는 pod의 크기와, 클러스터의 여유공간을 비교해, 적절한 위치에 pod를 배치시킨다. 이런 클러스터 조율이라는게 늘 그렇듯이 저자 또한 자신의 Rule of thumb을 설파한다. - Container를 작게 유지해라 - 노드당 pod limit이 있기 때문에 너무 큰 인스턴스는 자원낭비이며, 동시에 너무 작은 인스턴스는 os 크기 등의 overhead가 있다. ..

chapter 4는 쿠버네티스가 뭘 어떻게 실행하는지 살짝 맛만 보여주고 넘어가는 챕터다. 쿠버네티스에 혀끝만 살짝 닿게 만들고 chapter 5에서 다시 이론 수업으로 돌아가버린다. 이 책의 가장 큰 특징이며, 장점이자 단점은, 여러가지를 전부 다 한번씩 맛보여 주고 싶어 한다는 점 같다. 입문서적이라 덜 자세하게 쓰려고 하며, 전문적인 내용을 한번씩 다 보려주려다 보니까. 처음 접하는 사람에게는, 어? 이거 다 이해 안됬고, 뭔소리 하는지 전혀 모르겠는데 여기서 넘어가도 되나? 싶은 생각이 들어 혼란이 오게끔 만든다. Deployment 1페이지 -> Pods 1페이지 -> ReplicaSet 1페이지 -> Service Resource 순으로 저자가 만들어 놓은 어플리케이션을 돌려보는 과정을 거치지..

2. First Steps with Kubernetes 나는 처음에 Docker만 사용할 줄 알고, kubernetes는 이름만 들어본 정도여서, 처음에는 Docker랑 상관없는 별개의 Container system이 기능만 다양해진 거라고 생각했다. 그래서 유료 강의들, 책 앞부분에 항상 docker container에 대해서 다루는 걸 보면서, "아, docker보다는 쿠버네티스에 대해서 다뤄주지..." 같은 멍청한 생각을 했었다. Kubernetes는 Docker, 혹은 다른 Container 시스템을 사용해서 돌아가는, Container를 대신 다뤄주는 시스템이다.(kubernetes가 별개로 컨테이너 시스템을 갖춘것이 아니다.) 그래서 처음에는 docker에서 쓰는 명령어를 거의 안쓰니까 손대기..

어느 책이나 시작 지점은 늘 그 책을 관통하는 주제나, history를 기록해 놓곤 한다. 이 책의 경우, 1) 클라우드의 발전으로 인해 computing 자원을 사는 것이 아닌 빌리는 것을, { 웹서비스를 한다 = 서버를 사서 소프트웨어를 올린다 에서, 웹서비스를 한다 = 하드웨어를 빌린다. 로 바꾼 클라우드 기술. } 2) DevOps에 대해, { CAMS 란 : Culture, Automation, Measurement, Sharing - by John Willis : The influential DevOps writer } 3) docker를 필두로한 컨테이너 기술에 대해 { 하드웨어를 추상화해서 하드웨어와 소프트웨어를 디커플링 시키는 컨테이너 기술들. VM은 container에 비해 perfor..

에자일 메솔로지에 대하여. 여기에 적는 글은, 학교에서 에자일 메솔로지 전문가 교수님께 들은 이야기 조사를 하면서 본 Atlasian 기술자의 강의 영상 유료 강의 영상들 읽은 책들에서 모은 정보로 누더기 처럼 만든 생각과 방향이다. 따라서 이글에 대해 진실 여부가 100퍼센트인지는 사실 글쓰는 나도 잘 모릅니다 헤헤… 오바마 케어라는게 있었다. ⇒ 사회적 약자들에게 의료 지원을 넓히겠다 이정도의 법안이었던거 같은데 공약 내용은 틀려도 상관없다. 중요한건 이 공약이 지켜지기 전에 미국 민주당이 공화당에게 정권을 빼앗겼다는 것이다. 오바마 대통령은 재선에 성공해서 8년간 집권을 했기 때문에 시간이 꽤 있었다. 그럼에도 불구하고 공약을 시작조차 못했다. 왜냐면… 시스템을 8년 내에 완성 못했기 때문이다. ?..

보호되어 있는 글입니다.

# 이 글에서는 지금까지 2달간 사내 스터디 그룹을 위해 jira를 운영해오면서 있었던 일들을 정리해 올리고자 합니다. # jira 사용법보다는 일기에 훨씬 가까운 형태가 될 것 같습니다. # jira는 협업 툴이고 결국에는 그 조직에 대해서 설명하지 않으면 지라를 쓰고 있는 상황을 표현 할 수가 없다고 생각합니다. 이에 따라 지라 사용법이 아니라 내가 속한 organization과 jira를 묶어서 이야기 하고자 합니다. # 1. 대학원 생활과 jira 제가 jira를 처음 접한 것은 대학원 시절 연구실에서 였습니다 교수님께서 연구에 애자일 메솔로지를 적용 하고 싶어 하셨고 지라를 도입하고 일주일 단위였던 연구 주기를 매일 매일 단위로 바꿨습니다 문제는 템포가 제 연구에는 맞지 않았다는 것입니다. 지나..

chapter 2는 AWS 비교적 단순한 형태만을 사용해 web 서버를 구축하는 것이었기에, 따라하기만 하면 되는 챕터 였다. 코드의 깃허브 주소다. 대부분이 따라입력해 본거고, 2~3개 정도의 명령어가 책에는 옛날 버전으로 되어 있기에 새 버전으로 변경해준 것이 전부인 상태다 https://github.com/sts2885/devops_study GitHub - sts2885/devops_study Contribute to sts2885/devops_study development by creating an account on GitHub. github.com 아무튼 챕터 2 최종 목표인 LB와 ASG를 연결해서 Hello world를 띄워 봤다. 와~ git checkout으로 이 시점 commit으..