기본 콘텐츠로 건너뛰기

nodejs, pm2, git을 이용한 Dockfile 구성

nodejs, pm2, git을 이용한 Dockfile 구성

nodejs + pm2 application을 구성한 dockfile 을 구성하는 방법에 대해서 알아보도록 하겠습니다.

먼저 code를 어떤 방법으로 배포할지에 대한 process를 정하는 것이 중요합니다. 이는 Dockerfile 을 어떻게 만들지에 대한 방향이 결정나게 됩니다.

배포 Process

제가 구성한 Docker를 이용한 배포 process는 다음과 같습니다.

nvm 설치 nvm 을 이용한 node 설치 pm2 설치 ssh 인증 + git clone 을 통한 code download npm install .pm2/logs 위치에 따른 host 파일 공유 docker run 의 parameter pass를 통한 pm2 start json 파일 전송

1. nvm 설치 & node 설치 & pm2 설치

ubuntu image를 기본으로 하여 구성을 하도록 하겠습니다. nodejs application은 npm install 을 통해서 node_modules 을 다운로드 받아서 compile되는 환경이기 때문에 build환경역시 갖추는 것이 중요합니다.

FROM ubuntu RUN apt-get update RUN apt-get install -y wget build-essential keychain git python ENV NVM_DIR /usr/local/nvm ENV NODE_VERSION 7.3 . 0 RUN wget -qO- https://raw.githubusercontent.com/creationix/nvm/v0.32.1/install.sh | bash SHELL ["/bin/bash", "-c"] RUN source $NVM_DIR /nvm.sh; \ nvm install $NODE_VERSION ; \ nvm use --delete-prefix $NODE_VERSION ; ENV NODE_PATH $NVM_DIR/v$NODE_VERSION/lib/node_modules ENV PATH $NVM_DIR/versions/node/v$NODE_VERSION/bin:$PATH RUN npm install -g pm2

2. ssh 인증 구성

ssh 인증을 위해서 private key 를 image 안에 COPY 할 필요가 있습니다. 그리고 $(ssh-agent) 값을 지정해줄 필요가 있습니다. 그런데, eval 을 이용한 값 설정의 경우, Dockerfile 에서 할 수 없습니다. 따라서 do-ssh.sh 실행 파일을 구성해서 처리할 image 내부에서 실행할 필요가 있습니다.

다음은 do-ssh.sh 파일의 내용입니다.

eval " $(ssh-agent) " && ssh-agent -s ssh-add /root/.ssh/id_rsa

RUN mkdir /root/.ssh COPY [ "id_rsa" , "/root/.ssh/id_rsa" ] RUN chmod 600 /root/.ssh/id_rsa COPY [ "do-ssh.sh" , "/root/do-ssh.sh" ] RUN chmod 777 /root/ do -ssh.sh SHELL ["/bin/sh", "-c"] RUN /root/ do -ssh.sh RUN ssh -T -v git@10.1.95.184 -o StrictHostKeyChecking=no

3. git code download & npm install

nodejs Application이 위치될 folder를 만들어주고, git clone 을 통해서 code를 받고, npm install 을 하는 구성입니다.

RUN mkdir /apps SHELL ["/bin/bash", "-c"] WORKDIR /apps RUN git clone git@10.1.95.184:/home/git/repo/fms-api-v2.git -o StrictHostKeyChecking=no WORKDIR /apps/fms-api-v2 RUN npm install

npm install 을 통해서 필요한 node module들을 모두 받아주고 build과정을 거치게 됩니다.

4. PORT 공유 & PM2 Log volume 구성

제가 만든 application은 5000, 8000번 port를 open시켜서 사용합니다. 사용되는 PORT를 EXPOSE 시켜주는 과정이 필요하게 됩니다. 그리고 pm2 의 log 파일을 host에 기록하도록 volume을 추가합니다.

EXPOSE 8000 EXPOSE 5000 VOLUME /root/.pm2/logs

5. 뒷처리과정

매우매우 위험한 파일을 container에 넣어둔것을 기억하고 있어야지됩니다. private key가 바로 그것이지요. 꼭 이 파일을 지워주는 과정이 필요합니다. 마지막으로 pm2 실행에 대한 ENTRYPOINT 와 CMD 설정이 필요합니다. 제가 만든 application은 설정 json 파일에 따라서 동작환경이 변경되게 됩니다. 설정 json 파일을 외부에서 parameter로 넣어줄 수 있도록 설정해주는 것이 필요합니다.

RUN rm /root/.ssh/id_rsa ENTRYPOINT [ "pm2-docker" ] CMD [ "pm2/dev-system.json" ]

6. build image & docker run

image를 만들기 위해서, docker build 를 다음과 같이 구성합니다.

docker build -t nodejs-pm2-application .

이제 process가 진행되면 nodejs-pm2-application 으로 image가 만들어지게 됩니다.

만들어진 image를 이용해서 container를 배포하는 명령어는 다음과 같습니다.

docker run -it --name node-app -p 5000:5000 -p 8000:8000 -v /logs/pm2:/root/.pm2/logs -t nodejs-pm2-application pm2/api-system1.json

-p option으로 5000, 8000번 port를 host에 연결합니다.

option으로 5000, 8000번 port를 host에 연결합니다. -v options으로 /root/.pm2/logs folder를 host의 /logs/pm2 로 mount 시킵니다.

options으로 folder를 host의 로 mount 시킵니다. 마지막에 command로 /pm2/api-system1.json 을 넣어 container의 COMMAND를 pm2-docker pm2/api-system1.json 으로 변경시킵니다.

SUMMARY

Dockerfile을 구성하는 것은 Application의 형태에 따라, 개발환경에 따라 많은 차이를 가지고 오게 됩니다. nodejs , python , ruby 와 같이 외부 library를 받아 compile하는 과정을 가지게 된다면 image내부에서 code를 직접 git으로 받아올 필요가 있습니다. 그러나, JAVA , C# , GO 와 같이 universal compile이 되는 경우, Docker image를 만들때, compile시켜 ADD 를 통해서 실행파일을 image안에 넣는것이 더 좋을것 같습니다.

다음은 전체 Dockerfile 입니다.

FROM ubuntu RUN apt-get update RUN apt-get install -y wget build-essential keychain git python ENV NVM_DIR /usr/local/nvm ENV NODE_VERSION 7.3 . 0 RUN wget -qO- https://raw.githubusercontent.com/creationix/nvm/v0.32.1/install.sh | bash SHELL ["/bin/bash", "-c"] RUN source $NVM_DIR /nvm.sh; \ nvm install $NODE_VERSION ; \ nvm use --delete-prefix $NODE_VERSION ; ENV NODE_PATH $NVM_DIR/v$NODE_VERSION/lib/node_modules ENV PATH $NVM_DIR/versions/node/v$NODE_VERSION/bin:$PATH RUN npm install -g pm2 RUN mkdir /root/.ssh COPY [ "id_rsa" , "/root/.ssh/id_rsa" ] RUN chmod 600 /root/.ssh/id_rsa COPY [ "do-ssh.sh" , "/root/do-ssh.sh" ] RUN chmod 777 /root/ do -ssh.sh SHELL ["/bin/sh", "-c"] RUN /root/ do -ssh.sh RUN ssh -T -v git@10.1.95.184 -o StrictHostKeyChecking=no RUN mkdir /apps SHELL ["/bin/bash", "-c"] WORKDIR /apps RUN git clone git@10.1.95.184:/home/git/repo/fms-api-v2.git -o StrictHostKeyChecking=no WORKDIR /apps/fms-api-v2 RUN npm install EXPOSE 8000 EXPOSE 5000 VOLUME /root/.pm2/logs RUN rm /root/.ssh/id_rsa ENTRYPOINT [ "pm2-docker" ] CMD [ "pm2/dev-system.json" ]

Happy Coding~

from http://netframework.tistory.com/456 by ccl(S)

댓글

댓글 쓰기

이 블로그의 인기 게시물

카카오 오픈빌더와 외부 API 연동(feat.Nodejs)

카카오 오픈빌더와 외부 API 연동(feat.Nodejs) 이전에 플러스 친구와 외부 API 연동에 관한 글을 작성한 적 있습니다. 하지만 지난 2년동안 플러스 친구에 많은 변화가 생겼는데요. 카카오 플러스 친구의 명칭이 카카오 채널로 바뀌고, 챗봇 세팅 방식이 기존 [카카오 플러스 친구 - 외부 API 연동] 구조에서 오픈빌더가 추가되어 [카카오 채널(구 플러스 친구) - 카카오 i 오픈빌더 - 외부 API 연동] 구조로 바뀌었습니다. 이번 글에서는 오픈빌더의 챗봇 시나리오 관리 기능을 간단히 소개하고 외부 API를 연동하는 예제를 다뤄보겠습니다. (연동파트는 5번 항목부터 보시면 됩니다.) 1. 블록 블록은 오픈빌더에서 질의/응답을 관리하는 최소 단위로, 사용자의 발화와 챗봇의 대답을 입력할 수 있습니다. 예를들어 인사라는 블록을 만들고 인사에 해당하는 사용자 발화 패턴들을 입력해두면, 실제 채널 톡방에서 그에 해당하는 발화가 들어왔을때 입력해둔 응답이 나오는 형식입니다. 예전에는 패턴과 발화 키워드가 1:1 매칭, 즉 입력해둔 패턴과 사용자 발화의 string이 정확히 일치할때만 블록이 실행됐었는데, 발화 패턴을 20개 이상 등록하면 머신러닝 기능을 이용할 수 있도록 기능이 생겼습니다. 아마 유사도 분석 개념이 기본으로 들어가있을 것이기 때문에 블록의 주제와 벗어나는 너무 뜬금없는 발화패턴들을 많이 넣지 않도록 하는걸 권장하겠습니다. 2. 시나리오 시나리오는 '블록'들을 묶어서 관리할 수 있는 단위로, 일종의 폴더 구조라고 생각하면 쉽습니다. 오픈빌더에서 좌측 상단에 파란 버튼을 클릭하여 시나리오를 생성할 수 있습니다. 하나의 시나리오에서 모든 블록을 관리하면 챗봇 도메인이 커질수록 관리가 어려워지니 아래 같은식으로 시나리오를 사용하여 블록을 구조화하면 운영 측면에서 수월해집니다. 3. 컨텍스트 컨텍스트는 맥락이라는 뜻 입니다. 오픈빌더에 존재하는 컨텍스트는 자연어 분석을 통해서 맥...
댓글 쓰기
자세한 내용 보기

20.03.24 ShareBook TIL

20.03.24 ShareBook TIL Project/TIL 20.03.24 ShareBook TIL 중간 배포를 위해 EC2, RDS를 다시 설정하였다. EC2에 git에서 clone을 하고 서버를 작동시켜보니 ts로 돌려서 그런지 작동하지 않고 대기 상태로 있다가 timeout같은 시간 초과 에러가 났다. 그리고 갑자기 EC2 자체가 느려져서 nodejs를 삭제하고 다시 nvm으로 높은 버전의 node를 설치하였다. 그리고 나서 혹시 js로 돌리면 될까 해서 tsc로 js로 변환한뒤 돌려보니 RDS와 연결이 되지 않는 에러가 생겼다. workbench로 RDS를 연결했을 때는 정상적으로 작동해서 EC2에서 잘 못 설정한게 있다고 생각했다. 그래서 local에서 한번 config.json을 수정하고 연결하여도 똑같은 에러가 발생했다. 그럼 보안 설정에서 문제인가 싶어서 EC2, RDS 보안 그룹에서 설정을 막 만져보다 RDS에서 Custom TCP에 처음 RDS에서 설정한 포트를 넣어주었더니 연결되었다. config.json내용을 EC2에도 똑같이 적용시켜보려고 json파일을 vim으로 작성해서 넣어 주었지만 여전히 같은 에러를 반복하였다. 그럼 json 파일을 못 읽어내는게 아닌가 싶어서 그냥 module에 index.js에서 sequelize를 생성하는 부분에 직접 넣어 주었더니 마침내 연결이 되었다. 해결하고 난 뒤 생각의 흐름을 적어보니 매우 짧지만 정작 오늘 아침 10시 반부터 시작해서 저녁 10시 반까지 12시간을 고민하고나서야 해결되었다. from http://three-five.tistory.com/46 by ccl(A) rewrite - 2020-03-25 00:54:05
댓글 쓰기
자세한 내용 보기

AWS instance로 Nodejs 구현하기

AWS instance로 Nodejs 구현하기 서버와 데이터베이스 관리 차원에서 효율적으로 관리하기 위해선 로컬보다는 서버를 호스팅해서 하는 것이 좋다. 우리는 Nodejs를 구동하기 위해 AWS에서 인스턴스를 할당받을 계획이다. 인스턴스의 pem키를 발급받아 nodejs와 npm까지는 설치를 완료한 상태이다. $ sudo npm install -g express 다음의 명령어를 입력하면 글로벌 옵션으로 어느 path에서든 express를 사용할 수 있게 설치한다. 다음과 같이 실행이 된다면 성공이다. 이후 Express generator를 설치한다. $ sudo npm install -g express-generator@4 버전은 4.x이며 이 역시 글로벌 옵션으로 설치해 준다. 이제 Node monitoring을 위해 nodemon을 설치해 준다. $ sudo npm install -g nodemon 모든 설치가 끝났다. 이제 nodejs를 실행시킬 프로젝트용 directory를 만든다. 이렇게 만들어 주고 express를 실행시키면 된다. $ express -e 다음과 같은 결과가 나오면 된다. 이제 node package를 설치하는 명령어를 입력하자. $ sudo npm install 이제 vi를 통해 포트번호를 정의해보자. app.set의 마지막에 한줄을 추가하면 된다. app.set('port', process.env.PORT || 9000); 이로써 우리는 9000번 포트를 사용하게 되었다. 또한 마지막줄에 서버를 생성하기 위한 코드를 작성하자. module.exports = app; var server = app.listen(app.get('port'), function() { console.log('Express server listening on port ' + server.address().port); }); 이...
댓글 쓰기
자세한 내용 보기