Skip to content

Commit

Permalink
Update 2024-04-02-AWS 시작하기
Browse files Browse the repository at this point in the history
added more coments on intro section
  • Loading branch information
kihoon71 authored Apr 2, 2024
1 parent 4f3b05b commit 74c53f0
Showing 1 changed file with 20 additions and 7 deletions.
27 changes: 20 additions & 7 deletions _posts/2024-04-02-AWS 시작하기
Original file line number Diff line number Diff line change
Expand Up @@ -9,15 +9,28 @@ tags : [AWS]

## INTRO

본격적으로 시작하기 앞서서, 개인적으로 AWS 공부를 시작하는 이유에 대해 간략하게 적어두고 싶어서 먼저 들어가는 글로 남깁니다.
주니어 인공지능 엔지니어로서 커리어를 보내면서, 모델을 학습할 때에도 많은 고민과 실험이 뒤따르지만, '모델을 어떤 형태로 서빙을 하느냐?'라는 고민이 더 중요하다는 생각이 들고 있기 때문입니다.
본격적으로 시작하기 앞서서, 개인적으로 AWS 공부를 시작하는 이유에 대해 간략하게 적어두고 싶어서 먼저 들어가는 글로 남깁니다.
주니어 인공지능 엔지니어로서 커리어를 보내면서, 모델을 학습할 때에도 많은 고민과 실험이 뒤따르지만, '모델을 어떻게 서빙을 하느냐?'라는 고민이 더 중요하다는 생각이 들고 있기 때문입니다.
최근에는 TensorRT라던가 quantization, pruning등 모델을 경량화해서 최대한 적은 리소스를 사용하면서 빠르게 사용자에게 서비스를 제공하려는 시도가 늘어나고 있고 아마 대부분 조직에서
사용하는 방식이라고 생각이 들기 때문입니다.
사용하고 있을 것입니다.

하지만, 위와 같이 모델을 경량화하더라도 해당 모델에 대한 요청을 다 CPU runtime에서 돌리는 건 상당한 무리가 따르고,
많은 사용자가 제한된 GPU 자원을 통해 서비스를 요청하는 상황에서 코드를 통해 리퀘스트를 잘 스케쥴링하여 제어하는 것은 상대적으로 한계가 있습니다.
결국 백엔드와 인프라적인 고민이 들어가야 하는 부분이라고 생각합니다.

이때, AWS는 상당히 매력적입니다. 비용만 충분하다면, 손쉽게 서버 자원을 확장할 수 있기 때문입니다.
그래서 딥러닝 서비스의 경우 Amazon Sagemaker나 그외에 다양한 서비스를 통해 서비스하는 경우가 많은 것 같습니다. 온프레미스 형태로 서비스를 하더라도 사용자가 급증하게 되면
AWS로 요청을 분산하는 경우가 점점 늘어나고 있는 것 같습니다. 이러한 상황에서 딥러닝 엔지니어로서 AWS나 AZURE같은 클라우드 기술을 잘 배워놓는 것은 필수적인 역량 사항으로 변해가는 것 같습니다.

## AWS 계정 만들기

...






하지만, 위와 같이 모델을 경량화하더라도 해당 모델에 대한 요청을 다 cpu runtime에서 돌리는 건 상당한 무리가 따르고,
대규모 사용자가 제한된 GPU 자원을 통해 서비스를 경험하는 상황에서 코드를 통해 리퀘스트를 잘 스케쥴링하여 제어하는 것은 상대적으로 한계가 있기 떄문입니다.
결국 백엔드와 인프라적인 고민이 들어가야 하는 부분이라고 생각하기 때문입니다.
이때, AWS는 상당히 매력적입니다. 비용만 충분하다면, 손쉽게 서버 자원을 확장할 수 있기 때문입니다.



Expand Down

0 comments on commit 74c53f0

Please sign in to comment.