졸업프로젝트로 머신러닝을 다루는 중입니다!
이전에 인공지능 관련 프로젝트를 한적은 있었지만, 이렇게 직접 데이터를 학습시키고 모델을 훈련시키는것은 처음인지라 건드려가며 알게 된 것들을 기록하려고 합니다. 코랩을 꾸준히 사용한지 3개월쯤 된 것 같은데, 코랩 사용하면서 얻은 경험(?) 팁을 적어보겠습니다.
1. Colab Pro 구독
구글 계정으로 제공되는 무료 코랩은 처음 컴퓨팅 100단위를 할당해주는 것으로 알고 있습니다. 하지만 얼마안가 런타임이 끊기고 빠른 속도는 기대할 수 없습니다.
코랩의 유료구독인 Pro를 결제하면 구독화면의 설명과 같이 한달에 100 컴퓨팅 할당됩니다.
여기서 주의할 점은 런타임 유형입니다.
2. GPU? TPU
Pro를 구독하면 다음과 같은 런타임 유형을 볼 수 있습니다.
결론부터 말하자면 T4 GPU 를 선택해야 합니다.
저는 2만개 정도의 train 데이터를 가지고 비교적 가벼운 모델을 훈련시켰습니다. 처음 pro 계정으로 A100 GPU를 사용하여 모델을 훈련시켰을때, 컴퓨팅 대략 50정도가 닳은 것으로 기억합니다. 프로는 런타임이 24시간이라 무료일때모다 오래 돌아가지만 시간도 잘 생각해야 합니다.
그래서 A100 GPU로
* 배치사이즈 16, 이미지 해상도 256 x 256, 데이터 약 2만개를 돌렸을때
1) 훈련 1번
2) 첫번째랑 연속해서 돌리다가 중간에 끊김
3) 다시 처음부터 돌리다가 런타임이 부족하여 컴퓨팅 끝남
T4 GPU도 중간에 런타임끊기지 않는다고 할때, 컴퓨팅 100이면 4~5번 정도 돌릴 수 있는 것 같습니다.
3. 유료라도 상관없다면
연구비 지원을 받을 수 있다면, 가장 좋겠지만
내가 사용한 방법
: 기한안에 모델을 빠르게 돌리고 최적화시켜야할때
01 구글 계정 두개를 준비한다.
02 두개 다 colab pro로 결제한다.
03 계정 1돌리고, 다 끝나면 계정 2를 돌린다.
모델 한번 돌릴때 12시간이라고 가정한다면, 계정 1돌리고 쉬는 동안 계정 2가 돌아간다.
이렇게 하면 웬만하면 24시간 연속 런타임에 제약받지 않는다.
04 pro 계정 하나라도 한달이 안지났는데 컴퓨팅을 다 사용했다면, pay as you can 을 구독한다.
(처음부터 pay as you can으로 사용해도 됬지만, 이렇게 빨리 다 사용할줄은 몰랐다..)
(pay as you can 사용시 한달 후 결제되는 pro 계정은 구독취소하기)
05 3번처럼 다시 반복한다.
유료가 싫다면, 구글 부계정을 하나씩 파는 방법도 있습니다.
저는 중간에 런타임이 끊기고 속도가 너무 느려, 이 방법은 초반에 하다가 유료로 넘어갔습니다.
(구글 계정 하나에 무료로 컴퓨팅 100을 준다고함)
하지만 저는 pro든, pay as you can이든 유료 구독을 추천합니다:)