아고라

소융 학우 여러분 안녕하십니까? 

지난번 펄어비스 인재 양성 프로그램 후기를 작성했던 겜콘 4학년 학생입니다.

펄어비스 프로그램과 비슷한 시기에 진행된 NC Fellowship 프로그램도 저번 주로 막을 내렸습니다.

이번에도 이후 프로그램에 참가하거나 진로를 고민하는 학우분들에게 도움이 되었으면 하는 마음으로 후기를 남깁니다!

1. 개요

NC Fellowship은 AI 인재 양성을 위해 몇몇 대학들과 연계하여 각 학교 학생들이 NC에서 제공하는 교육을 받고, 과제를 수행하여 competition을 하는 프로그램입니다. 두 개의 트랙으로 운영되는데, 게임에 직접적으로 적용되는 강화 학습, 머신 러닝 등을 배우는 Game AI 트랙과 모션 캡처 등 게임에 간접적으로 적용되는 분야에 딥 러닝 기술을 적용하는 Neural Graphics 트랙이 있습니다. 그중 저희 학교는 성균관대, 한양대, 연세대, 포항공대, 카이스트와 함께 Neural Graphics 트랙에 참여하였습니다. 

2. 신청

참가는 2인 1팀으로 이루어졌고, 각 학교에서 2팀 씩 총 4명의 학생이 참가하였습니다. 프로그램 자체가 학부생 들을 대상으로 학교와 연계하여 진행하다 보니, 3학년 1학기 수강하는 과목인 '게임 그래픽 프로그래밍' 수업을 수강한 학생들을 대상으로 선발되었습니다. 수업 중에 교수님이 프로그램에 대한 언급을 해주셨고, 참가를 희망하는 팀 중 해당 수업 성적을 기준으로 선발되었습니다.

3. 과제

Neural Graphics 트랙에 과제는 '딥 러닝을 통한 모션 캡처 데이터의 포즈 생성'이었습니다. 

모션 캡처를 할 경우 아래 사진에서 보이는 점들에 대한 데이터만 주어지게 됩니다. 그 점들을 바탕으로 관절(빨, 초, 파, 노)을 만들어 내는 것인데, 기존의 접근 방식은 사람이 손수 관절들의 위치와 방향을 지정해주어야 했습니다. 상당히 손이 많이 가는 작업이기 때문에 그래픽스 분야에서는 해당 문제를 딥 러닝을 통해 해결하고자 연구가 진행되고 있고, 이번 과제도 마찬가지로 해당 문제를 딥 러닝으로 해결 보는 것이었습니다.

(사진 출처: optitrack 홈페이지)

4. 진행 방식

기억 상으로는 그래픽스 수업이 진행되던 5월 쯤 NC에서 진행하는 OT가 있었고, 선발이 된 이후 교육 자료와 함께 과제 플랫폼이 배포가 되었습니다. 코로나 상황이다 보니 온라인으로 2~3회 정도 미팅을 했었고, 각 팀이 진행하고 있는 방식에 대해 이야기하고 피드백을 해주는 시간이었습니다. 

평가는 중간 평가(12/31)와 최종 평가(2/13)로 나뉘어졌습니다. 중간 평가는 순위에 반영되지는 않고, 진행 상황과 평가 기준으로 사용되었습니다. Neural Graphics는 처음 열리는 트랙이었기 때문에 진행하면서 평가에 대해 변화가 많이 있었습니다.
최종 평가로는 각 팀에서 만든 모델이 얼마나 정확도가 있는 지와 모션의 부드러움을 평가하였습니다. 최종 순위는 두 평가 점수의 합산으로 계산되었고, 저희는 12팀 중에 4위를 하였습니다.

상금 같은 경우, 1등 700만원, 2등 300만원 그리고 3등까지 NC 인턴십 기회가 주어졌기 때문에 상당히 아쉬운 결과였습니다 ㅠㅠ

추가로 학습에 대해 말씀드리자면, 입력 데이터로는 각 마커의 position + confidence 값이 들어갔고, 출력 데이터로는 각 관절의 root position + rotation matrix이었습니다.

아래 두 영상은 입력 데이터와 저희 모델이 최종으로 생성한 모션입니다.

(입력 데이터)

(출력 결과)

5. 후기

앞으로 또 어떤 방식으로 진행될 지는 모르지만, 이번에 진행되었던 주제로 후기를 남겨보겠습니다.
수업 시간에 배운 그래픽스 이론을 바탕으로 하지만, 실제 중요한 건 딥 러닝 학습에 대한 경험이었던 것 같습니다. Fellowship 시작 전 미리 딥 러닝을 공부 해두었던게 큰 도움이 되었고, 비슷한 주제로 연구를 진행하고 있는 것도 competition 진행에 도움이 많이 되었습니다. 

NC에서 제공해준 수업 자료는 graphics에 대한 기본 설명과 과제에 대한 15분 정도의 영상 3 개가 다였습니다. 현역에 계신 분들에게 직접 배울 수 있기를 수업에 기대 했지만, 그러진 않아 아쉬웠습니다. 다만 수업 보다는 미팅에서 발표한 내용에 대해 피드백을 해주시며 현업 연구에서 어떤 식으로 적용하고 있는 지를 많이 배울 수 있었습니다. 그렇기 때문에 기초에 대한 정보는 각 팀끼리 공부해야 했습니다.

마지막으로 드리고 싶은 말씀은 이후 이런 프로그램들에 참여하실 분들이 이런 글을 보고 미리 겁먹지 않으셨으면 좋겠습니다. 저희도 1년 전만 해도 딥 러닝이 뭔지도 모르고, 그래픽스를 처음 배우는 사람들이었습니다. 하지만 수업을 통해 기본적인 지식을 얻고, 딥 러닝에 흥미를 가지고 공부를 하다보니 fellowship에 참여하는 좋은 기회로 이어진 것 같습니다.

이후 참여하시는 분들은 더 좋은 결과를 내실 거라 믿습니다^^

이외 궁금한 점이나 자세한 내용에 대해 궁금하시다면, 댓글로 남겨주시면 감사하겠습니다.

모두 개강 파이팅~