ECCV에서 2020 Best Paper Honorable Mention으로 선정된 NeRF에 대해 알아보자!
- NeRF는 Representing Scense as Neural Radiance Fields for View Synthesis로, View Synthesis 모델이다.
- 즉, 여러 시점에서의 물체 이미지를 입력으로 받아 새로운 시점에서의 물체의 모습을 만들어내는 모델이다!
- 위의 이미지 상, 각각의 카메라가 가지는 5차원 데이터, 좌표 상의 위치인 x,y,z와 시야 방향인 세타와 파이를 input으로 받아 색상과 밀도를 예측해 물체 이미지를 생성하는 것이다.
- NeRF는 MLP로 학습하는데, 총 9개의 FC와 활성화 함수 ReLU를 사용한다.
- 이때, 한 물체에 대해 어느 방향에서 보는지에 따라 보이는 밝기가 다른 것을 비 램버시안 효과라고 한다.
- 물체의 밀도는 각도와 상관 없이동일해야 하므로 처음 8개의 FC에서는 위치 정보만으로 학습하도록 하고, 색은 물체를 보는 방향에서 따라 달라지므로 물체를 보는 시야 방향 값을 마지막 FC에 입력해 넣어 준다.
- 비 램버시안 효과를 고려해서 input을 나누어 넣어 준 것이다!
NeRF는 획기적인 기술이었지만 여러 가지 한계점이 있다.
- 많은 양의 계산과 훈련 시간 때문에 학습에만 하루가 넘게 걸리고, 새로운 이미지 1장을 rendering하는데에도 30초 정도 걸리기 때문에 실시간으로 사용하기에는 어려움이 있다.
- 학습된 매개 변수를 저장하기 위해 상당한 양의 메모리가 필요하다.
- 그리고 하나의 물체의 이미지를 생성하기 위해 1개의 모델을 학습해야 한다.
- 마지막으로 NeRF는 정지된 물체에 대해서만 좋은 결과를 내놓는다. 뿐만 아니라 날씨와 조명과 같은 색에 영향을 주는 환경이 일정해야 한다는 점도 한계점 중 하나이다.
NeRF가 가진 한계를 극복하기 위한 후속 연구도 많았는데요, 그중에서 세 개만 알아보자!
- Instant NeRF : 제일 인기 있는 모델로, NDIVIA에서 만들었다. 기존 모델보다 최대 천 배 빠른 속도로 학습하 렌더링을 할 수 있다.
- NeRF in the Wild : 구글에서 내놓은 모델로, 인터넷에서 구한 2D 이미지를 활용할 수 있다. 역동적인 사진이나 시간, 조명에 따른 색 차이에 영향을 받지 않는다.
- NeRF-Factory : 2022년 9월에 카카오에서 공개한 파이토치 기반의 대용량 NeRF 라이브러리다. 유명한 7개의 NeRF 모델의 코드와 데이터셋을 하나로 모아 사용자들이 커스텀할 수 있다.
참고
https://nuggy875.tistory.com/168
'GDSC Sookmyung 활동 > 10 min Seminar' 카테고리의 다른 글
| ML공부를 하면서 느낀 점(ML공부기) (0) | 2023.02.08 |
|---|---|
| 프로젝트때 사용해볼 만한 툴 (0) | 2023.02.06 |
| AWS SAA 자격증 따는 방법 (0) | 2023.01.30 |
| [GPT] 무엇이든 가능한 챗GPT (0) | 2023.01.30 |
| ☁️ Cloud CLI (0) | 2022.06.14 |