오픈DLSS, DLSS 5 내부 계산까지 재현

엔비디아(NVIDIA)의 DLSS 5 신경 렌더링 네트워크를 벌칸(Vulkan)으로 다시 구현한 오픈DLSS(OpenDLSS-NR)가 공개됐다. 개발자는 최종 이미지뿐 아니라 네트워크 내부의 75개 지점에서도 원본 실행 결과와 바이트 단위로 일치한다고 주장한다. 브라우저에서 같은 결과를 내는 별도 구현도 마련했다. 다만 저장소에는 모델 가중치가 없고 실행에 필요한 GPU 조건도 까다롭다. 무엇이 공개됐고 무엇은 여전히 사용자가 준비해야 하는지 구분해 볼 만한 프로젝트다.

핵심 요약

  • 오픈DLSS는 DLSS 5 신경 렌더링의 71블록 네트워크를 벌칸으로 재구현하고 내부 결과까지 원본 기록과 일치하는지 검사한다.
  • 이 네트워크는 해상도를 높이는 DLSS-SR과 달리, 이미 그린 프레임에 세부 묘사와 색조 변화를 더하는 방식이다.
  • 독립적인 WebGPU 구현도 브라우저에서 같은 결과 바이트를 내지만, 저장소가 가중치를 제공하지 않아 모델 데이터는 별도로 준비해야 한다.
  • 데모에는 이전 프레임을 활용하는 시간적 처리 경로가 들어가며, 단일 프레임 도구와는 실행 조건이 다르다.
  • Hacker News에서는 정밀한 재현을 높이 평가하는 한편 처리 비용, 가중치 부재, 화면의 미술적 통제력을 두고 질문이 이어졌다.

71블록을 다시 그린 네트워크

오픈DLSS 개발자는 DLSS-NR 빌드 310.8.0에 해당하는 71블록 네트워크를 재구현했다고 설명한다. 구조는 여러 해상도 단계를 오가는 U자형 네트워크에 이동 창 방식의 트랜스포머 블록을 배치하고, 가장 낮은 해상도 단계에 전역 비전 트랜스포머(ViT)를 둔 형태다. 풀링 단계는 여섯 개이며 가중치 크기는 141MiB다. 프로젝트 문서에는 각 블록의 연결 관계와 가중치 배치 방식이 정리돼 있다.

벌칸 구현은 텐서 코어를 사용하며, 연산 과정에는 FP8(8비트 부동소수점) 활성값과 FP16(16비트 부동소수점) 누산값이 쓰인다. 단순히 비슷한 그림을 만드는 것이 아니라 정해진 네트워크의 계산을 재현하는 데 초점을 맞춘 설계다. 개발자가 내세우는 기준도 최종 화면의 육안상 유사성이 아니다. 내부 계산 결과까지 원본에서 기록한 값과 맞추는 것이다.

확대가 아니라 프레임을 다시 그리기

저장소는 이 네트워크를 업스케일러가 아니라고 명시한다. 입력과 출력의 해상도가 같고, 게임 엔진이 이미 그린 프레임을 다시 처리해 세부 묘사를 생성하거나 색조·구조·피부 표현을 조정한다. 세부 묘사 생성에는 주입한 노이즈가 쓰이며 스타일 설정도 결과에 영향을 준다. 개발자는 이를 엔비디아가 사용하는 표현에 따라 ‘생성형 신경 렌더링’으로 설명한다.

네트워크 입력은 렌더링된 프레임의 저동적범위 대리 영상, 가우시안 노이즈 세 채널, 이전 출력 프레임을 현재 시점에 맞게 재투영한 정보, 조건을 지정하는 스칼라 값 다섯 개로 구성된다. 출력은 픽셀마다 32비트 부동소수점 채널 네 개다. 세 채널은 RGB 보정값이고, 나머지 하나는 이전 프레임과 섞는 정도를 결정하는 값이다. 따라서 이 모델을 이해하려면 한 장의 그림뿐 아니라 프레임 사이의 연결도 함께 봐야 한다.

벌칸 밖에 마련한 WebGPU 경로

저장소에는 벌칸 구현과 별도로 브라우저용 WebGPU 포트가 있다. 개발자는 이 포트를 두 번째 독립 구현이라고 소개하며, 텐서 코어나 FP8을 쓰지 않고도 같은 결과 바이트를 낸다고 말한다. 예시 화면은 2048×1152 해상도에서 신경 렌더링을 끈 장면과 켠 장면을 나란히 보여준다. 두 실행 경로를 제시한 것은 결과가 특정 커널 한 벌에서만 나오는 것이 아님을 확인하는 방법이기도 하다.

그렇다고 브라우저 포트가 모델 데이터를 대신 제공하는 것은 아니다. 프로젝트는 가중치를 사용자가 준비하도록 설계됐고, 벌칸 구현 역시 지정된 형식의 모델 디렉터리를 읽는다. 공개된 핵심은 네트워크 구조와 실행·검증 코드다. 실제 화면을 재현하는 데 필요한 가중치는 그와 별개의 조건으로 남아 있다.

단일 프레임 도구와 이전 프레임을 활용하는 데모

빌드 절차는 도구 다운로드, 셰이더와 실행 파일 빌드, 데모용 렌더러 준비로 나뉜다. 명령줄 도구에는 지정한 해상도로 실행 시간을 재는 bench, 실행 단계별 시간을 보는 profile, 원본 기록과 비교하는 parity 등이 마련돼 있다. 데모는 장면 목록에서 파일을 고르거나 명령줄로 glTF 장면을 불러올 수 있다. 모델 위치는 명령줄 인자, 환경변수, 기본 디렉터리 순서로 찾는다.

두 실행 형태의 차이는 이전 프레임을 다루는 방식에 있다. 명령줄 도구는 이력 없이 단일 프레임을 실행하며, 저장소가 설명하는 원본 참조 기록도 이 조건에서 만들어졌다. 반면 데모는 이전 출력의 재투영값을 다시 입력하고 픽셀별 혼합값을 활용하는 피드백 경로를 구현했다. 개발자가 적어 둔 성능 측정 조건은 RTX 4070 SUPER에서 프레임 전체 네트워크를 실행해 40프레임의 최솟값을 비교하는 방식이다. 모든 해상도에서 디스패치(연산 명령 실행) 횟수는 241회라고 한다.

실행 조건과 빠진 가중치

벌칸 버전을 실행하려면 윈도와 엔비디아 에이다(Ada) 세대 이상 GPU, 지정된 벌칸 확장을 노출하는 드라이버가 필요하다. 빌드에는 비주얼 스튜디오(Visual Studio)의 C++ 도구와 파이썬 등이 쓰이며, 장면 변환에는 노드.js(Node.js)와 추가 도구가 필요하다. 저장소의 스크립트는 셰이더 컴파일러와 빌드 도구를 받아 오므로 벌칸 SDK를 반드시 별도로 설치할 필요는 없다. 데모용 필라멘트(Filament) 렌더러는 별도 내려받기와 빌드 과정을 거친다.

모델 디렉터리에는 파일 크기와 해시값을 기록한 매니페스트, 텐서 위치를 설명하는 목록, 압축된 가중치 파일이 있어야 한다. 저장소는 이런 디렉터리를 만들어 주지 않으며 가중치도 포함하지 않는다. 로더는 블록 수가 다른 모델을 거부한다. 코드가 공개돼 있어도 원하는 모델을 곧바로 넣어 실행하는 범용 틀이 아니라, 특정 네트워크 구조를 대상으로 한 재현 작업이라는 뜻이다.

75개 경계에서 대조하는 정확성

개발자가 말하는 ‘비트 단위 일치’는 최종 이미지 한 장의 비교에 그치지 않는다. 원본에서 기록한 참조 결과를 담은 픽스처(검사용 데이터 묶음)가 있으면, parity 명령은 네트워크 내부 75개 블록 경계의 값도 대조한다. 참조 기록 자체는 저장소에 포함되지 않는다. 검사 항목과 참조 파일이 맞지 않거나 필요한 비교 지점이 빠진 픽스처는 GPU 실행 전에 거부하도록 했다.

판정에서도 정확히 같은 값과 거의 같은 값을 구분한다. 0의 부호만 다른 결과도 통과가 아니며, 8비트 기록에서 한 코드 차이인 경우는 따로 표시한다. 출력과 마지막 처리부는 기본적으로 반복 제출해 결과가 유지되는지 확인하고, 동기화 방식을 바꾼 실행과도 대조한다. verify 명령은 여기에 입력 특성과 첫 블록의 참조값을 더 요구한다. 저장소의 ‘일치’ 주장이 어떤 조건과 검사 절차에 기대는지 드러나는 부분이다.

속도를 바꿔도 결과는 그대로

기본 설정은 빠르면서도 정확한 실행 경로를 택한다. 개발자는 일부 커널을 GLSL 경로로 되돌리거나, 실행 간 동기화·연산 결합·어텐션(attention) 계산 방식을 바꾸는 스위치를 제공한다. 각 스위치에서도 출력 바이트가 동일해야 하며, 이를 일치 검사에 포함했다고 설명한다. 성능을 조정하되 결과가 달라지는 최적화는 허용하지 않겠다는 설계다.

한편 이 저장소가 구현하지 않은 기능도 분명하다. 해상도를 높이는 DLSS-SR은 여기서 다루는 신경 렌더링과 다른 네트워크다. 프로젝트는 엔비디아와 관계가 없으며 엔비디아 소프트웨어, 가중치, 헤더나 가중치 입수 방법을 담지 않았다고 밝힌다. 저장소 코드는 MIT 라이선스로 공개했지만, 사용자가 가져오는 모델 데이터에 적용되는 권리는 각자 확인해야 한다.

커뮤니티 의견

한 사용자는 입력에 깊이 정보를 담은 Z버퍼가 없는 점을 의외라고 봤다. 깊이는 장면을 제어하는 데 유용하므로 모델에도 도움이 될 것이라는 생각이다. 답글에서는 RGB 영상만으로 깊이를 추정하는 모델도 상당히 잘 작동하므로, 별도 깊이 입력은 전송 비용에 비해 새 정보가 적을 수 있다고 반박했다.

다른 사용자는 원본과의 비트 단위 일치가 특히 인상적이라고 했다. 이어진 대화에서는 LLM이 코드 해독이나 역컴파일을 도왔을 가능성이 거론됐다. 다만 이는 댓글 작성자들의 추측이며, 프로젝트가 밝힌 개발 과정에 대한 설명은 아니다.

성능을 걱정하는 의견도 나왔다. 한 사용자는 1080p에서 약 8밀리초라는 처리 시간이 렌더링 시간 예산에 큰 부담이라며 원본도 비슷한 비용이 드는지 물었다. 답글에서는 원본 역시 무겁다는 평가와 함께 GPU·해상도별 측정치를 담은 외부 영상이 언급됐다. 이 논점은 결과의 정밀한 재현과 게임에서 감당할 수 있는 실행 비용이 별개라는 점을 짚는다.

엔비디아의 폐쇄적인 소프트웨어와 이번 공개 구현을 대비하는 반응도 있었다. 한 사용자는 엔비디아가 오픈소스에 우호적이라는 이미지와 CUDA 관련 기술의 폐쇄성을 함께 거론했다. 또 다른 짧은 반응은 ‘비트 단위로 동일하다’는 표현 자체가 낯익다고 꼬집었다. 관심은 기술적 성취뿐 아니라 원본 기술을 누가 통제하는가에도 쏠렸다.

화면의 미술적 통제력을 묻는 사용자는 신경 렌더링이 어느 지점부터 사람이 만든 아트 스타일을 약화할지 질문했다. 이 프로젝트의 설명대로라면 모델은 단순히 픽셀 수를 늘리는 것이 아니라 구조와 색조, 피부 표현까지 손댄다. 따라서 출력의 품질뿐 아니라 제작자가 의도한 화면을 얼마나 유지하는지도 살펴볼 대목이다.

가중치가 빠진 공개의 효용을 의심하는 의견도 있었다. 한 사용자는 게임마다 별도 모델이 필요한지, 아니면 공통 모델을 쓰는지 물으며 가중치가 없으면 활용이 제한된다고 봤다. 답글에서는 게임별 학습은 DLSS 1에 해당한다는 반론이 나왔다. 댓글이 지적한 핵심은 실행 코드를 손에 넣는 것과 실행할 모델을 확보하는 일이 다르다는 점이다.

README의 신뢰성을 문제 삼는 사용자도 있었다. 한 사용자는 문서가 LLM으로 작성된 듯해 흥미가 떨어진다고 했고, 답글에서는 git-ignored 표기에 사실관계 오류가 있다는 지적이 나왔다. 반면 또 다른 사용자는 엔비디아의 소프트웨어 경쟁력을 언급하며 CUDA의 공개 구현인 즐루다(ZLUDA)와 이 프로젝트의 파급력을 비교했다. 뒤이어 학습 데이터 구성과 AMD 구현 가능성을 묻는 질문도 나왔다.

핵심 통찰

오픈DLSS의 성취는 닫힌 신경 렌더링 네트워크를 설명하는 데서 멈추지 않고, 내부 값이 어디까지 일치하는지 검사할 수 있는 실행 경로를 만든 데 있다. 그러나 재현 코드는 곧바로 누구나 쓸 수 있는 렌더링 기능을 뜻하지 않는다. 가중치 확보, 실행 가능한 하드웨어, 프레임당 처리 시간, 원래의 아트 스타일을 지키는 문제가 각각 남는다. 앞으로는 브라우저를 포함한 구현 범위의 확대보다도, 이 네 조건을 실제 사용 환경에서 어떻게 풀어 가는지가 더 중요하다.


원본: GitHub - maanHimself/OpenDLSS-NR: A Vulkan reimplementation of NVIDIA’s DLSS 5 Neural Rendering network, bit-exact against the original.

토론: Hacker News