BL
MarkTechPost • 10일 전
NVIDIA cuDNN 그래프 API 내부: 퓨전, 오토튜닝, 플랜 재활용
IMP 7/10
핵심 요약
NVIDIA의 cuDNN Frontend Graph API를 활용해 커스텀 커널 퓨전(kernel fusion), 오토튜닝 엔진 구성, FP8 스타일 에필로그(epilogue), 스케일드 닷-프로덕트 어텐션(SDPA), 동적 셰이프, CUDA 그래프 캡처를 구현하는 실용적 튜토리얼입니다. 딥러닝 프레임워크 추상화 아래 단계에서 연산을 직접 최적화하려는 개발자에게 유용하며, 결과를 PyTorch와 대조 검증하는 방법도 다룹니다.
번역된 본문
NVIDIA의 cuDNN Frontend Graph API를 활용하여 커스텀 커널 퓨전(kernel fusion), 오토튜닝(autotuning) 엔진 구성, FP8 방식의 에필로그(epilogue), 스케일드 닷-프로덕트 어텐션(scaled dot-product attention), 동적 셰이프(dynamic shapes), 그리고 CUDA 그래프 캡처(graph capture)를 구현하는 방법을 배워보세요. 이 실용적인 튜토리얼은 딥러닝 프레임워크 추상화보다 아래 단계에서 연산을 직접 최적화하는 방법을 보여주며, 그 결과를 PyTorch와 대조하여 검증하는 과정도 함께 다룹니다.
원문 보기 (영어)
Learn how to leverage NVIDIA’s cuDNN Frontend Graph API to build custom kernel fusions, autotuning engine configurations, FP8-style epilogues, scaled dot-product attention, dynamic shapes, and CUDA graph captures. This practical tutorial demonstrates how to optimize deep learning computations directly below framework abstractions while validating results against PyTorch
The post Inside NVIDIA’s cuDNN Graph API: Fusion, Autotuning, and Plan Reuse with cuDNN Frontend appeared first on MarkTechPost.