Hacker News • 9일 전

AMD 매트릭스 코어의 정밀한 수치 모델링 연구

IMP

6/10

핵심 요약

최근 GPU의 행렬 곱셈 유닛(매트릭스 코어)이 IEEE 754 부동소수점 표준을 따르지 않고 제조사·아키텍처마다 동작이 달라 결과 재현이 불가능한 문제를 다룬 연구입니다. 연구진은 AMD의 CDNA 1/2/3 아키텍처(MI100, MI210/250, MI300A/300X)에 대해 정교한 테스트 벡터를 설계해 수치적 동작을 규명하고, MATLAB 기반 소프트웨어 모델을 개발해 1,000만 개 무작위 테스트에서 비트 수준 정확도를 검증했습니다. 이 모델로 AMD 매트릭스 코어와 NVIDIA 텐서 코어 간 애플리케이션 수준 정확도 차이를 정량화하는 시연도 수행했습니다.

번역된 본문

컴퓨터 과학 > 하드웨어 아키텍처

arXiv:2609.14845 (cs) [2026년 9월 13일 제출 (v1), 2026년 9월 15일 최종 수정 (이 버전, v2)]

제목: AMD 매트릭스 코어의 정밀한 모델 저자: Faizan A Khattak, Mantas Mikaitis, Carlo J. Graziani

초록: 최근 GPU에서 제공되는 행렬 곱셈기(매트릭스 멀티플라이어)는 IEEE 754 부동소수점 표준을 준수하지 않는다. 행렬 곱셈기의 특성은 제조사마다, 그리고 동일 제조사의 아키텍처마다 다르며, 누산기(accumulator) 폭, 반올림 동작, 정규화 시점, 중간 단계의 언더플로/오버플로 처리 논리, 비정규수(subnormal) 처리, 특수 입력값의 처리 등이 그 예이다. 그 결과, 소규모 행렬 곱셈 결과의 기기 간 재현성은 확보할 수 없으며 소프트웨어 제어로도 달성할 수 없다. 행렬 곱셈기의 구현 세부 사항은 문서화되어 있지 않아 계산 결과의 불일치를 해석하기 어렵다.

본 연구에서는 세 가지 AMD GPU 아키텍처, 즉 CDNA 1, CDNA 2, CDNA 3(각각 MI100, MI210/250, MI300A/300X GPU 사용)에 걸쳐 행렬 곱셈기의 수치적 동작을 특성화한다. 우리는 지원되는 모든 입력 형식의 수치적 특성을 겨냥한 테스트 벡터를 설계하고, 각 벡터가 기기 출력을 기반으로 어떻게 특정 수치적 특성을 판별할 수 있는지에 대한 유도 과정과 논리를 제시한다.

이어서 각 아키텍처별로 MATLAB 기반 행렬 곱셈기 소프트웨어 모델을 개발하고, 1,000만 세트의 무작위 입력 벡터로 구성된 무작위 테스트 스위트를 통해 하드웨어와의 비트 수준 재현성을 검증했다. 이를 위해 기존에 개발된 기법을 적용하여, 무작위 테스트 후 테스트를 정교화하는 과정을 반복하는 루프를 통해 모델이 모든 테스트 케이스에서 하드웨어와 일치할 때까지 모델 정확도를 점진적으로 개선했다.

마지막으로, 이 모델로 수행할 수 있는 실험 연구의 개념 증명으로, 두 가지 시연용 수치 애플리케이션에 모델을 활용하여 AMD 매트릭스 코어와 NVIDIA 텐서 코어 간의 애플리케이션 수준 정확도 차이를 정량화했다.

주제: 하드웨어 아키텍처(cs.AR); 수학 소프트웨어(cs.MS)

인용: arXiv:2609.14845 [cs.AR] https://doi.org/10.48550/arXiv.2609.14845

제출 이력: Faizan Ahmad Khattak 제공 [v1] 2026년 9월 13일 (일) 23:34:01 UTC (1,297 KB) [v2] 2026년 9월 15일 (화) 10:33:08 UTC (1,297 KB)

전문 링크: PDF 보기, HTML 보기(실험적), TeX 소스, 라이선스 보기

참고문헌 및 인용: NASA ADS, Google Scholar, Semantic Scholar, BibTeX 내보내기 등

코드·데이터·미디어: alphaXiv, CatalyzeX, DagsHub, GotitPub, Hugging Face, ScienceCast 등 연관 도구 링크 제공 관련 논문 목록

원문 보기

원문 보기 (영어)

--> Computer Science > Hardware Architecture arXiv:2609.14845 (cs) [Submitted on 13 Sep 2026 ( v1 ), last revised 15 Sep 2026 (this version, v2)] Title: Accurate Models of AMD Matrix Cores Authors: Faizan A Khattak , Mantas Mikaitis , Carlo J. Graziani View a PDF of the paper titled Accurate Models of AMD Matrix Cores, by Faizan A Khattak and Mantas Mikaitis and Carlo J. Graziani View PDF HTML (experimental) Abstract: Matrix multipliers available on recent GPUs do not conform with the IEEE 754 floating point standard. Features of matrix multipliers differ across vendors and architectures of the same vendor, such as accumulator width, rounding behaviour, normalisation points, intermediate underflow and overflow logic, the handling of subnormals, and the treatment of special inputs. As a result, reproducibility of small matrix multiplier results across devices is not possible and cannot be achieved by software control. Implementation details of matrix multipliers are not documented, making it difficult to interpret discrepancies in the computed results. We characterise the numerical behaviour of matrix multipliers across three AMD GPU architectures: CDNA 1, CDNA 2, and CDNA 3, using the MI100, MI210/250, and MI300A/300X GPUs, respectively. We design test vectors to target numerical features for all supported input formats and provide the derivation and the reasoning for why each vector allows to determine a particular numerical feature based on the outputs of the devices. MATLAB-based software models of the matrix multipliers are then developed for each architecture and validated for bit-level reproducibility against hardware using a randomized test suite consisting of 10 million sets of random input vectors. To achieve this, we applied a previously developed technique to iteratively refine the accuracy of the models in a loop, by randomized testing followed by test-refinement until the model matches the hardware for every test case. Finally, as a proof of concept for what experimental research can be done with the models, we have utilised them in two demonstrative numerical applications, quantifying application-level accuracy differences between AMD matrix cores and the NVIDIA tensor cores. Subjects: Hardware Architecture (cs.AR) ; Mathematical Software (cs.MS) Cite as: arXiv:2609.14845 [cs.AR] (or arXiv:2609.14845v2 [cs.AR] for this version) https://doi.org/10.48550/arXiv.2609.14845 Focus to learn more arXiv-issued DOI via DataCite Submission history From: Faizan Ahmad Khattak [ view email ] [v1] Sun, 13 Sep 2026 23:34:01 UTC (1,297 KB) [v2] Tue, 15 Sep 2026 10:33:08 UTC (1,297 KB) Full-text links: Access Paper: View a PDF of the paper titled Accurate Models of AMD Matrix Cores, by Faizan A Khattak and Mantas Mikaitis and Carlo J. Graziani View PDF HTML (experimental) TeX Source view license Current browse context: cs.AR < prev | next > new | recent | 2026-09 Change to browse by: cs cs.MS References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

하드웨어 아키텍처 GPU 부동소수점 AMD 수치 정확도