Matches in SemOpenAlex for { <https://semopenalex.org/work/W4224256243> ?p ?o ?g. }
Showing items 1 to 54 of
54
with 100 items per page.
- W4224256243 endingPage "238" @default.
- W4224256243 startingPage "232" @default.
- W4224256243 abstract "GPU는 효율적인 병렬화 연산을 바탕으로 딥 뉴럴 네트워크(Deep Neural Network) 학습에 주로 사용된다. 하지만, BERT 학습 간 나타나는 GEMM의 연산 특성으로 인해 GPU는 최대 성능을 제공하지 못한다. 본 논문에서 우리는 V100, A100 GPU를 이용하여 BERT 학습의 가장 중요한 연산인 GEMM을 수행했을 때 GPU가 연산기들을 효율적으로 활용하지 못하는 원인들을 분석하였다. 이를 통해 DRAM 용량의 제한과 BERT의 구조적인 특성으로 인해 GPU가 일을 균등하게 할당받지 못하는 문제를 확인하였다. 추가적으로, 일의 양을 작은 단위로 나누어 GPU의 병렬성을 높이는 방법과 메모리 계층의 대역폭의 트레이드-오프에 대해서 분석하였으며 병렬성을 높이더라도 메모리 대역폭 병목에 의해서 실제 GPU의 성능은 낮아지는 것을 확인하였다. 이러한 분석 결과들을 바탕으로 GPU의 DRAM 용량과 메모리 계층 구조에서 대역폭의 중요성을 확인한다." @default.
- W4224256243 created "2022-04-26" @default.
- W4224256243 creator A5020364299 @default.
- W4224256243 creator A5025001772 @default.
- W4224256243 date "2022-04-30" @default.
- W4224256243 modified "2023-09-26" @default.
- W4224256243 title "Performance Analysis of GPU Under-utilization when Operating GEMM in BERT Training" @default.
- W4224256243 doi "https://doi.org/10.5626/ktcp.2022.28.4.232" @default.
- W4224256243 hasPublicationYear "2022" @default.
- W4224256243 type Work @default.
- W4224256243 citedByCount "0" @default.
- W4224256243 crossrefType "journal-article" @default.
- W4224256243 hasAuthorship W4224256243A5020364299 @default.
- W4224256243 hasAuthorship W4224256243A5025001772 @default.
- W4224256243 hasConcept C118524514 @default.
- W4224256243 hasConcept C121684516 @default.
- W4224256243 hasConcept C173608175 @default.
- W4224256243 hasConcept C21442007 @default.
- W4224256243 hasConcept C2778119891 @default.
- W4224256243 hasConcept C41008148 @default.
- W4224256243 hasConcept C459310 @default.
- W4224256243 hasConcept C50630238 @default.
- W4224256243 hasConcept C7366592 @default.
- W4224256243 hasConcept C9390403 @default.
- W4224256243 hasConceptScore W4224256243C118524514 @default.
- W4224256243 hasConceptScore W4224256243C121684516 @default.
- W4224256243 hasConceptScore W4224256243C173608175 @default.
- W4224256243 hasConceptScore W4224256243C21442007 @default.
- W4224256243 hasConceptScore W4224256243C2778119891 @default.
- W4224256243 hasConceptScore W4224256243C41008148 @default.
- W4224256243 hasConceptScore W4224256243C459310 @default.
- W4224256243 hasConceptScore W4224256243C50630238 @default.
- W4224256243 hasConceptScore W4224256243C7366592 @default.
- W4224256243 hasConceptScore W4224256243C9390403 @default.
- W4224256243 hasIssue "4" @default.
- W4224256243 hasLocation W42242562431 @default.
- W4224256243 hasOpenAccess W4224256243 @default.
- W4224256243 hasPrimaryLocation W42242562431 @default.
- W4224256243 hasRelatedWork W189420351 @default.
- W4224256243 hasRelatedWork W2137218050 @default.
- W4224256243 hasRelatedWork W2306641587 @default.
- W4224256243 hasRelatedWork W2336510523 @default.
- W4224256243 hasRelatedWork W2364686214 @default.
- W4224256243 hasRelatedWork W2492152311 @default.
- W4224256243 hasRelatedWork W2599032770 @default.
- W4224256243 hasRelatedWork W2932894012 @default.
- W4224256243 hasRelatedWork W2982613029 @default.
- W4224256243 hasRelatedWork W3198186148 @default.
- W4224256243 hasVolume "28" @default.
- W4224256243 isParatext "false" @default.
- W4224256243 isRetracted "false" @default.
- W4224256243 workType "article" @default.