Matches in SemOpenAlex for { <https://semopenalex.org/work/W2994927236> ?p ?o ?g. }
- W2994927236 abstract "When and why can a neural network be successfully trained? This article provides an overview of optimization algorithms and theory for training neural networks. First, we discuss the issue of gradient explosion/vanishing and the more general issue of undesirable spectrum, and then discuss practical solutions including careful initialization and normalization methods. Second, we review generic optimization methods used in training neural networks, such as SGD, adaptive gradient methods and distributed methods, and theoretical results for these algorithms. Third, we review existing research on the global issues of neural network training, including results on bad local minima, mode connectivity, lottery ticket hypothesis and infinite-width analysis." @default.
- W2994927236 created "2019-12-26" @default.
- W2994927236 creator A5028963874 @default.
- W2994927236 date "2019-12-18" @default.
- W2994927236 modified "2023-09-27" @default.
- W2994927236 title "Optimization for deep learning: theory and algorithms" @default.
- W2994927236 cites W1514535095 @default.
- W2994927236 cites W1522301498 @default.
- W2994927236 cites W1533861849 @default.
- W2994927236 cites W1569098853 @default.
- W2994927236 cites W1677182931 @default.
- W2994927236 cites W1839868949 @default.
- W2994927236 cites W1850240193 @default.
- W2994927236 cites W1899249567 @default.
- W2994927236 cites W1916951228 @default.
- W2994927236 cites W19621276 @default.
- W2994927236 cites W1967138577 @default.
- W2994927236 cites W196761320 @default.
- W2994927236 cites W2006903949 @default.
- W2994927236 cites W2043382734 @default.
- W2994927236 cites W2050968963 @default.
- W2994927236 cites W2070986426 @default.
- W2994927236 cites W2076605490 @default.
- W2994927236 cites W2093417350 @default.
- W2994927236 cites W2095984592 @default.
- W2994927236 cites W2097117768 @default.
- W2994927236 cites W2100495367 @default.
- W2994927236 cites W2107438106 @default.
- W2994927236 cites W2113651538 @default.
- W2994927236 cites W2120420045 @default.
- W2994927236 cites W2124768887 @default.
- W2994927236 cites W2125930537 @default.
- W2994927236 cites W2127447444 @default.
- W2994927236 cites W2130984546 @default.
- W2994927236 cites W2135472208 @default.
- W2994927236 cites W2135482703 @default.
- W2994927236 cites W2137515395 @default.
- W2994927236 cites W2138505091 @default.
- W2994927236 cites W2138857742 @default.
- W2994927236 cites W2146502635 @default.
- W2994927236 cites W2156387975 @default.
- W2994927236 cites W2166347285 @default.
- W2994927236 cites W2167820643 @default.
- W2994927236 cites W2173248099 @default.
- W2994927236 cites W2173520492 @default.
- W2994927236 cites W2178237821 @default.
- W2994927236 cites W2194775991 @default.
- W2994927236 cites W2250539671 @default.
- W2994927236 cites W2502312327 @default.
- W2994927236 cites W2518108298 @default.
- W2994927236 cites W2523060838 @default.
- W2994927236 cites W2523246573 @default.
- W2994927236 cites W2535496140 @default.
- W2994927236 cites W2546420264 @default.
- W2994927236 cites W2549139847 @default.
- W2994927236 cites W2549189808 @default.
- W2994927236 cites W2551153860 @default.
- W2994927236 cites W2553303224 @default.
- W2994927236 cites W2554535786 @default.
- W2994927236 cites W2566608758 @default.
- W2994927236 cites W2587741277 @default.
- W2994927236 cites W2591714514 @default.
- W2994927236 cites W2591954064 @default.
- W2994927236 cites W2593380010 @default.
- W2994927236 cites W2603221039 @default.
- W2994927236 cites W2605372163 @default.
- W2994927236 cites W2608239888 @default.
- W2994927236 cites W2608443712 @default.
- W2994927236 cites W2618003483 @default.
- W2994927236 cites W2622263826 @default.
- W2994927236 cites W2626325961 @default.
- W2994927236 cites W2727634334 @default.
- W2994927236 cites W2731468224 @default.
- W2994927236 cites W2736030546 @default.
- W2994927236 cites W2746420172 @default.
- W2994927236 cites W2749581528 @default.
- W2994927236 cites W2752366553 @default.
- W2994927236 cites W2763374915 @default.
- W2994927236 cites W2765428107 @default.
- W2994927236 cites W2765701314 @default.
- W2994927236 cites W2766371994 @default.
- W2994927236 cites W2769856846 @default.
- W2994927236 cites W2772552125 @default.
- W2994927236 cites W2776855315 @default.
- W2994927236 cites W2777256551 @default.
- W2994927236 cites W2780951787 @default.
- W2994927236 cites W2785523195 @default.
- W2994927236 cites W2785678896 @default.
- W2994927236 cites W2787525328 @default.
- W2994927236 cites W2788305524 @default.
- W2994927236 cites W2788997738 @default.
- W2994927236 cites W2789210533 @default.
- W2994927236 cites W2789350251 @default.
- W2994927236 cites W2792454233 @default.
- W2994927236 cites W2793333878 @default.
- W2994927236 cites W2796744096 @default.
- W2994927236 cites W2798766386 @default.
- W2994927236 cites W2798826368 @default.
- W2994927236 cites W2798986185 @default.
- W2994927236 cites W2800987155 @default.