728x90
Adagrad
- lr을 조정하면서 하강
RMSprop
- Adagrad는 시간 지날수록 업데이트 자체가 미미해진다.
- 과거의 gradient값을 잊고 새로운 gradient값을 크게 반영하여 업데이트 하는 방식
Adam
- 진행 방향, lr을 모두 적절하게 유지하면서 학습
[출처: 엘리스 AI 트랙 딥러닝 기초 2]
728x90
'📂 Engineering > 🔹 Data & AI' 카테고리의 다른 글
| [vscode] jupyter notebook의 a, b, x, shift+enter, ctrl+enter가 작동하지 않을 때 (단축키, 명령어) (0) | 2021.12.23 |
|---|---|
| [vscode] jupyter-notebook에서 ctrl+enter나 shift+enter가 안 되는 경우 (4) | 2021.12.23 |
| [강화학습] MDP를 알 때의 플래닝 (0) | 2021.10.03 |
| 아나콘다 가상환경 명령어 모음 (0) | 2021.07.19 |
| 파이썬으로 배우는 알고리즘 트레이딩 No module named 에러 해결 (0) | 2021.07.19 |
댓글