---
title: "Discussion on \"《深度学习入门》的cpp实现-ch06: 与学习相关的技巧\" | Hashnode"
description: "Discussion on \"《深度学习入门》的cpp实现-ch06: 与学习相关的技巧\". 上一篇文章中，我们使用随机正态分布初始化神经网络的权重，SGD的方法更新参数，对于学习率、batch大小、权重衰减率等超参数选择了固定值，这篇文章我们会探讨对于这些做法的改进方案。\n由于这一节涉及到众多方法， 并且要求网络结构复杂，不能逐一进行\"cpp实现\"，理解原理并掌握即可(所以请把这篇文章当作读书笔记看待)。\n参数的更新\nSGD\nSGD公式如下\n$$W \\gets W - \\eta \\frac{\\partial    L}{\\partial W}    $$\nSGD原理简单，并且在代码上容..."
url: "https://hashnode.com/posts/dlfscpp-ch06/6306035e4a26c45454a3bac2"
---

[Feed](https://hashnode.com/feed) /

Discussion

# [《深度学习入门》的cpp实现-ch06: 与学习相关的技巧](https://qilingzhao.com/dlfscpp-ch06?utm_source=hashnode&utm_medium=feed)

上一篇文章中，我们使用随机正态分布初始化神经网络的权重，SGD的方法更新参数，对于学习率、batch大小、权重衰减率等超参数选择了固定值，这篇文章我们会探讨对于这些做法的改进方案。 由于这一节涉及到众多方法， 并且要求网络结构复杂，不能逐一进行"cpp实现"，理解原理并掌握即可(所以请把这篇文章当作读书笔记看待)。 参数的更新 SGD SGD公式如下 $$W \\gets W - \\eta \\frac{\\partial L}{\\partial W} $$ SGD原理简单，并且在代码上容...

Aug 24, 2022 · 2 min read · qilingzhao.com  
Read the article

-   [#dlfs-cpp](https://hashnode.com/tag/dlfs-cpp)
-   [#neural-networks](https://hashnode.com/tag/neural-networks)

## Written by

[qilingzhao](https://hashnode.com/@Zhao70)

@Zhao70

  
[View profile](https://hashnode.com/@Zhao70)

## Responses

Markdown supported · ⌘↵ to post

No responses yet.
