But here it’s gone from anthe last 1,000 ,to now, the last 2,000。And it’sthatwe have,1 / 1- beta,this is veryto smallin beta, when beta is close to 1 。So what this wholedoes,is ityou tomorein theof when beta is close to 1 。Or, ,when 1- beta is close to 0 。So that you can be morein terms of how youthe ,tothe space ofmore。
So I hope this helps youthe right scale on whichthe。In case you don’t end upthe righton some,don’t worry to much about it 。Even if youon thescale,where sum of the scale would have been ,you might still get okay。if you use ato fine , so that in later ,you focus in more on the mostrange ofto。I hope this helps you in your。
In the next video, I also want to share with you someof how to。That I hope will make youra bit more。

文章插图
所以 如果你想研究更多正式的数学证据，关于为什么我们要这样做 为什么用线性轴取值不是个好方法，这是因为当 ββ 接近 1 时，所得结果的灵敏度会变化 即使 ββ 有微小的变化，如果 ββ 在 0.9 到 0.9005 之间取值，无关紧要 你的结果几乎不会变化，但 ββ 值如果在 0.999 到 0.9995 之间，这会对你的算法产生巨大影响 对吧？在这两种情况下 是根据大概 10 个值取平均，但这里它是指数的加权平均值，基于 1000 个值 现在是 2000 个值，因为这个公式 1/1?β）1 / 1 ? β ），当 ββ 接近 1 时ββ 就会对细微的变化变得很敏感，所以 整个取值过程中，你需要更加密集地取值 在 ββ 接近 1 的区间内，或者说 当 1?β1 ? β 接近于 0 时，这样 你就可以更加有效的分布取样点，更有效率的探究可能的结果，希望能帮助你选择合适的标尺，来给超参数取值，如果你没有在超参数选择中做出正确的标尺决定，别担心，即使你在均匀的标尺上取值，如果数值总量较多的话 你也会得到还不错的结果，尤其是应用从粗到细的搜索方法 在之后的迭代中，你还是会聚焦到有用的超参数取值的范围上，希望这会对你的超参数搜索有帮助，下一个视频中 我将会分享一些，关于如何组建搜索过程的思考，希望它能使你的工作更高效 。
重点总结：
为超参数选择合适的范围
Scale均匀随机
在超参数选择的时候，一些超参数是在一个范围内进行均匀随机取值，如隐藏层神经元结点的个数、隐藏层的层数等 。但是有一些超参数的选择做均匀随机取值是不合适的，这里需要按照一定的比例在不同的小范围内进行均匀随机取值，以学习率 αα 的选择为例，在0.001,…,1范围内进行选择：

文章插图
如上图所示，如果在 0.001,…,1 的范围内进行进行均匀随机取值，则有90%的概率 选择范围在 0.1～1 之间，而只有10%的概率才能选择到0.001～0.1之间，显然是不合理的 。
所以在选择的时候，在不同比例范围内进行均匀随机取值，如0.001～0.001、0.001～0.01、0.01～0.1、0.1～1 范围内选择 。
r = -4 * np.random.rand() # r in [-4,0]learning_rate = 10 ** r # 10^{r}
一般的，如果在10a～10b10 a ～ 10 b之间的范围内进行按比例的选择，则r∈[a,b]r ∈ [ a , b ] ,α=10rα = 10 r。
同样，在使用指数加权平均的时候，超参数 ββ 也需要用上面这种方向进行选择.
参考文献：
[1]. 大树先生.吴恩达深度学习课程 .ai 提炼笔记（2-3）– 超参数调试 和 Batch Norm
【Coursera | Andrew Ng (02-week3-3】PS: 欢迎扫码关注公众号：「」！专注「深度学习」，「机器学习」，「人工智能」 。以及 「早起」，「阅读」，「运动」，「英语 」「其他」不定期建群 打卡互助活动 。