Take the high value,take a log toout what is b 。So now you’reto , from 10 to the a to the b, on a log scale 。So you set r , at ,a and b 。And then you set theto be 10 to the r 。So that’s how youon thisscale 。

文章插图
所以 在中 你可以这样做，使 r = -4 * np..rand()，然后αα 随机取值α=10rα = 10 r，所以 第一行可以得出r∈[-4,0]，那 αα 会在 10(?4)10 ( ? 4 ) 和10010 0之间，所以最左边的数字是 10(?4)10 ( ? 4 )，最右边是 10010 0，更常见的情况是，如果你在 10a10 a 和 10b10 b 之间取值，在此例中 这是 10a10 a，你可以通过 log0.l o g 10 0.0001 算出 a 的值，即 -4，在右边的值是10b10 b，你可以算出b 的值，l o g 10 1 即 0，你要做的 就是在【a,b】区间随机均匀地给 r 取值，这个例子中 r∈[-4,0]，然后你可以设置 αα 的值，基于随机取样的超参数值α=10rα = 10 r，所以 总结一下 在对数坐标上取值，取最小值的对数就得到 a 值，取最大值的对数就得到 b 值，所以现在你在对数轴上的 10a10 a 到 10b10 b 区间取值，在 a b 间随意均匀的选取 r 值，将超参数设置为 10r10 r，这就是在对数轴上取值的过程 。
, one othercase isthebeta,used for。So let’s say youthat betabe0 。9 to 0 。999。Maybe this is the range ofyou want toover 。So , that when,using 0 。9 is likeover the last 10。kind of liketheof 10 days , using 0 。999 is likeover the last 1,000。Soto what we saw on the last slide,if you want to0 。
9 and 0 。999 , it doesn’t make sense toon thescale, right?, at , 0 。9 and 0 。999。So the best way to think about this is that we want tothe range offor 1 minus beta,which is going to now range from 0 。1 to 0 。001 。And so we’llthebeta,from 0 。1,to maybe 0 。1, to 0 。001 。So using thewe haveout on theslide,this is 10 to the -1,this is 10 to the -3 。on theslide,we had the small value on the left,large value on the right,but here we have。
We have the large value on the left,and the small value on the right 。So what you do, is yourat , from -3 to -1 。And you set 1- beta = 10 to the r, and so beta = 1- 10 to the r 。And thisyourvalue of your , on thescale 。Andthis makes sense, in that this way,you spend as muchthe range 0 。9 to 0 。99,as you would0 。99 to 0 。999。

文章插图
最后 另一个棘手的例子是给 ββ 取值，用于计算指数的加权平均值，假设你认为 ββ 是 0.9 到 0.999 之间的某个值，也许这就是你想搜索的范围，请记住这一点 当计算指数的加权平均值时，取 0.9 就像在 10 个值中计算平均值，有点类似于计算 10 天的温度平均值，而取 0.999 就是在 1000个值中取平均，所以 和上张幻灯片上的内容类似，如果你想在 0.9 到 0.999 区间搜索 那就不能用线性轴取值 对吧？，不要随机均匀在此区间取值，所以考虑这个问题最好的方法就是，我们要探究的是1?β1 ? β，此值在 0.1 到 0.001 区间内，所以我们会给 1?β1 ? β 取值，大概是从 0.1 到 0.001，应用之前幻灯片中介绍的方法，这是10(?1)10 ( ? 1 )这是10(?3)10 ( ? 3 )，值得注意的是 在之前的幻灯片里 我们把把最小值写在左边，最大值写在右边 但在这里 我们颠倒了大小，这里 左边的是最大值 右边的是最小值，所以你要做的就是在 [-3,-1] 里随机均匀的给 r 取值，你设定了 1?β=10r1 ? β = 10 r所以 β=1?10rβ = 1 ? 10 r，然后这就变成了你的超参数随机取值，在特定的选择范围内，希望用这种方式可以得到想要的结果，你在 0.9 到 0.99 区间探究的资源，和在 0.99 到 0.999 区间探究的一样多 。
So if you want to study morefor why we’ this, right, why is it such a bad idea toin ascale?It is that, when beta is close to 1,theof theyou get ,even with very smallto beta 。So if beta goes from 0 。9 to 0 。9005,it’s no big deal,this isanyin your。But if beta goes from 0 。999 to 0 。999 5,this will have a hugeonwhat youris doing, right?In both of these cases,it’sover10。