0

Coding ML:Sigmoid function

[latexpage]

在神经网络中,sigmoid函数很常用,而在LR当中,这个函数也很常见,那么如何使用sigmoid函数实现一个神经网络的sigmoid函数呢?这里我们采用梯度下降的算法使用sigmoid函数来更新权重,下面是权重更新公式
\begin{equation}
\omega_i=\omega_i+\Delta w_i
\end{equation}
其中$\Delta w_i$为
\begin{equation}
\Delta w_{i} = \eta (y – \sigma )\sigma(1-\sigma)x_{i}
\end{equation} Continue Reading

0

Coding ML:一个简单的XOR网络的构建

[latexpage]

神经网络是一个很迷人的算法,有时候也让人很难懂。最近需要构建一个XOR的网络,什么是XOR的网络?XOR是抑或的意思,所谓的亦或就是“同为非,异为是”,就是说对于$x$和$y$,如果它们都是true,那么它们的亦或的结果就是false,如果他们的不都是true,那么它们的亦或的结果就是true。

我们先把网络分成两层,第一层是输入层,第二层是输出层。对于第一层,首先要求“与”的值,然后第二个结果再求得到的“与”的结果的的最终值,说了那么多有点含糊,那么看下个表 Continue Reading