我们可以对sigmoid函数中的参数做调整，得到不同形状的sigmoid函数，来逼近蓝色函数。
改变w可以改变sigmoid函数的斜率；改变b可以左右移动其位置；改变c可以改变其高度，如下图：

所以不同的常数c，截距b和斜率w就会得到不同的sigmoid函数，然后将它们加起来就能够逼近目标函数，即

其中：
\(j\)代表第\(j\)个feature（即第\(j\)天的点击量）；\(i\)代表选择第\(i\)个sigmoid函数；\(w_{ij}\)表示在第\(i\)个sigmoid函数中\(x_j\)的权值
如图，分别代入计算就能得到：

由线性代数的知识可以发现，上面的三个式子可以写作矩阵的乘法：

然后将\(r\)代入sigmoid函数，记作\(a = \sigma(r)\)，乘上系数\(c\)，再加上\(b\)就得到最后的\(y\)，即\(y = b + c^Ta\)

最终得到：$$y = b + c^T \sigma({\bf b} + Wx)$$(\(b\)和\(\bf b\)区别开)

将W矩阵中的行或者列取出来，与\(b\)，\(\bf b\)和\(c^T\)竖着排列起来组成：

就进入了第2步找Loss函数

2. Define Loss from Training Data
Loss函数与ML一节中讲的一样，定义函数\(L(\theta)\)
先给定一组参数代入\(y = b + c^T \sigma({\bf b} + Wx)\)计算出\(y\)的值，然后将其与真实值（label） \(\widehat{y}\)比较，得到误差\(e\)，最后便可得Loss函数的表达式：

进而到第3步找一个最优解的步骤

3. Optimization
记 \(\theta^\star = arg min_{\theta}L\)

• (Randomly)Pick initial value \(\theta^0\)
  gradient \(g = \begin{bmatrix} \dfrac{\partial L}{\partial \theta_1}|_{\theta = \theta^0} \\ \dfrac{\partial L}{\partial \theta_2}|_{\theta = \theta^0} \\ . \\ . \\ . \end{bmatrix}\)
  可以记作：\(g =\nabla L(\theta^0)\)（就是梯度符号）

• Compute gradient again and again
  \(g =\nabla L(\theta^0)\) \(\theta^1 \leftarrow \theta^0 - \eta g\)
  \(g =\nabla L(\theta^1)\) \(\theta^2 \leftarrow \theta^1 - \eta g\)
  \(g =\nabla L(\theta^2)\) \(\theta^3 \leftarrow \theta^2 - \eta g\)

如此，我们前面y的表达式就可以变成：

其中我们用到的sigmoid或ReLU函数叫neuron（神经元），许多neuron套起来就叫neural network（神经网络）。后来人们又给它们取了新的名字，每一排的neuron叫作hidden layer（隐含层），有许多层layer所以叫作Deep Learning