第3章：山与平地（2/5）

没有。”

“最先想到的，是最优化。”&nbp;安圭说。“最优化有几种常见的方法。1.&nbp;梯度下降法：梯度下降法是最早最简单的最优化方法。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是最速下降法。最速下降法越接近目标值，步长越小，前进越慢。.牛顿法：牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f的泰勒级数的前面几项来寻找方程f&nbp;=&nbp;0的根。牛顿法最大的特点就在于它的收敛速度很快。3.&nbp;共轭梯度法：共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储的缺点。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。4.&nbp;启发式优化方法：启发式方法指人在解决问题时所采取的一种根据经验规则进行发现的方法。启发式优化方法种类繁多，包括经典的模拟退火方法、遗传算法、蚁群算法以及粒子群算法等等。.&nbp;拉格朗日乘数法：作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有

个变量和k个约束条件的约束优化问题转化为含有（

+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。”

“那这个羊群到山顶是哪种方法。”展顾约说。

“启发式优化方法。”安圭说。

例如蚁群算法。蚂蚁找到最短路径，主要依靠信息素和环境，假设有两条路可从蚁窝通向食物，开始时两条路上的蚂蚁数量差不多：当蚂蚁到达终点之后会立即返回，距离短的路上的蚂蚁往返一次时间短，重复频率快，在单位时间里往返蚂蚁的数目就多，留下的信息素也多，会吸引更多蚂蚁过来，会留下更多信息素。而距离长的路正相反，因此越来越多的蚂蚁聚集到最短路径上来。这是一种寻优方法。可以找最短路径，也可以找最大值、最小值。

刘莫芝说：“那这些羊有编号吗？”

展顾约说：“可能长得不一样？牧羊人比较熟悉。”

董趋说：“能认出来人我还相信。比如保安认得进出办公楼的人。但是认识羊脸太困难了吧。”