线性回归和非线性回归都通过使平方残差和 (SSE) 最小化来估计参数。但它们使用十分不同的方法。对于线性回归,Minitab 通过数学方法解方程导出最小 SSE。一旦选择模型,不能再进一步进行任何选择。如果将相同模型拟合到相同数据,将得到相同结果。
但对于非线性回归,没有最小化 SSE 的直接解法。因此,迭代算法会通过系统地调整参数估计值以使 SSE 减小的方法,来估计参数值。确定模型后,您需要选择算法并为每个参数提供初始值。算法使用这些初始值来计算初始 SSE。
在每次迭代时,算法会以预测应当会使 SSE 相比上一次迭代减小的一种方式,调整参数估计值。不同的算法使用不同的方法决定每次迭代要做的调整。迭代将继续,直到算法收敛于最小 SSE、出现问题阻止后续迭代的进行或 Minitab 达到最大迭代次数。如果算法不能收敛,您可以尝试不同的初始值并/或尝试其他算法。
对于某些预期函数和数据集,初始值可以显著影响结果。某些起始值可以导致收敛失败或者收敛到一个局部而不是全局的最小 SSE。在一些情况下,您可能需要花费很大努力才能构建一个好的起始值。
有关算法的更多详细信息以及起始值的实用建议,请参见 [4]。