共轭在数学、物理、化学、地理等学科中都有出现。 本意：两头牛背上的架子称为轭，轭使两头牛同步行走。共轭即为按一定的规律相配的一对。通俗点说就是孪生。

定义

两向量间的一种特殊关系。设A为n×n对称正定矩阵，向量p，p∈R。若满足条件(p)Ap=0，则称p和p关于A是共轭方向，或称p和p关于A共轭。一般地，对于非零向量组p，p，…，p∈R，若满足条件：(p)Ap=0(i≠j，i，j=1，2，…，n)，则称该向量组关于A共轭。

共轭方向法

以一组共轭方向作为搜索方向来求解无约束非线性规划问题的一类下降算法。是在研究寻求具有对称正定矩阵Q的n元二次函数/nf(x)=1/2xQ x+bx+c/n

最优解的基础上提出的一类梯度型算法，包含共轭梯度法和变尺度法。根据共轭方向的性质，依次沿着对Q共轭的一组方向作一维搜索，则可保证在至多n步内获得二次函数的极小点。共轭方向法在处理非二次目标函数时也相当有效，具有超线性的收敛速度，在一定程度上克服了最速下降法的锯齿形现象，同时又避免了牛顿法所涉及的海色(Hesse) 矩阵的计算和求逆问题。对于非二次函数，n步搜索并不能获得极小点，需采用重开始策略，即在每进行n次一维搜索之后，若还未获得极小点，则以负梯度方向作为初始方向重新构造共轭方向，继续搜索。