李鸿章回到南昌哥哥家后，由于动荡不安的局势，他发现自己竟然走投无路了。他曾给自己的同年沈葆桢写信询问福建的情况，他想去福建补缺。但是沈葆桢却劝他不要去，并说福建政事“糜烂”。矛盾归矛盾，曾国藩和李鸿章并没有中断他们之间的友情，两人一直以书信的方式保持着联系，而这其中胡林翼做了很多调解工作。并且随着太平军的步步紧逼，祁门果然遇到了李鸿章曾经担忧的那种大麻烦。而在这个时候，曾国藩又情不自禁地想起李鸿章的种种好处来。太平军占领徽州之后，李秀成又带兵直逼祁门，曾国藩如瓮中之鳖，任人宰割。然而幸亏李秀成最终没有进攻祁门，曾国藩才得以活命。于是他迅速带领自己的湘军撤离了祁门。而李鸿章的另一同门郭嵩焘听说李鸿章离开曾府之后，也给李鸿章写信，要求他重新回到曾国藩府上，因为在当今之时，仅靠李鸿章一个人的力量是很难成功的。
李鸿章本来就很后悔自己“弃师而去”，现在看来，重回曾府将是他唯一的选择。正在这个时候，曾国藩也给李鸿章写信，表达了他迫切希望李鸿章回来的愿望。曾国藩急着要李鸿章回来，是因为他想要为自己罗致建功立业的帮手。李鸿章环顾左右，也确实只有曾国藩才能“赖以立功名”，于是，他在1861年7月重新回到曾国藩的大营，二人又开始了密切的合作。