李鸿章回到南昌哥哥家后,由于动荡不安的局势,他发现自己竟然走投无路了。他曾给自己的同年沈葆桢写信询问福建的情况,他想去福建补缺。但是沈葆桢却劝他不要去,并说福建政事“糜烂”。矛盾归矛盾,曾国藩和李鸿章并没有中断他们之间的友情,两人一直以书信的方式保持着联系,而这其中胡林翼做了很多调解工作。并且随着太平军的步步紧逼,祁门果然遇到了李鸿章曾经担忧的那种大麻烦。而在这个时候,曾国藩又情不自禁地想起李鸿章的种种好处来。太平军占领徽州之后,李秀成又带兵直逼祁门,曾国藩如瓮中之鳖,任人宰割。然而幸亏李秀成最终没有进攻祁门,曾国藩才得以活命。于是他迅速带领自己的湘军撤离了祁门。而李鸿章的另一同门郭嵩焘听说李鸿章离开曾府之后,也给李鸿章写信,要求他重新回到曾国藩府上,因为在当今之时,仅靠李鸿章一个人的力量是很难成功的。
李鸿章本来就很后悔自己“弃师而去”,现在看来,重回曾府将是他唯一的选择。正在这个时候,曾国藩也给李鸿章写信,表达了他迫切希望李鸿章回来的愿望。曾国藩急着要李鸿章回来,是因为他想要为自己罗致建功立业的帮手。李鸿章环顾左右,也确实只有曾国藩才能“赖以立功名”,于是,他在1861年7月重新回到曾国藩的大营,二人又开始了密切的合作。