第二日，金军合力增兵攻宿州，李显忠请邵宏渊并力夹击，邵宏渊却按兵不动，李显忠无法，只有独自率军力战，金兵越增越多，李显忠命部下用克敌弓射退。
如果说邵宏渊只是作壁上观，倒也罢了！尤为可恶的是，邵宏渊还妖言惑众，回头对部下道：“盛夏酷暑，摇扇纳凉犹不足，何况在烈日下苦战？”邵宏渊此言一出，人心浮动，各无斗志！当晚，中军统制周宏鸣鼓大喊，说敌军杀来，与邵宏渊之子邵世隆、刘侁率部逃奔，不久统制左士渊、统领李彦也逃了。李显忠不得已，移军入城，统制张训通、张师颜、荔泽、张渊等，以李显忠和邵宏渊不和、胜利无望为借口，也率军跑了。
金军乘机攻城，李显忠竭力抗击，杀敌两千多，积尸如墙，城东北角敌军二十余人上城百余步，李显忠亲自持斧头砍杀，敌军始退。李显忠叹息道：“如果诸军不逃，相互为犄角，自城外掩杀，则敌军可尽，敌帅可擒，河南之地指日可复！”
邵宏渊却道：“金军二十万增援，倘若我们不退兵，恐怕遭遇不测！”李显忠见邵宏渊毫无战心，自己孤立无援，万分无奈地道：“上天不想让我等收复中原啊！”
当晚，李显忠、邵宏渊率军撤退宿州，金军派员追击，五月二十四日，两军撤至离宿州二十里的符离，宋军大溃。死伤四千多人，好在金军没有继续跟随南下，否则更加不堪设想。李显忠撤至张浚的总指挥部盱眙，缴纳印玺待罪。
由于当时宿州与符离县是州县同城，北伐最后时刻宋军又溃师于古符离，故史上把这次北伐称之为宋金“符离之战”。“符离之战”，先胜后败，军资器械丧失殆尽。究主要原因自是邵宏渊妒贤嫉能所造成，但总指挥张浚没责任吗？作为前敌总指挥，张浚却将总指挥部设在距宿州四百里的盱眙，怎么指挥？而且，临阵之前，自己缩在大后方，前线不设前敌总指挥，是造成邵宏渊不配合的主要因素；盛夏作战，本来就艰苦不错，可大战发动之后，张浚又以怜惜军官疲惫为由，曾中途下令李显忠、邵宏渊撤退，可下撤退命令的时机有没算准，命令到达后，金军已在拍围攻宿州，激战之中，李显忠当然不敢撤军，但邵宏渊敢说“摇扇纳凉犹不堪”，却不是没原因的；当然李显忠赏赐将士不公，也是造成失败的部分原因。
假如，“符离之战”是由岳飞或者韩世忠、刘錡来指挥，断不会出现如此尴尬局面。
佐料：南宋周密的《齐东野语》记载李显忠收复宿州后之所以不赏将士，则是另一个版本：李显忠收复宿州时，宿州仓库中，尚有黄金三千余两，白银四万余两，绢一万二千匹，钱五万缗，米、豆粮食共六万余石，布袋十七万条，衣绦、枣、羊各一库，酒三库。
李显忠先放纵亲信部属，恣意搬取，所剩下的才用来犒赏将士。三个士兵共奖赏一贯钱。也就是一人三百三十钱。由于封赏不厚，士兵们气愤地道：“攻下宿州奖赏三百文钱，攻下南京（指开封），必须要奖赏四百文钱。”出去作战时，均把赏钱丢弃到宿州城外的护城河里。