十月，金军再攻德顺军，被吴璘击退，十一月，金军围攻水洛城（甘肃庄浪），欲堵截宋军和川口的归路，朝廷闻讯，认为德顺军孤城在外，离川口远，如金军阻截退路，全军危机，特别是参知政事史浩，劝赵眘下诏放弃德顺军，并迁徙军民到秦州（甘肃天水）。御史袁季、任古等附议史浩。川陕宣抚使虞允文听闻后，上疏极力反对撤军。但史浩是赵眘的老师，赵眘决定听从史浩意见。十二月，朝廷下诏，让吴璘退师。
公元1163年正月，吴璘奉诏班师，此时虞允文入京，当面向赵眘陈述不能放弃德顺的理由，张浚已进位枢密使，都督江淮东西路军马，意图北伐，因此需要吴璘在德顺军牵制金军兵力，赵眘再次下诏，改变命令，撤不撤军，让吴璘视情况而便宜从事。可惜的是，吴璘已经撤军了，更可惜的是，吴璘在撤军途中，遭到了金军的伏击，将士死伤几万人，这是吴璘所遭遇的最大败仗，让人扼腕！
佐料：吴璘的德顺之败，《宋史.虞允文传》有比较详细介绍。
参知政事史浩提议，全部放弃陕西，从德顺撤军，袁季、任古等附议，虞允文上疏争辩：“恢复（指北伐）莫先于陕西，而德顺军的存亡，又关系陕西五路新收复的州县，一旦放弃，则金军进四川的路就有很多选择！”前后上疏十五次。赵眘欲召虞允文垂询陕西边事，史浩等人又怕虞允文回临安，改任虞允文为知夔州。但赵眘毕竟不放心，仍命虞允文进京当面奏事。
虞允文上奏道：“有八条理由说明我们可以继续对金作战。”赵眘问到弃地问题时，虞允文用朝见时所执笏板在地上画，力陈丧失土地的利害关系。
赵眘听了后悔道：“史浩误我！”于是又下诏令吴璘便宜行事，让吴璘自己决定是进是止，然而为时已晚，吴璘接到前一个诏书，不敢违抗，已开始被迫撤军，金兵追击，失去城池掩护的宋军大溃败，秦凤、熙河、永兴三路新收复的十三州重新被金军占领。
然而此战吴璘实不应承担多少责任。就在吴璘奉诏退兵的时候，左右劝谏道“将在外，君命有所不受。此举所系甚重，奈何退师？”
吴璘回答道：“我难道不知？只是主上刚当政，我握重兵在外，有诏命，我吴璘怎敢违抗！”吴璘的话，我们听到是否有些心酸？是否看到了二十年前，赵构冤杀岳飞的影子？