东路军的溃败让战场形势一下子急转直下，中路、西路宋军顿时失去了后方支撑，辽军也开始全面反扑。负责山后九州的辽国名将耶律斜轸率军攻打安定（今河北辛集市），击败宋将贺令图，杀死宋军万余人，再克蔚州、寰州。
西路军和中路军以前取得所有辉煌战果，在此刻一下子都变得毫无意义，赵光义紧急下令西路、中路宋军全部撤回宋境。已然深入敌境，后面是四面八方围拢过来的辽军，他们还能跑得掉吗？
中路军田重进果断撤军，全军迅速返回。西路军这边，正在潘美、杨业等人有条不紊地安排人马准备撤退之时，皇帝的使者又到了，带来了赵光义的遥控旨意，下令他们撤退的时候带上云、寰、应、朔四州百姓。
岐沟关惨败的教训历历在目，赵光义大概是不懂得吸取教训的，还非想着再占点便宜。撤退这档子事情本质上就是逃跑，就应该是像小偷一样悄默默地溜墙角生怕被人发现，都是算准了路线、布好了疑兵，再抽冷子紧急撒丫子跑路。赵光义这倒好，明明是撤退，还非要不慌不忙的大张旗鼓慢慢来，也正是他这样愚蠢的“微操”，将导致大宋一员将星的陨落。
潘美等人明知事不可为，但是也不敢违抗皇命，只好集结百姓准备全部南撤。为了给大部队争取宝贵的撤退时间，杨业建议道：“我军撤退，辽军必然尾随而至。可派一支偏师诱敌深入到云州、朔州之间，再命令两州驻军两面夹击，必可阻击住辽军。”
哪知道监军王侁立即跳了出来：“为将者当勇字当头、一马当先，我们手上精兵数万，还用得着这么怯战嘛，应该是率军一举击败耶律斜轸，再从容不迫的撤军才是正理。”说到监军这个职位以前也有，但在赵光义执政时期，权力已经逐步超过了主帅，拥有随时向皇帝汇报全军每个人行为和思想动向的权力；本来这也没什么，但是赵光义为了防范武将，他任命的监军大都是文官、太监这样的门外汉。
这个王侁就是从蔚州刺史任上转来的地方官，平时就喜欢不懂装懂，经常在军事指挥上指手画脚。
他斜睨着双眼死死盯着杨业：“你号称杨无敌，我想你这么畏缩倒不是因为怯战，而是因为你是北汉降将，归降我大宋以后心有异志。”
这席话对于杨业来说，杀伤力是巨大的。很多事情对于他来说没办法选择，他生于北汉，自幼追随北汉世祖刘崇，为了北汉，他保留忠诚到了最后一刻，直到北汉皇帝命令他投降宋朝。