然而，杨素在拨弄权术方面很有一套，但在治理国家方面远远不及高颎。为了巩固自己的政治利益，他开始想尽办法讨好隋文帝。
在奉命建造宫殿时，他压迫劳役，累死之人数以万计。杨素将这些死者全部烧成灰烬。宫殿建成后，隋文帝发现杨素竟然擅自做主，装修得无比豪华。
杨素担心获罪，便找到了独孤皇后帮忙脱罪。皇后对他修建的宫殿非常满意，于是在隋文帝面前帮他美言。因此，杨素不但没有受到责罚，反而深得皇帝的信任，从此更加恃才傲物。
601年，杨素接替高颎任职左仆射，同时被隋文帝拜为行军元帅，攻打突厥。突厥在杨素的猛攻之下接连败逃，杨素率领骑兵紧追不舍，契丹从此再也没有突厥的踪迹。
杨素之子杨玄感也因战功显赫，受到诸国敬重。
此后，杨素越发显贵荣耀，他的家童、乐器、小妾数以千计，府邸的规模体制甚至模仿皇宫，他的亲戚多数位列公卿，即使没有功劳者也都身居要职。这样的显贵自南北朝以后无人可比。
当时的朝中大臣无人敢违背冒犯杨素，即使是忠诚卫国之人也要被他暗中陷害；如果是向他归附的，那么即使无才也会被杨素加以提拔。
隋文帝对杨素的倚仗逐渐疏远。604年，隋文帝杨坚病重，太子杨广认为杨坚已经时日无多，于是给守在杨坚身边的杨素写信，准备安排杨坚驾崩之后的事情。
结果此信被误传到杨坚手中，与此同时，杨坚的宠妃又状告太子对其无礼。杨坚于是下令召见之前被废的太子杨勇。
太子杨广便与杨素谋划了应对之策。杨坚随即在当晚驾崩。杨广登基之后，他的同母弟杨谅知道事情有异，于是率领十几万人起兵反叛。
杨素奉命平叛，杨谅经过几次战斗全部失败，无计可施之下选择投降，其党羽全被铲除。
605年，杨素被升为尚书令，不久又拜为太子太师，其他职务不变。
隋炀帝杨广前后赏赐给他的东西不计其数。虽然隋炀帝在表面上对他特殊礼遇，但实际上却是恩情淡薄，甚至巴不得他早日归天。
杨素在之后卧病在床，杨广虽然经常派人送去名贵的药品，但总在背后询问医生杨素的病情。杨素知道杨广的真实用意，于是停止一切治疗，选择病重而死。
当然，他的这种做法也许是想让家族不受牵连，但他没想到自己死后，家族却因儿子杨玄感的连累，全被诛杀。
【古代战争中很少记载的“飞檐走壁”，出自隋炀帝的贴身保镖#历史#小知识#历史人物】