赵智先前所做的那些，同样也是一种试探。

杨氏一族，在杨道嗣的手中，发展到了顶峰，其势力之强，大晋几十朝皇帝当中，也属少见。

广元七年，李忠在安北大败漠北胡族，李忠亲率两万安北精锐，押送十余万俘虏，返回丰京。

所有人都在为这场大胜感到兴奋激动之时，杨道嗣却是立即看穿了赵智的意图，亲笔书信，连夜派人送往蜀州的杨道安，并紧急联系当时正值禁军大将的杨道临。

也就在李忠进入威州，离丰京不足五百里之时，杨道嗣第一个有所动作，率领众臣，以牧边之军，不可轻易入京为由，力劝赵智，驳回李忠押送俘虏到丰京的建议，下诏让其立即领军回返安北。

杨道安也是在蜀州有所动作，上书赵智，参劾李忠，言其名为押送俘虏，实则领兵两万回返丰京，图谋不轨，同一时间，杨道安领兵三万，逼近兴元府，名为勤王护驾，实际动机不明。

握有数万禁军兵权的杨道临，领军后退，与丰京保持百里之距，动机同样不明。

一直到了这个时候，很多人才是反应过来，杨氏一族的这番举动，联想到了李忠那边。

随着刘桀出面附和杨道嗣，赵智最终下诏，让李忠把俘虏留在威州，本人令两万安北士兵，即刻返回安北，不得继续前行。

也正是从那个时候开始，杨道嗣明白了水满则溢的道理，开始自我打压，控制杨氏一族势力的发展，努力保持一个平衡，一个既能自保，又不会让赵智过度忌惮的局面。

事后，解除杨道临的禁军兵权，调往他地，看似是赵智的秋后算账，实际上，没有杨道嗣的默许与促成，杨道临的兵权，赵智很难夺走。