少汉人避乱南迁，使汉人在中原的势力有所减少，这正好给匈奴人以可乘之机。左国城内（今山西吕梁北），众匈奴贵族密谋造反，认为兴邦复业的大好时机已经成熟，准备起兵，坐收渔翁之利。

起兵之事既定，推选一个有胆略的领导者是必不可少的，刘渊脱颖而出，成为众贵族眼中的不二人选。他们联合起来，推选刘宣到邺城去联系刘渊，希望让他回来领导匈奴贵族起事。

刘宣到了邺城，是这样对刘渊说的：

“过去我们先人和汉人同为兄弟，福患同当。自汉亡以来，魏晋代之，我单于虽有虚号，却没有尺寸之地，各诸侯王，实际上降为一般百姓。现在司马氏骨肉相残，四海沸腾，兴邦复业，此正是大好时机。你气质不凡，才能卓越，老天这是给我们恢复国家的大好时机，请你带领我们创业，才不虚此生。”

刘渊岂不知道，造反可不是儿戏，一旦走出这一步，再也没法回头，对刘宣说：“还是请贤者为之吧！这样的大事，我岂能担当。”

刘宣再劝：“只有像您这样的左贤王，才能担当起恢复匈奴，立邦建业的大事。”

刘渊再次推辞：“虽然司马氏骨肉相残，搞的天下大乱，但是瘦死的骆驼比马大，我们小小的匈奴，怎么能推翻这座大象。”

刘宣再问：“怎样才能掀翻这座大象？”

刘渊说道：“强大的晋朝为什么四分王裂，就是因为兄弟不团结，才搞得大晋如此贫弱。我们要想推翻这座大象，只有把我们小小的匈奴团结一致，变成一个人一样，才能成就大业。可是这样的大事，实在难啊！”

尽管这样，刘渊还是想到尽快回左城，脱离开司马颖的束缚为好，就给司马颖说，大爷死了，我要回去奔丧。司马颖挺精的，也怕刘渊回去再也不回来了，哪里肯放行？刘渊没办法，只好叫刘宣先回去，召集五部之众，会同宜阳诸多胡人，准备造反。