图南达做了可汗之后，为了让母亲高兴，对贺鲁百般忍让，令贺鲁迅速滋生出了野心。原本光有野心，得不到部落里长老们的支持也是白搭。但是，阿史那沙钵罗的到来，却给贺鲁提供了一个良机。
作为车鼻可汗的小儿子，沙钵罗能说会道，且身份高贵。让部落里原本就倾向突厥的长老们，愈发认为大唐已经无暇再顾及塞外。图南达在夷男的父亲卡吉和几个领兵大将的支持下，选择继续观望，原本就已经让长老们心生不满。偏偏这个时候，姜简又派人送来了会盟请贴。
担心图南达接受请柬，对自己不利，阿史那沙钵罗决定抢先下手。而其本人，却没资格做乃蛮部的可汗，所以与贺鲁母子一拍即合。
于是乎，趁着图南达带领亲兵外出打猎的机会，贺鲁在自己母亲和大多数长老支持下，发动了叛乱。夷男的父亲，大萨满卡吉和另一位名叫也吞的长老试图阻止，被阿史那沙钵罗当场斩杀。几个领兵大将猝不及防，又联系不上图南达，也被贺鲁带着人马挨个拿下。
夺取了可汗之位后，贺鲁原本还想将图南达的可敦和儿女们，斩草除根。但是，贺鲁的母亲却舍不得孙子。阿史那沙钵罗也担心杀了妻子的姐姐之后，引发室韦部的怒火。所以，建议贺鲁，将图南达的妻子斯琴和另外五个可敦，连同他的两个儿子，四个女儿，全都赶出了部落。