自从南越事起，朝廷亟须筹饷，不得不催收租赋。倪宽正为左内史，待民宽厚，不加苛迫，遂致负租甚多，势且获谴。百姓闻宽将免职，竞纳租税，大家牛车，小家担负，全数缴齐，反得课最。宽仍然留任，且因此更结主知。还有输财助边的卜式，已由县令超任齐相，自请父子从军，往死南越，何其热心乃尔。武帝虽未曾准遣，却也下诏褒美，封式关内侯，赐金四十斤，田十顷，布告天下，风示百官。哪知除卜式外，竟无一人继起请效，遂致武帝衔恨在心。巧值秋祭在迩，又行尝耐礼，秋祭曰尝，美酒曰酎。列侯例应贡金助祭，武帝借此泄恨，特嘱少府收验贡金，遇有成色不足，即以不敬论罪，夺去侯爵，百有六人。丞相赵周，不先纠举，连坐下狱，愤急自尽。连毙四相，毋乃太酷！另升御史大夫石庆为丞相，召齐相卜式为御史大夫。
说也奇怪，东越王余善，也甘就灭亡，造起反来。余善尝拟从征南越，上书自效，当即发卒八千人，愿听楼船将军节制。楼船将军杨仆，到了番禺，并未见余善兵到，致书诘问，只说是兵至揭阳，为海中风波所阻。及番禺已破，询诸降人，才知余善且通使南越，阴持两端。仆乃请命朝廷，即欲移兵东讨。武帝因士卒过劳，决计罢兵，但令仆部下校尉，留屯豫章，防备余善。余善恐不免讨伐，索性先行称兵，拒绝汉道，号将军驺力为吞汉将军，自称武帝。汉帝死后称武，余善生前称武，也是奇闻。武帝乃再遣杨仆出兵，与横海将军韩说等分道入东越境，余善尚负嵎称雄，据险不下。相持数月，由故越建成侯敖，及繇王居股，合谋杀死余善，率众迎降，东越复平。武帝以闽地险阻，屡次反复，不如徙民内处，免得生心。乃诏令杨仆以下诸将，把东越民徙居江淮。杨仆等依诏办理，闽峤乃虚无人迹了。两越俱亡。