李密失败后，魏徵跟随他一起投降了唐朝。到了长安后，魏徵很久都得不到重用，于是请求让自己去安抚山东地区。当时李世还没有投降，魏徵给他写信，将其劝降。窦建德攻下黎阳后，魏徵当了俘虏，窦建德失败后他再次回到唐朝。李建成听说魏徵很有才干，于是将他任命为太子洗马，很器重他。魏徵见李世民的势力太大，劝李建成要早做防备。玄武门之变后，唐太宗找来魏徵，问他：“你为什么要挑拨我们兄弟二人的关系？”魏徵说：“太子如果当初听了我的话，就不会落到现在这个田地了。”唐太宗其实并没有责怪魏徵的意思，他知道魏徵是个有才能的人，登基后将他任命为谏议大夫。
魏徵字帖
唐太宗励精图治，想建立一番丰功伟业。他多次把魏徵请到内室，向他询问得失。魏徵很有才能，而且性情耿介，从来不会屈服。唐太宗和他谈话，都能欣然采纳他的意见，魏徵很高兴能够遇到明主，所以更加努力地进谏。唐太宗曾经说过：“魏徵前后给我提了两百多条意见，如果不是一心为国的话，那是不可能办到的。”不久，有人弹劾魏徵徇私，唐太宗派温彦博去调查，查出是诬陷。温彦博上奏说：“魏徵身为大臣，应该检点自己的言行，但他却不能避开嫌疑，所以才会有谣言出现。虽然他并没有徇私，但也有应该责备他的地方。”唐太宗命温彦博去责备魏徵，并告诫他以后要多注意下影响。魏徵不服，上奏说：“我觉得君臣之间应该相互和谐默契，像一个整体一样。哪能不顾公道，只注重自己行为的影响的？如果大家都这样做的话，国家迟早完蛋。”唐太宗很吃惊，对他说：“我知道错了。”魏徵继续说道：“我希望陛下让我做良臣，不要让我做忠臣。”唐太宗不明白，问道：“这也有区别？”魏徵回答道：“后稷、契和皋陶他们属于良臣，而关龙逄和比干是忠臣。良臣能让自己和君主都获得美名，而忠臣只能让自己遇到杀身之祸，还给君主留下骂名，两者区别很大的。”唐太宗接受了他的意见，并赏给他500匹绢。