少年倪嗣冲曾考中秀才，但却始终没有更进一步考中举人，于是花钱捐了个分部郎中，后迁升为山东陵县（今属山东省德州市）知县，此后又加入淮军，历任记室、佐杂、监司。1895年倪嗣冲到天津小站加入新军，得以与段祺瑞结识。1900年春，倪嗣冲继母徐氏亡故，他在奔丧途中参与镇压义和团，并上书要求严查义和团，当时正出任山东巡抚的袁世凯看到他的上书以后，对其“所言立论甚感为奇”，于是邀请倪嗣冲督办德州九县义和团善后之事。倪嗣冲随即对义和团展开血腥镇压，因此得到袁世凯的赏识，认为他“深器伟才，谓堪大用”，随即保荐他为恩县（今属山东省德州市）知县。袁世凯接任直隶总督后，倪嗣冲也随袁世凯到达直隶，统领京师执法营处，后调到天津参与练兵，先后总理北洋营务行营、发审和执法三处，保升为知府。1907年，徐世昌任东三省总督，袁世凯又将倪嗣冲推荐给徐世昌，徐世昌保举倪嗣冲为过班道员、东三省民政司长，后倪嗣冲又担任奉天提法使、黑龙江布政使兼巡防军翼长，主管军政、垦荒和盐务。袁世凯以足疾隐居后，倪嗣冲因为在捕剿土匪时大肆搜刮财物被弹劾，此后他用重金贿赂清室贵胄，才算得以从轻发落，只是“即行革职，并勒追赃款”“永不叙用”。