1881年，辞任两江总督兼南洋通商大臣。
当年，两江总督刘坤一被召入京，朝廷第一个想到的顶替人选就是彭玉麟。两江总督在帝国封疆大吏中的地位之显赫，仅次于直隶总督。彭玉麟深知朝廷对自己的看重，但他依然心静如水，上奏推辞。理由写了很多，包括说自己是一介武夫、不善理财、不善洋务等等。辞了两次，最后说自己“愿以寒士始，愿以寒士终”。朝廷拗不过这个倔强的官场另类，准了，改由左宗棠充任。左宗棠毫不客气，走马上任。
1883年，辞任兵部尚书。
这一年，彭玉麟已经67岁。朝廷面对这样一位功勋卓著而又无欲无求的宿将，总觉得对他不住，他所任的职务全是虚职，实在是委屈了。就算要退休，火箭提拔一下，好歹留个退休待遇，怎么也不为过。于是朝廷又主动给年迈的彭玉麟授官，提拔他为兵部尚书。但彭玉麟还是不领情，仍像前几次一样上疏力辞，强调自己年事已高，希望能够辞官返乡养老。
就在此时，帝国南疆传来战事消息，彭玉麟突然态度完全转变，说不辞了，兵部尚书给我吧。
原来，中法战争爆发了，老将又要上场了。
3
战事紧急，朝廷本来命李鸿章率军赴广东督战，但李鸿章不愿意去，连上几道奏折拒绝赴任，还跟人抱怨说，朝廷竟然要他“白头戍边”，甚为寒心。清廷无奈，改派他暂驻上海，统筹全局。