他的短暂的陕甘总督仕途，用后来《清史稿·列传第一百九十七彭玉麟传》中的话来说：

“岳斌后为朝旨强促西征，用违其才，偾事损望。玉麟终身不任官职，巡阅长江，为国家纾东顾之忧。其疏论古人晚节之失，由于不能自藏其短，且惜朝廷不善全其长，洵至言也”。

其大意是说，清廷将善于水战的武将杨岳斌用于治理负责陆上的军政事务，属于用人不当，勉为其难，结果反倒折损了杨岳斌及朝廷的声望。用人若不能扬长避短，就会使其晚节不保。

而彭玉麟能得以善终，最终与曾国藩、左宗棠、胡林翼、李鸿章并称为晚清中兴名臣。

杨岳斌淡出官场，叶落归根，在老家湖南安静地休养了几年，陪伴家人老小，享受着天伦之乐。

湖南山清水秀，气候湿润，比西北荒漠苦寒之地舒适多了，更适合老年生活。

乾州地处湘西群山环抱之中，鸟语花香，清泉茶茗，乡音小唱。

山高皇帝远，远离战争、政治，仿佛与世隔绝，心无旁扰。正是“无丝竹之乱耳，无案牍之劳形。”

这种褪去人生名利浮华的闲适、静好的岁月，正如他在《枫桥夜泊》中描述的：

“日暮微风起，菰蒲叶有声。晚烟横古渡，皓月满荒城。渔火前村暗，疏钟远寺鸣。”

在这期间，昔日同僚们的命运轨迹各有变迁，其中深谋远虑、老成持重的曾国藩、左宗棠、李鸿章已成为清廷的股肱重臣，创下了旷世伟业。

同治十一年（1872年），曾国藩离世。这意味着一个以他为代表的时代的结束。

这让年届五十岁的杨岳斌感慨、唏嘘不已。

太平天国被平复之后，清政府考虑到要维护长江一带的江防，以及安置湘军立功水勇，于是将湘军水师改建为长江水师。

由于大部分将领都是杨岳斌当年的旧部，于是清廷于光绪元年（1875年）命杨岳斌与彭玉麟巡阅长江，整顿水师。

随后，早已无意于仕途的杨岳斌屡次上疏，以年老多病、回乡奉养父母，请求辞去差使。

直到光绪五年（1879年）方得到朝廷批准回乡。

杨岳斌又归隐家乡，呆了几年。

其间，父亲过世，他在家丁忧。同时也接济乡邻，整修文庙、道路等，造福一方。

四年后的光绪九年（1883年），中法战争爆发。

朝廷正是用人之时。杨岳斌曾任福建水师提督，因而被再次起用，会办福建军务。

但他上疏朝廷，以母亲年迈病重为由请辞。清廷遂让他待母亲病势稍愈，再赴福建。

第二年，清廷以“战局已开，军情万紧”，要求杨岳斌“移孝作忠”，改任他为帮办江南军务。后来，法军占据台湾基隆，清廷又以杨岳斌为帮办福建军务。

这时，72岁的左宗棠以钦差大臣身份督办闽海军务，67岁的彭玉麟率部驻虎门。