仅仅三个月，张国彦被提升为右都御史，总督蓟、辽、保定军务，张国彦到任后，整治有方，威德惠怀，特别是平叛辽左海夷那林孛罗，边疆得到安定。按照过去的做法，常常会筑观告庙，但捷报上报后，皇帝当时仅仅给予金币之赉，这其中的奥妙，真的很难说。根据赐予张国彦的诰命碑文内，有“制胜算于师中，树奇勋于塞外”之语，即是对他的肯定，之所以得不到大张旗鼓的表彰，还是有人嫉妒作梗而已。

张国彦考三载满，升列衔兵部尚书，总督如故，受命任职协理京营戎政，奏请皇上设置背包军马，使军事消息畅通。

甘肃发生洮河之变，真相、火落赤部等少数部族围攻旧洮州等地，但兵部主政者仍然假装不知道真相，照旧让这些部族和往常一样，继续从事边关贸易并领取朝廷的奖励。当朝廷讨论此事时议论不止，总督陕西延宁甘肃军务的魏学曾主张兴兵讨伐，张国彦说：对这样的问题不及时做出决策，国体在哪里啊？上疏要求罢款主战，这样又与主持兵部事务的总督魏学曾的主张不合，发生争执。张国彦因此抑郁不安，进而想自己年岁已老，遂以年老为由，恳请告老回乡。万历帝挽留，命改任刑部尚书，仅三天张国彦再次请求退休。归后，万历帝以其以前的功劳，加封其太子少保衔，赐飞鱼官服，一等俸禄。

张国彦回乡后，杜门研究学问，不问政事，官员们过往邯郸，不是执意请见的，张国彦绝不出来见面。邯郸离北京这么近，他也不肯通消息。在家乡张国彦专意奖进后学，又常常捐俸余，帮助乡亲四邻。没事的时候登上丛台眺望远方，或者住在乡间别墅，教教子孙诗书之业，安稳地度过了十年。去世时年七十四岁，万历帝追封其太子太保衔，丧事比别的臣子高出一等。

张国彦去世后，三儿子张我续邀请萧良有撰文、南企仲书丹，为父亲作墓志铭，这二人都是张我续的同年，且萧良有还是该榜榜眼，南企仲则是张国彦的门生。