后来，他密奏咸宁侯仇鸾罪状，使嘉靖帝杀掉仇鸾，得到皇上的信任，加太子太师头衔，地位进一步提高，仅次于严嵩。嘉靖帝居住的永寿宫发生火灾，暂时住到了玉熙殿，但是这里地方太小，于是嘉靖想营建新宫殿，他问严嵩，严嵩请求他回到大内住，嘉靖帝很不乐意。然后问徐阶，徐阶猜透了嘉靖的心思，建议用被烧毁宫殿的剩余材料，营建新的宫殿，他的建议得到嘉靖帝的赞同。由他主持建造成万寿宫，嘉靖搬了进去，徐阶因此加封少师，兼支尚书俸，而严嵩渐渐被皇帝冷落。

邹应龙告发严嵩父子，皇帝下令逮捕严世蕃，勒令严嵩退休，徐阶则取代严嵩为首辅，严嵩被勒令退休后，徐阶亲自到严嵩家去安慰。他的行为使严嵩十分感动，甚至叩头致谢，严世蕃也乞求徐阶替他们在皇上面前说情，徐阶满口答应。徐阶回到家里后，他的儿子徐番迷惑不解地问：“你受了严家父子那么多年的气，现在总算到了出气的时候了，你怎么这样对待他们？”徐佯装生气骂徐番说：“没有严家就没有我的今天，现在严家有难，我恩将仇报，会被人耻笑的。”严嵩派人探听到这一情况，信以为真，严世蕃也说：“徐老对我们没有坏心。”其实，徐阶这样做是因为他看出皇上对严嵩还存有眷恋，而皇上又是个反复无常的人，严嵩的爪牙还在四处活动，时机还不成熟。后来，嘉靖帝果然后悔，想重新召回严嵩，在徐阶的力劝下，才打消了这个念头。

徐阶继任首辅之后，大力革除严嵩弊政，十分注重选拔，他先后举荐高拱、张居正等人进入内阁，他十分爱惜人才，大力营救因上疏指责皇帝过失而被定死罪的户部主事海瑞。他还十分勤政，凡是皇上交给的任务，即使一夜不睡，也要准时完成，因此他更得嘉靖的赏识。同时，他还经常劝说皇帝停止动辄捕杀边镇大臣的做法，缇骑因此省减，诏狱渐少，后来因为指挥明军抵挡蒙古骑兵南下有功，升为建极殿大学士。

嘉靖帝朱厚熜死后，徐阶起草遗诏，将大礼议中因反对嘉靖帝而获罪的大臣全部平反，存者招用，死者优恤，诏书颁布的那天，许多大臣感激涕零。徐阶执政期间，还减轻百姓负担，清理盐税。景王死后，他上奏将景王霸占的陂田数万顷给了百姓，使老百姓欢欣鼓舞、奔走相告，他还废除朝中的许多浪费项目，尤其是皇帝信奉道教的开支，他的做法，得到朝中上下的拥护，人们称他为“名相”。

由于穆宗行为荒诞不经，徐阶经常劝阻他，穆宗十分厌烦，徐阶很失望，于是上疏请求退休。正好给事中张齐因为私人恩怨弹劾他，于是穆宗乘机允许他退休回家，朝中百官纷纷上奏章请求留下徐阶，但是穆宗说什么也不同意。

徐阶退休回家后，自己的子弟横行乡里，大量购置田产，徐家占地多达二十四万亩，加上他的子弟、家奴为非作歹，致使告他的状纸堆积如山。应天巡抚海瑞、苏松兵宪蔡国熙秉公办案，惩治了他的家人，徐阶用三万两黄金贿赂给事戴凤翔，又通过张居正命令给事陈三谟，罢免了海瑞和蔡国熙。所以当时人称他：“家居之罢相，能逐朝廷之风宪”，有人因此把他称为“权奸”。徐阶80岁高龄时，皇帝专程派人前去慰问，并赐玺书、金币，第二年，徐阶病死，赠太师，谥文贞。