再加上正德皇帝整日贪恋酒色，不理朝政，以及权奸当道，国事日非，何瑭不愿为昏君效力，也不愿同贪官同流合污，于是便向皇上一连写了两次《患病不能供职，乞恩放归田里事》的辞官奏疏，辞官返乡。
武宗驾崩，世宗登基，改号嘉靖，在内阁首辅杨廷和的扶助下，改革武宗时的一些弊政，起用武宗时因上疏言事而被罢撤、拘禁的官员。退归林下达四年之久的何瑭，被世宗重新起用，任命为山西提学副使，因家父病逝，在家丁忧，未曾赴任。
何瑭改任工部右侍郎，至京改户部右侍郎，掌户籍、田亩、货币、税赋、官员俸禄。与梁俭罨同心辅政，而建议草奏多出自何瑭。后以直道与当道不合，便称疾引退，被御史毛凤诏、华盖殿大学士李东阳，举荐遂改任右都御史，掌南京都察院事。
何瑭告老还乡后，成立“景贤书院“，设馆讲学，着书立说，常常是青灯黄卷，夜深忘倦，把全身精力放在研究历学、算学、律学和着书教徒上，着有《阴阳管见》、《乐律管见》、《医学管见》、《儒学管见》、《兵论》、《均瑶、均粮》等书籍，培养出不少有成就的人才。