顾鼎臣早就看破尘世，感到留在内阁中已经无所作为，不如及早请求回乡养老。顾鼎臣再三请求辞去内阁首辅职位，挂冠离京，回乡养老。

嘉靖皇帝知道顾鼎臣是个忠贞不渝、廉洁自律的官员，办事风格与夏言截然不同，又是三朝元老，感到有点不太好控制，待到他做满一个月后，批准顾鼎臣暂且回乡养老一段时间，并恢复了夏言首辅的职位。

嘉靖皇帝心中明白，夏言是一位迷恋权势的弄臣，而顾鼎臣是一位不可多得的忠臣，可以托付重任的元老，所以坚持挽留顾鼎臣，保留他在内阁中的职位，只批准他暂时回乡养病，朝廷需要的时候，随时听从召唤回来任职。

文昌君和顾撷冈因为有官职在身，仍得留在京城当差。临别之夜，他们设宴饯行，三十四载光阴似箭，父子情深，兄弟俩击剑高歌起送别歌：

浮云狎狂曀，荏苒泛层阴。

庭花黯秀姿，浊酒罢孤斟。

上林光景迟，啁哳乱鸣禽。

天机相触发，黄口皆好音。

顾撷冈和文昌君回忆起与义父相认相识已经三十四年了，如今因为奸臣当道，不得不退隐乡里，感叹道：“义父高风亮节，不与奸佞小人一般见识，不愧为正人君子。真如义父在玉山小阁孤坐二首诗中所说的：无限高怀逐明月，夜深吹笛洞龙惊。”

兄弟俩人取出箫笛，吹奏起为义父的玉山小阁孤坐谱写的箫笛奏鸣曲，抒发对义父崇高品质的赞美之情：

乾坤落落许浮名，高阁凭虚思杳冥。

分付江豚莫吹浪，风波眼底几曾平。

金山绝顶此孤亭，昔日飞游摄太清。

无限高怀逐明月，夜深吹笛洞龙惊。