这时，侯霸已经当上了刘秀的丞相。原来他在王莽失势时，便及时转舵，向起义军靠拢，以后凭着有一定能力，一步步爬了上来。他深知刘秀十分器重严子陵，所以一听到严子陵来了，不敢怠慢，马上派人携书问候。严子陵却对侯霸那种追名逐利、一味投机的行为十分鄙视，看了侯霸的信后，也不愿回信，只让来人带了两句话去，说是“怀仁辅义天下悦，阿谀顺旨要领绝”。侯霸认为这是挖他的疮疤，心中十分不满，从此便想方设法要把严子陵撵出洛阳去。严子陵则因为看到侯霸这样的人居然当了丞相，也就不愿再在洛阳呆下去，每天只在宾馆里睡大觉，等待回家。甚至当光武帝刘秀亲自来看望他，他也闭着眼睛，不理不睬。刘秀知道这位老友性情高洁、孤介，便抚着他说：“子陵呀子陵，你到底为啥不肯出来辅助我治理国家呢？”严子陵突然睁开眼来，盯着刘秀说：“唐、尧得天下，是因为德行远闻，才使隐者洗耳。你何必苦苦逼我呢！”刘秀见一时说服不了他，只得叹息着登车回宫去了。
过几天，刘秀又将严子陵请到宫中，与他谈论旧事，谈得十分投机。晚上，还与严子陵同榻而卧。严子陵在睡梦中把脚搁到他的肚皮上，他也毫不介意。不料此事被侯霸知道了，他便在第二天叫太史官上奏，说是昨夜客星犯帝座甚急，想以此引起光武帝对严子陵的猜忌。刘秀听了却哈哈大笑，说：“这是我和子陵同睡啊，没事！”然而严子陵却料定其中必有缘故，他从这件事中，看到了小人的倾轧，官场的险恶，便执意不肯再在洛阳留下去了。当刘秀还想要他做谏议大夫时，他终于不辞而行，悄然离去，隐居于富春山下。那里有个“严陵濑”，据说就是他当年垂钓之处。
建武十七年（公元41年），光武帝刘秀曾再一次征召严子陵，严子陵也再一次地拒绝了，并索性回到故里陈山隐居起来，没过几年，便老死在这里，享年80。
严子陵的人品确是难能可贵的，然而当时知道的人并人多。直到北宋名臣范仲淹任睦州知州时，在严陵濑旁建了钓台和子陵祠，并写了一篇《严先生祠堂记》，赞扬他“云山苍苍，江水泱泱，先生之风，山高水长”，严子陵才以“高风亮节”闻于天下。南宋嘉定年间，陈山严子陵墓旁也建起了高风阁，后来还办了个高节书院，今均早已湮没，只剩下一块墓碑。
Tag:历史知识，历史，学习方法 - 历史知识