他们大抵已对永历政权失望了，所以意在恳求恩准严氏引退以全余生。疏上不报，严起恒被继续留用，而金堡等也因高必正（高一功）的努力被释出狱。儒家古训，君臣合义，三谏不从便谏道已穷，君臣义绝，于是王夫之与董云骧挂冠而去。临行，他到金堡卧舟去看望遍体鳞伤的金堡，作诗互勉。夫之诗云：

　　挑灯说鬼亦无聊，饱食长眠未易消。

　　云压江心天浑噩，虱居豕背地冤饶。

　　祸来只有胶投漆，疾在生憎蝶与鲦。

　　劣得狂明争一笑，虚舟虚谷尽逍遥。

　　王夫之离开梧州行在时是永历四年七月，算来他在行人司只待了半年。现在在人生的旅途上他走到了一个进退维谷的地步，大明遗臣至此有两条道路可以选择，一条是投降，清人的政策还是比较宽容的，降将降臣大多还能混个一官半职，分享一份小小的富贵；另一条就是高蹈肥囗，落发为僧，佯狂为奴，生活清苦一点，灵魂却干净一些。王夫之决定做隐士了