朝廷内外风言四起说明世宗又要南巡，霍韬借此上书明显地赞颂郭勋，说：“上次陛下南巡时，跟随的大臣大多都收受贿赂、不守法度。文官只有袁宗儒，武官只有郭勋没有接受馈赠。现在谣言又兴起来，应该采取一定办法加以制止。”世宗在颁布诏书稳定人心以后，才责问霍韬说：“我前次南巡你又没跟着，别人受贿的事你从哪儿听说的？如实给我奏上来。”霍韬回答时请世宗向郭勋询问此事，世宗批评他支吾其辞，务必要他切实指出来。

霍韬走投无路了，只好说：“随从大臣们无不接收馈赠，这事只要问夏言就可以了。至于各人收取贿赂的实际情况，郭勋都整个知道，应该不是骗人。如果一定要我说，请让我担任都察院的职务，顺藤摸瓜进行追查，我一定详细地列出来奏上。”他的奏章被下发给有关部门。霍韬怕自己的奏议不合世宗的意思，很快就赶到了北京，上书述说进贡鲜货的船上宦官贪婪、横暴的事情，世宗也不加查问。霍韬死在任上，终年五十四岁，朝廷追赠他为太子太保，谥文敏。