贺唯一，遭他拒绝，复又将贺唯一请入后宫，置酒宴相劝，要他协助太子篡位，贺唯一仍未答应。于是，皇太子怀恨在心，决定排挤贺唯一，密令监察御史买住、桑哥失理等人诬陷贺唯一私结朋党，逼迫贺唯一以病辞职。贺唯一再次被罢丞相职，改为太保，归家养病。

遇翟阳王阿鲁辉铁木儿叛乱，北部边境动荡不安，危及上都，皇太子欲置贺唯一于死地，乘机奏请元顺帝，要贺唯一去任上都留守。贺唯一到上都后，其子贺均的部将脱欢，出兵擒获了翟阳王，北边转为安定，不久，元顺帝下诏，拜贺唯一为太傅，赐给田地，命他归奉元居住。

这时，顺帝欲以伯撤里出任中书丞相，伯撤里便要求让贺唯一回朝与他共同管理朝政，于是顺帝密令伯撤里挽留贺唯一不要西归。贺唯一行止中途，闻令而止，皇太子为阻止贺唯一回朝，让御史大夫普化劾奏贺唯一滞留途中，不去奉元是违抗圣旨，应当治罪，有诏撤消原授贺唯一的官职和所赐田地，贬往甘肃居住。继而，皇太子的亲信搠思监对贺唯一再加诬陷，诏命改贬于吐蕃。皇太子又派使者前往途中逼贺唯一自尽，贺唯一行至东胜，吟诗一首，含恨自杀，时年63岁。