杨思俭的女儿已被选聘为太子妃，并且定下了迎娶婚期，贺兰敏之看到此女长得十分漂亮，便蛮横地强逼此女与他上床。还有，就是武则天的女儿太平公主来看外婆杨氏，贺兰敏之见随侍的几个女孩有味道，也设法奸了。
这些糟糕的事情不可能不传到武则天的耳朵里。而令武则天对贺兰敏之不满的公开理由，或者说贺兰敏之“找死”的直接原因，则是贺兰敏之的不孝和贪财。荣国夫人死后，未等丧期满，贺兰敏之便脱下孝服，“奏音乐”娱乐开了。武则天对母亲的感情相当深厚，在荣国夫人死后，她拿出了一批金银财宝，为母亲修建佛寺，但这笔钱财到了贺兰敏之的手里后，他竟然据为己有。
在这种情况下，武则天便堂而皇之地严惩了这位“长安第一美男”，将其“流雷州”。贺兰敏之最后死在流放的路上，但到底是怎么死的，有不同说法。《新唐书》上称，贺兰敏之系“道中自经死”，即走到半路上自缢而亡。这个说法不太合理，当时是有人押送的，即便贺兰敏之想自杀，能自杀成吗?可信的说法是，贺兰敏之是被武则天派的人用马缰勒死的。或许武则天早就想弄死这位该死的姨侄儿了!