广交好，朝中大臣大多惮忌他，但柳述多次当面凌辱杨素，并常在隋文帝面前嘲笑其短处折辱他。处理公务的判词有些不合杨素的心意，杨素有时叫他修改，柳述命人回复说：“告诉仆射，尚书不同意。”杨素于是与柳述结怨。不久，杨素也被猜忌疏远，不再掌管尚书省事务，柳述更加受到信任倚重，拜任兵部尚书，参撑朝廷机密，柳述自认无功劳可言，过分受宠恐怕别人不服，上表坚决请求推让。
    隋文帝在仁寿宫养病，太子、柳述、杨素及黄门侍郎元岩等大臣在宫中侍疾，隋文帝病情加重，在病榻上与百官诀别，并让杨广赦免术士章仇太翼。随后，皇太子杨广乘其隋文帝病重之机，非礼宣华夫人的事情，隋文帝知道后大怒，命柳述、元岩撰写敕书，诏给已废为庶人的前太子杨勇觐见。司徒杨素闻讯，与皇太子杨广协谋，伪造诏书逮捕柳述、元岩关入大理寺，并赐死杨勇，追封为房陵王。
    杨广登位，迅速将柳述免官，流贬至龙川郡，同时责令兰陵公主改嫁，兰陵公主以死相逼，不再朝觐，并上表请求去除封号，请求与柳述同往流放地，隋炀帝大怒，说：“天底下没有其他的男子了吗？你居然要跟柳述一起被流放。”兰陵公主说：“先帝把我嫁给柳述，如今柳述有罪，我理应被株连，不愿意陛下为我格外开恩。”然而，隋炀帝断然拒绝了妹妹的请求，将柳述被独自流放。柳述在龙川郡呆了几年，又被贬往宁越，感染瘴毒而死，时年三十九岁。