交友广阔，又爱探听隐私，这让人觉得杨恽是一个潜在的威胁。他不仅探听隐私成癖，还四处张扬，这深深伤害他人的自尊，引得长安城沸沸扬扬。杨恽的行为早就激起众怒，众人碍于宣帝对他特别关照，不敢轻易发难。一般人不敢轻易发难，并不代表谁都怕杨恽，戴长乐是个例外。

在民间漂泊无依期间，刘询遇上戴长乐，两人相交，关系越来越好。刘询当上皇帝后，不忘贫寒的故旧，招戴长乐入宫，封为太仆。刘询十分信任戴长乐，总让他办一些不方便交给别人处理的事。戴长乐生性轻浮，喜欢炫耀，逢人就说皇帝让他办理什么事，事的关窍在哪里，等等。

杨恽于是开始张扬戴长乐的“功绩”，比戴长乐自己还更卖力。戴长乐听说杨恽胡乱宣传他的丰功伟绩，害怕刘询责怪，对己不利。于是为制止谣言流播，戴长乐决定整治杨恽。他派人满长安搜集信息，铁定雄心，要将杨恽搬倒。经过一番明察暗访，戴长乐将杨恽的罪证上报刘询。戴长乐告杨恽卖弄才学，诽谤朝廷，大唱亡国论，妖言惑众；又说杨恽随便拿皇帝刘询开玩笑，逗乐子，大不敬。

关于造谣中伤，难判刑，更难指证。面对东拼西凑的罪证，杨恽矢口否认。一方举证对方有罪，另一方矢口否认；一个是旧日知交，另一个是新遇功臣。手心是肉，手背也是肉；缺了左手不行，少了右手不方便。宣帝左右为难，正当不知所措时，他想到一位断案高手——廷尉于定国。

在汉朝，有很多手段厉害的廷尉，其中数张释之和于定国声望好。当时民间流传一句话，说张释之当廷尉期间，天下没有被冤屈的百姓；于定国当廷尉期间，没有那一个百姓会认为自己是冤民。由此可见，于定国断案清明。

于定国交给刘询一份断案奏章，说戴长乐状告杨恽，经廷尉调查，杨恽罪证确凿，连证人都找到了；然而，杨恽不服，扬言恐吓，说要杀害证人。如果报告就此结束，处罚新锐杨恽，保留刘病已的故旧戴长乐，将是一份造假做得很精美的判决书。然而，于定国十分高明，接着锦上添花。他又继续写道，杨恽恃宠而骄，妖言惑众，扰乱长安，有负皇恩，请求刘询批准逮捕。

杨恽的大嘴巴长安人人知晓，宣帝也知道。于定国如此上奏，摆明说杨恽说了不该说的话，甚至胆敢开涮皇帝，杨恽树敌太多，早晚会惹火烧身，不如趁早处理，防止事态扩大。于定国这一招，叫做防微杜渐，以免杨恽犯下不可饶恕的大错，令宣帝难堪。

看完于定国的奏章，宣帝觉得杨恽和戴长乐都有造谣的嫌疑，也为了公平，更为防微杜渐，刘询一视同仁，将杨恽和戴长乐都贬为庶人。