樂恢曾在郡中擔任郡吏,太守因犯法而被殺,與太守從前有交往的人都怕受到株連,都不敢到太守家中去了,只有重義守節的樂恢冒著生命危險為他穿喪服奔喪,樂恢因為此事而被株連治罪。
樂恢後來擔任功曹,推選舉薦時從不阿諛奉承,對他人的請求委託從不接受。同郡的楊政多次當眾詆毀樂恢,而樂恢不怨不恨,秉持公正無私的原則,推舉了楊政的兒子為孝廉。對於樂恢這種公正無私、不怨不恨的品行,鄉里人都非常尊敬和佩服,紛紛歸附於他。
當時的司空牟融徵召樂恢到府中任職,正趕上蜀郡太守第五倫代替牟融成為司空,因為樂恢同第五倫是同郡,為了避嫌和堅守自己的名節,樂恢自己主動辭去官職,並且推薦了有能力之人代替他。官員們都稱讚他的品行,連續徵召他,但樂恢都沒有答應。
樂恢始終拒不義之財、不義之人於「千里之外」,堅持自己的原則,凡是操行不符合自己標準的人,即使是顯貴他也不與之交往。樂恢後來被朝廷征拜為議郎,又升任尚書僕射,因為他正直,不阿諛奉承和順從權貴及奸邪之臣,所以引起了奸邪之臣的憎恨,他的妻子每次都勸他不要招惹起那些人的怨恨,樂恢感歎說:「我哪忍心白吃飯而立在他人之朝廷上呢?」仍舊上疏勸誡皇帝不要一味寵信驕橫的外戚。
樂恢能夠在個人身家性命和利益誘惑面前謹守志節,以清廉正直、公正無私作為自己的為官之道,好一位名臣風範。