一丘之貉一詞最早出自《漢書·楊惲傳》。
楊敞是漢朝丞相楊惲的兒子，他自幼家教良好，是當朝名人。漢宣帝時，霍氏謀反，楊惲因檢舉有功，被封為平通侯。后來，楊惲擔任中山郎后，革除賄賂弊病，得到滿朝官員的稱贊。但是，楊惲日漸驕傲自滿，得罪了太仆長榮。有一次，楊惲聽見降漢的匈奴人說匈奴的領袖單于被人殺了，便感嘆到：“不好的君主，從來不聽從大臣擬好的國策。就像秦朝的君王一樣，信小人殺忠良，導致亡國。從古到今的君王都是信任小人，真像同一山丘出產的貉一樣”。長榮聽到這番話后，將此事告訴了漢宣帝。漢宣帝聽后十分震怒，下令罷免了楊惲的官職。
后來，人們將這兩句話引申成了成語一丘之貉，用來比喻那些臭氣相投，不務正業的人。