管仲担忧地说：“不爱惜自己的身体是违反人情的，这样的人又怎么能真心忠于您呢？请国君务必疏远这三个人，宠信他们，国家必乱。”

二人谈了半天，也没能确定一个双方都满意的继任相国，齐桓公有些不满了。于是管仲只好退而求其次，将曾经与他一起到周去完成与戎人的和谈任务的隰朋推荐给了齐桓公，并说隰朋忠君爱国、为人厚道，而且勤奋好学、不耻下问，居家不忘公事，很有责任心。齐桓公想了想也觉得不错，就同意了任用隰朋为相。

不久以后，管仲因病去世，管仲在世时，时常以相国的身份对齐桓公进行劝谏。齐桓公作为一个国君，身上有很多缺点，他好大喜功、贪图享乐、沉湎女色，正是因为有了管仲的规劝，甚至是制衡，齐桓公才避免了诸多错误，走上了尊王攘夷的正确求霸之路，最终成就霸业。

管仲去世之后，齐桓公虽然十分哀痛，但也摆脱了这位少有的敢于约束自己的人。本来齐桓公在管仲去世后按照他临终前的嘱托驱逐了易牙、竖刁、开方等佞臣，但是此时的齐桓公已年过古稀，不复年少时的雄心壮志和进取精神，每天只是耽于逸乐，骤然失去了这几个弄臣只觉得自己每天都食不知味。于是齐桓公便认为管仲对他们的看法有误，于是很快就派人将他们召回来，从此逐渐迷失在了易牙等奸佞之臣的阿谀奉承、甜言蜜语之中。

鲁僖公十七年（公元前643年），年迈的齐桓公得了重病，他的五个儿子开始为夺取国君之位而公开斗争。易牙、竖刁见齐桓公已不久于人世，就堵塞宫门，假传君命，不许任何人进去，连食水都无人给送。有一个宫女偷偷翻墙进入齐桓公的住处，饿了几天的齐桓公见到她大喜过望，急切地索要食物饮水。宫女说：“我没有食物也没有水，如今易牙、竖刁作乱，堵塞了宫门，不许人出入，哪里还有食物呢？”

齐桓公听了慨然长叹，流下了悔恨的泪水：“我悔不听仲父之言，如果死者泉下有知，我有何面目去见他啊！”说罢，用衣袖遮住脸，竟活活饿死了，一代霸主就这样殒命于小人之手。在羞愧难当之下，抑郁而终。

更加悲惨的是，齐桓公去世之后，他的五个儿子忙着自相残杀，争夺国君之位，根本没有人有空去过问他的丧事，齐桓公的尸体在床上躺了两个多月都无人理睬。直到后来曾经在卫国被狄人所灭之后帮助卫人营建新都城的公子无亏取得了胜利，得到了国君之位，才有空为齐桓公准备棺椁、安排后事，此时齐桓公的尸体已经严重腐烂，尸虫都从宫殿的门窗中爬了出来。从此以后，“停尸不顾，束甲相攻”就成为了对一国之君安排继承人问题的最大警诫，两千多年后的清朝康熙皇帝还曾经因为继承人问题的困扰发出感慨，担心自己会步上齐桓公的后尘。

史书载：“桓公好内，多内宠，如夫人者六人。”齐桓公先后迎娶的三位嫡妻周王姬、徐嬴、蔡姬都没有为他生下嫡子，只有六位宠姬生下了几个庶子。其中公子无亏、公子元、公子昭、公子潘、公子商人都曾先后当过齐国的国君然后在短短数年内被自己的亲生兄弟杀死。在齐桓公去世后，齐国的乱局持续了四十多年，再不复当年九合诸侯的霸主景象。