这个时期的齐国，如同一颗耀眼的明星，照亮了整个春秋江湖。但可惜，这颗明星并非是恒星，光芒照耀了数十年后，随着管仲的去世，齐国霸业也开始走向衰落。
这个衰落当然不是一夜即成的，这是一个过程，是一个齐国国内外因素共同作用的结果。
在国内，桓管五杰以及整个齐国人才集团慢慢凋零。最先去世的是大司田宁戚，然后管仲和隰朋均于公元前645年去世，过了一年后，即公元前644年，鲍叔牙去世。上卿高傒于公元前637年去世，上卿国懿仲也大约于这个时候去世。
这对齐桓公来讲是重大打击，因为他的霸业说到底不是自己一个人的事业，而是由桓管五杰以及国、高两大家族为核心的整个齐国人才集团共同努力的结果。齐桓公最大的本事便是用人，但现在这些齐国历史上牛气冲天的人才相继离世，齐桓公靠谁来治国理政呢？
齐桓公在短短数年间便损失了许多治国能臣，而且自己也已经当了40年之久的国君了，很累，很辛苦。齐桓公的累和辛苦，不单是因为齐国自身发展需要靠自己，而且他作为春秋霸主，必须承担大量的国际义务。这种国际义务主要有：周王室家里的事要操心、戎狄蛮夷入侵中原诸侯得去救、中原各国内部发生弑君政变等事要管、组织各国盟会、发动讨伐战争等等。
齐桓公在管仲等人尚在时，完全可以做到游刃有余，但现在呢？他真的不是神仙，没有那么多精力，齐国国力再强，也有鞭长莫及之处。再加上齐桓公自己也老了，尤其是管促、隰朋、鲍叔牙等人相继去世对他的打击非常大，无论是国内治理还是对外事务，齐桓公已经是心有余而力不足了。
此时的春秋江湖，又是怎样一个光景呢？首先是周王室，周王室连续遭到了来自北狄的侵犯，而北狄之所以侵犯周王室，也是自身惹的祸。公元前649年，王室爆发了王子带之乱，齐桓公当仁不让，迅速召集诸侯救天子，终于帮助王室平定了内乱。
王子带之乱中一个重要因素便是北狄支持了王子带，王子带是在北狄的重兵拥护下才敢作乱的，现在虽然被平定了，但北狄就此与周王室杠上了。过了几年，到公元前644年，北狄大举入侵中原，先是横扫了内部正乱作一团的晋国，史料记载晋国的狐、厨、受铎等邑被劫掠，然后北狄武装渡过汾水，到达了昆都，直接威胁到了周王室。
天子周襄王紧急向齐国求助，齐桓公当然得出手相救啊。于是，齐国再次调集各中原诸侯兵出帮助周王室戍卫。但北狄武装又不是楞头青，知道齐桓公率领下的中原诸侯联军不是吃素的，见洛邑有防卫，便转头就走，继续洗劫其他诸侯。齐桓公救得了吗？救不了！象晋国便是吃了大亏。你齐国作为霸主提出的尊王攘夷政策既然无法落地，那齐国的威望便大大下降。