公元前685年，弑君篡位的公孙无知被杀。齐国上下群龙无首，百官不知该立谁为齐君。齐襄公的各公子都死于公孙无知之手，而齐僖公的各公子都避难在外。
齐国大臣们商议后，派使者出使各诸侯，让流亡在外的公子回国继位，先入齐国者为齐君。
公子小白和公子纠都是齐襄公的弟弟，也都是齐僖公的儿子。鲍叔牙作为公子小白的老师，在齐襄公继位后，看到齐襄公轻狂残暴政令无常，便带公子小白流亡在莒国（今山东莒县）。而管夷吾和召忽侍奉着公子纠，在齐襄公谋杀鲁桓公后，便避难流亡到鲁国。
而且鲁、莒两国紧邻齐国，所以齐国使者出使后，公子小白和公子纠率先得到消息。所谓近水楼台，先得月。在鲁和莒两国的公子，也开始了回国继位的准备。
在鲁国侍奉公子纠的管夷吾和召忽，明白能和公子纠争夺齐国君主之位的，只有身在莒国的公子小白。管夷吾便率兵埋伏于莒国到齐国的必经之路，等公子小白出现后，管夷吾带兵劫杀公子小白，公子小白中箭落马，管夷吾以为公子小白以死，但却不知箭中公子小白的佩玉，公子小白将计就计装死骗过管夷吾，管夷吾看到公子小白中箭落马便撤军而回复命。
得知公子小白以死，公子纠管夷吾和召忽等人，在鲁军的护卫下浩浩荡荡的回归齐国。公子纠到达乾时（今山东青州附近）时得知，公子小白已回到齐国继位，即齐桓公。齐国已经有了君主，那公子纠和鲁国的护卫军队，便成了侵齐之敌。齐桓公派军抵抗公子纠和鲁军，鲁庄公也派兵增援公子纠帮其回国夺位。
齐、鲁两国交战于乾时，鲁军大败将帅被俘。齐桓公派鲍叔牙出使鲁国，告诉鲁庄公，公子纠是齐桓公的亲人，但也是齐桓公的敌人，齐国不忍亲手杀自己的亲人，希望鲁庄公代替齐桓公杀公子纠。而管夷吾和召忽是齐桓公的仇人，齐桓公想亲自杀管夷吾和召忽。
鲁庄公为了换回被俘的将帅，只能照齐国之意杀公子纠，押解管夷吾和召忽回齐。召忽眼看夺位事败，公子纠也横死他乡，不愿再回齐受齐桓公的羞辱，便自杀而死。
管夷吾被押回齐国，没有轻死于公子纠，以保忠名。也许是大志未酬许身于国，也许是和他的好朋友鲍叔牙有关。在鲍叔牙的力保和推荐下，齐桓公任命管夷吾为相，治国理政。齐桓公为了管夷吾能更好的治理齐国管理群臣，拜管夷吾为仲父，管夷吾自此以管仲而称。
齐桓公回国后的第二年（即公元前684年），齐桓公对于鲁庄公帮公子纠争夺之事依然耿耿于怀，便出兵攻伐鲁国。鲁庄公不愿轻易向刚刚继位的齐桓公认输，便出兵抵御齐军。齐、鲁两国战于长勺（今山东莱芜），即长勺之战。这一战齐国不仅大败，也成就了鲁国曹刿，留下了曹刿论战的典故和一鼓作气，再而衰，三而竭这样的成语典故。
战败的齐桓公，对于鲁国怨气不减反增。再次集结兵力，并联合宋国汇合在郎地（今山东兖州），想分兵两路夹击鲁军。鲁国公子偃看到乘丘（今山东滋阳县附近）的宋兵，军队散漫不成行。如果出兵奇袭定会大败宋军，宋军战败两军夹击之势不成，两国必会退兵。
鲁公子偃以此计劝谏鲁庄公，但鲁庄公没有同意，此时的鲁庄公想着议和。齐国虽然在上次战争中失败，但因为国大势强没有多大的损失。鲁公子偃见鲁庄公不同意，便带着自己的家臣兵将私自出击，公子偃给准备奇袭的战马套上虎皮。
公子偃带兵直冲宋军阵营，宋军完全没有迎战准备，再加上鲁军，蒙着虎皮的战马如虎下山，汹涌而至，宋军瞬间溃败而逃。鲁庄公看公子偃带兵冲阵，怕其不胜影响士气，便出兵紧随其后，大败宋军于乘丘，并俘虏了宋将南宫长万。
在郎地看着宋军溃败的齐桓公，也明白此时的鲁国不能战胜，便退兵回齐，开始精励治国，并在管仲的辅助下逐步壮大变强。在接下来的两三年间，多次打败鲁国，占领多地，使得鲁庄公在公元前681年向齐国求和。齐桓公同意鲁庄公的求和后，两国君主会盟于柯地（今山东阳谷县附近）。
柯地结盟，齐鲁两国君主签约盟书。鲁将曹沫作为鲁庄公的副使站立其旁，而齐桓公旁边为其副使管仲。曹沫本是武将，在战场上连败于齐军，如今看着盟书上那一条条对鲁国不利的条约，霎时间怒火中烧。等齐桓公准备签约盟书时，一手抓起齐桓公，一手持利刃抵在齐桓公胸前。在场的各人，都被突如其来的变故，惊的不知所措。但很快都反应过来，纷纷持剑拿戟对峙两旁。
曹沫怒目圆睁，严声怒斥，齐、鲁本为邻国，一直来都友好相处。如今齐桓公继位，不修两国旧好，却对鲁国连年用兵，攻城掠地。两国战场上我无法控制胜败，如今齐桓公是，人在我手，命在刃下，都将由我控制。现在的齐桓公已经是魂飞魄散，管仲在旁连连求饶。
曹沫继续高喝，饶命就要有条件，重新签约盟书，齐、鲁两国平等相待，齐国退还鲁国被侵占之地。回过神的齐桓公连连答应，曹沫听到齐桓公答应条件后，便放手收刃，面无惧色，心如静水，站于鲁庄公身后。
重新结盟的齐桓公想反悔，被管仲劝谏。一，曹沫虽为鲁将，但劫持诸侯之君，已经是以下犯上，齐桓公不追究其责任，以表大度。二，曹沫为臣，齐桓公为君，臣子的建议，君主遵守以表信用。以失去土地换的诸侯对齐桓公的信任，值得。
如此一来，真如管仲所说，诸侯各国开始臣服齐国。齐桓公在继位后的第五年（公元前679年），召集诸侯于鄄城（今山东菏泽附近），开始称霸诸侯。