段韶字孝先，小字铁伐。是段荣的长子，在高欢早年当小兵的时候，是段荣的父亲段长帐下的一名兵士，后来因为娶了娄昭君，从她的嫁妆中得到了一匹良马，因而有机会结识时任镇将将领的段长。
并依军中的规定成为了一百名士兵的队主，从而可以作为军队头目跟随段长行军打仗，受到段长的赏识提携，与段昭的父亲段荣成了生死之交。
而段昭的母亲就是娄昭君的姐姐，所以段韶其实是武明皇后娄昭君的外甥。高欢就是他的姨父。
段韶自少就得到姨夫高欢的器重，将他罗致到身边，授他为亲信都督。
段韶少年时就擅长骑射，而且在军事方面颇有见地，有将帅之才。此外，家族姻亲关系也令他因此在年轻时就得到高欢的关照。
高欢对段韶很是器重，常安排在自己的左右，作为心腹看待。 中兴元年（531年），他跟随高欢抗抵尔朱兆，参与广阿之役的战斗。
当时，高欢手下只有不到三万的兵力，而尔朱兆则带领着二十万大军来攻打高欢。
大战前夕，高欢忧虑尔朱兆军势强盛，便问段韶说：
“孝先，如今敌众我寡，我们该怎么办？”
段韶答：
“姨父，所谓军队多，是指得到众人的拼死效力；所谓强大，是指得到天下的人心。那个尔朱兆为人狂妄奸狡，从他领军至今，一路上看到的，不是裂冠毁冕，就是拔本塞源。
他刚刚杀主立君，不过半月，天下思乱，十人有九个不服他的管治。
相反，姨父您亲行德义，替天下人翦除君侧的恶人，何往而不胜！”
高欢说：
“话虽如此，我纵使是以顺伐逆，奉命讨罪，但弱小处于强大之中，恐将失去上天的庇佑，你没有听说过这种说法吗？”
段韶说：
“我听说过小能敌大。所谓弱小者但行大道的人，上天对任何人虽说并无特别偏爱，但也只会辅佐保佑有德之人。尔朱兆外乱天下，内失民心，有智慧之人不会为他出谋划策，勇武之人不会为其拼死战斗。尔朱兆作为不肖者失职，姨父作为贤者将之夺来，还有什么好疑惑的？”
高欢听了段韶的话，也觉得他是个有勇有谋之人，而且还善于争取民心和支持，是个可以栽培的将帅之才。
高欢知道单靠仁义道德是不能打胜仗的，面对强敌，他也只能奋勇一搏。为了激励将士拼死求生的勇气，高欢命人用驴车、大石等障碍物堵死后退之路，告诉将士们，这一战只能向前冲杀，再无后路可退。
十月十五日，高欢便同尔朱兆展开交战，他自己奋勇当先，将三万军士分成五个纵队，从五个地方分次杀出，将尔朱兆的大军截成五段掩杀，令尔朱兆的大军首尾不能兼顾，军心大乱，成功将尔朱兆大军击溃。
十一月，段韶又随高欢进攻据守邺城的相州刺史刘诞。
到了（532年）闰三月的韩陵之战中，段韶率领自己的部众，首先冲进敌阵，大破尔朱兆等部队。
七月，他随从高欢离开晋阳，至永熙二年（533年）初追击尔朱兆余部到赤谼岭，并将其消灭 。段韶因消灭尔朱兆立下大功，凭军功被高欢封为下洛县男爵。
天平三年（536年）正月，段韶跟随高欢袭取西魏的夏州，活捉夏州刺史斛律弥娥突，因此被加封为龙骧将军、谏议大夫。
此后累积军功升迁为武卫将军。后来，高欢将段荣姑臧县侯的爵位授予段韶承袭。
邙山之战爆发。段韶跟随高欢出征时，就对高欢说：
“大王，您如今身份贵重，是敌军首要对付的人，不如改换普通兵士的衣服，混淆敌人的目光，让敌人认不出大王您的身份，这样才能确保大王的安全。”
高欢听后虽然认为段韶说话有理，但他觉得自己贵为三军统帅，如果让将士误会自己是个贪生怕死之人，就会动摇军心，不利作战。所以没有采纳段韶的建议。
及至西魏大将贺拔胜带领兵士围攻高欢的帅营时，贺拔胜远远地就一眼认出了高欢，他亲率锐卒猛冲进东魏队伍中，打算生擒高欢。
幸亏段韶及时识破西魏军的阴谋，在急催高欢后撤的同时，催马拉弓回身一箭，把追在最前面的敌军一箭射落，追兵慑于他的箭术，不敢再往前追击。
贺拔胜哪里肯放过高欢，他带领着十几名快骑在后面一路追赶，好几次都差一点儿就能刺到高欢的战马了。
段韶只好侧身让过高欢前行，自己伏在路边，弯弓搭箭一箭将贺拔胜的坐骑射倒，把贺拔胜抛落在地上。
然后自己再飞身上马，追随高欢撤退，就是因为段韶的勇猛机智，才成功地救了高欢的性命。
待贺拔胜换马再追时，高欢早已逃走得无影无踪。高欢得胜回朝后，重赏段韶，进封其为姑臧公。
武定四年（546年），段韶随高欢参加玉壁之战。此次出兵久攻不下，使高欢愤懑患病，被迫于十一月撤围而去。
不久后，高欢召集诸将讨论行动方案，对大司马斛律金、司徒韩轨、左卫将军刘丰等人说：“我每次同段孝先论兵，都能听到许多高见，如果出兵前让他来参谋参谋，就可能不会出现这次的徒劳无功了。
时下我担心局势危急，恐怕出现不测，准备委托孝先承担邺下的重任，你们认为怎么样？”斛律金等人回答：“知臣莫如君，孝先是最合适的。”
高欢又对段韶说：“往昔我和你的父亲冒着危险，同佐王室，建立了大功。眼下病重得厉害，大概不行了，你应该小心辅助朝廷，承担起这一重任。”
段韶就说：
“大王，下官定会竭尽全力，保邺城的安危，请大王放心。”
高欢于是马上下令段韶随次子高洋镇守邺城，召长子高澄赶赴晋阳大丞相府。
高欢临终前，遗令高澄说：
“段孝先忠孝仁厚，智勇双全，亲戚之中，只有此人，能担重任，为父去后，军旅大事，澄儿记得要和他商议。”
高欢去世后，大将侯景马上就叛变，当时高澄要前往河南等地，便将在邺城镇守的段韶召唤到晋阳。
段昭来到晋阳大丞相府，首先去拜见了姨母娄昭君。娄昭君拉着他的手说：
“韶儿，你姨父仙逝了，有遗命让你看守他的基业，如今你表弟高澄要去河南巡抚，晋阳无心腹之人镇守，你要担此重担，以慰姨父重托之情。”
“是，姨母，韶儿一定替您守住晋阳，请表弟安心前往河南，早日安定局面，有韶儿在，晋阳就能安然无恙，请姨母放心。”
“好，有韶儿的保证，姨母一定放心，如今三军统帅之印就暂托于你，你要小心行事，莫让军心动摇。”
“是，姨母，韶儿一定会不辜负姨父、姨母的重托，誓保晋阳平安。”
段韶说完，双膝跪下，高举双手，接过了姨母娄昭君手中的三军帅印。
段韶以冷静、沉稳的态度，一方面对姨父高欢逝世的消息只字不提，只对外宣称来代替生病的姨父高欢训练士兵。
顺利地稳定了晋阳三军的军心，直到高澄回来。