其夏，去病与合骑侯敖俱出北地，异道。博望侯张赛、郎中令李广俱出右北平，异道……去病出北地，遂深入，合骑侯失道，不相得。去病至祁连山，捕首虏甚多。
——《汉书·卫青霍去病传》
汉军在取得第一次“河西之战”的胜利后，为了持续打击匈奴休屠王和浑邪王，彻底消灭盘踞于河西的匈奴势力，在霍去病所率余部短暂休整之后，汉武帝于同年夏再度调派给霍去病数万骑兵，发动了第二次河西之战。
元狩二年（前121年）夏，霍去病与合骑侯公孙敖率领数万骑兵抵达北地郡，在制定具体行动计划时，霍去病认为，匈奴在经历了第一次“河西之战”的惨败之后，必然有所防范，第一次所走的路线已经无法使用，因而大胆决定绕道西北，从侧后方对浑邪王和休屠王发动突然袭击。
由于这条路线不仅绕道极远，而且途中需要穿过多个沙漠戈壁，途中可用的补给点极少，根本无法负担这数万大军。为此，霍去病决定兵分两路，由自己率一万余骑先行，公孙敖则率领其余军队半个月后再继续出发，双方约定在弱水下游的居延海会合。
与此同时，汉武帝又命博望侯张骞、郎中令李广率万余骑出右北平郡，攻击匈奴左贤王部，牵制伊稚斜单于的兵力，防止其出兵救援河西。
西汉在拿下西套平原之后，便恢复了当时秦始皇设置在
西套平原北部、黄河左岸的浑怀障，并于此屯田驻军，充实边塞。霍去病率兵在浑怀障短暂休整之后，便就此踏上了长途跋涉之旅。
霍去病率兵自北地郡西套平原出发，向北绕过贺兰山后又折向西方，然后向西横穿黄沙遍地的乌兰布和沙漠，继而自雅布赖山与狼山之间穿过，再沿着巴丹吉林沙漠北部边缘的大戈壁一路向西，前后历经十余日的长途跋涉，终于来到了居延泽。
霍去病一路行来，虽然深入匈奴腹地，但由于右贤王北迁之后，漠南地区匈奴部落数量急剧减少，再加上所到之处皆是人烟罕至的戈壁沙漠，反倒不用担心被匈奴人所察觉。
而就在霍去病率兵于居延泽休整，等待公孙敖率领的后续部队时，公孙敖所统率的大军却迷路了。霍去病虽然一路艰险，但好在军中有不少匈奴降卒和内附的匈奴人，随军将领高不识更是内附的匈奴王，赵破奴亦有流浪匈奴的经历，他们对这一带本就比较熟悉，一路行来倒也轻车熟路。
然而，公孙敖可就没有这么好的运气了，他所统率的骑兵全部来自于内地，何曾到过这里，军中又没有匈奴降卒，由于缺乏向导，在满眼尽是黄沙和砾石的沙漠戈壁之中，根本没有道路可循，结果出发数日后便将自己给搞丢了。
霍去病在居延泽一连等了十余天，却哪里有公孙敖所率大军的影子，眼看大军随身携带的粮草就要耗尽，霍去病一连数日派出骑兵沿来路探出数十里，却仍然不见后续大军的任何踪迹。
虽说凭借居延泽一带的饮水和草场，战马根本不缺补给，但一万多骑兵只喝水不吃东西哪里能行，眼见公孙敖统率的后续军队迟迟不到，霍去病知道，如果继续等下去，自己这一万多人恐怕就要饿的站不起身了，哪里还有战斗力。
在霍去病看来，与其在此坐以待毙，倒不如趁着军队还有战斗力，去匈奴人那里讨要一些吃的。于是，他果断率军出发，以鹰击将军赵破奴为先锋，率军沿弱水逆流南下，寻找匈奴部落。
这次，不幸第一个撞在霍去病枪口上的是游牧于弱水下游一带的稽且部落。
稽且部作为浑邪王麾下部落，不仅自身实力较强，而且与浑邪王关系极为亲密，因而才得以在弱水下游一带放牧。按理来说，弱水下游乃是较为安全的所在，虽说以北有居延泽，但居延泽以北便是广阔的巴丹吉林沙漠以及一望无际的大戈壁，以东则是流沙遍地的腾格里沙漠，根本不会有部落跑到这里来。虽说数月以前浑邪王刚刚遭遇惨败，但当时战斗却发生在弱水上游，因而他怎么也料不到，竟然会有汉朝军队穿过沙漠戈壁，从弱水下游的居延泽方向来袭击自己。
稽且部虽然不小，然而在没有战事的情况下，大部分部众都忙着自己的生计，留守本部的兵马并不算太多。
赵破奴率领的汉军先锋，在发现这个还是一片祥和的部落后，根本不给对方准备的时间，在命人传讯后部主力之后，便当先率领先锋部队扑了上去。
毫无准备的稽且部牧民根本来不及抵抗，便眼睁睁的看着汉军骑兵凶神恶煞一般扑向了部落最中心的王帐。听到喊杀声的稽且王，慌乱之下连忙命人召集兵马，自己则亲率留守部队上前迎战阻敌。然而，赵破奴岂会给他们整顿兵马的机会，一马当先的他率军横冲直撞，瞬间便突破了仓促迎战的匈奴骑兵。
溃不成军的匈奴兵马瞬间便失去了抵抗能力，勇武非常的稽且王亦在片刻之后力竭被擒，赵破奴遂以稽且王的性命相要挟，要求稽且部众放弃抵抗。结果好不容易反应过来的稽且部众，刚刚拿起武器、跨上战马，还没来得及完成集结，便发现稽且王已经落入了敌人手中，无奈之下只得放下武器投降。
击破稽且部后，深知兵贵神速的霍去病，只是率部简单补充了饮水和食物，便命人押解着稽且王为向导，继续率军南下，突袭浑邪王本部。
在稽且王的指引下，霍去病率领大军小心绕过弱水流域的其他匈奴部落，自侧背方向突然对弱水上游的浑邪本部发动了突袭。经历了前次的惨败之后，浑邪王虽然不敢再轻敌，但他的防御重点却在东方，哪里能想到汉军会从自己的背后攻来。结果仓促迎战的浑邪王再度遭遇惨败，被斩一万余人，余部大部溃散，包括相国、都尉等人在内的大量贵族被俘。
击溃浑邪王之后，霍去病又继续率军西进，进攻单桓王、酋涂王两部。这两部虽然此前并未与汉军有过交手，但事后对于战况却多有耳闻，那些战败的部落民众除了吹嘘汉军如何勇猛无敌之外，还透露出一个极为重要的消息，那便是汉军并不杀降，亦不屠戮部众、大肆掠夺，在获取补给之后便会离去。
因此，当得知实力强大的浑邪王都兵败之后，单桓王、酋涂王哪里还敢抵抗，干脆选择了投降。
在将祁连山与合黎山之间弱水上游地区的匈奴各部横扫一空后，霍去病这才率兵东返，不过却并非撤退，而是自龙首山北麓向东，直扑狐奴水（今石羊河）流域的休屠王本部。
与浑邪王一样，休屠王在经历了前次大战之后，虽然已经有所警觉，但却将防御重心放在了东部，根本没想到汉军会从浑邪王统辖的西部区域杀来，结果也被打了个措手不及。一番大战下来，仓促迎战的休屠王亦惨遭大败，被斩一万余众。
在连破浑邪王和休屠王两部之后，霍去病这才率军押送着大量俘虏，渡过狐奴水，又翻过乌鞘岭，沿着第一次“河西之战”的路线，返回了陇西郡。
回军途中，霍去病还遇到了留居南山一带的一支小月氏部落。
当初，大月氏战败西迁之后，一部分部众留在了河西走廊地区，为了与西迁的大月氏相区分，后世将其称为小月氏，这些留守的月氏人大多被迫归入匈奴麾下，散居于河西一带，另有一部分则进入河西南山，与羌人杂居。汉朝夺取河西之后，这部分月氏人重新出山与汉人杂居，分布于湟中和令居地区，这便是“湟中月氏”。
此战，汉军对河西匈奴取得了决定性胜利，歼敌三万余人，迫降单桓王、酋涂王及相国、都尉等两千五百人，俘虏五王及五王母、单于阏氏、王子等五十九人，相国、将军、当户、都尉等六十三人，而汉军仅十亡其三。
霍去病回朝之后，汉武帝对其大加赞赏，下诏加封霍去病五千四百户，而随军作战的校尉们也都被赐予左庶长的爵位。此外，鹰击将军赵破奴也凭借着两次跟随霍去病出征，先后杀死邀濮王，俘获稽且王、右千骑将，并捉得匈奴王、王母各一人，王子以下四十一人，俘敌四千七百余人等功，获封从票侯；校尉高不识则因跟随霍去病出征，俘获呼于耆王王子以下十一人，俘敌一千七百六十八人等功，获封宜冠侯；校尉仆多也因多立战功，获封为辉渠侯。
“河西之战”凯旋之后，霍去病急匆匆的返回河东，拜访父亲霍仲孺，虽说父子二人十余年未曾相见，但毕竟血浓于水，两人还是很快便熟络了起来。
霍仲孺命人摆酒设宴，父子二人遂把酒言欢，各自倾诉这十几年来的经历，结果一聊便聊到了深夜，霍仲孺于是趁机邀请霍去病多留几日，霍去病自然应允。经过数日的相处，霍去病父子的感情迅速升温，哪里像是刚刚相认，简直如同一起生活了十几年一般。
霍去病有心在父亲家常住，奈何自己如今在朝中任职，岂能长期离京。因此，在父亲家盘桓半月之后，霍去病纵然依依不舍，但还是不得不告辞离去。
霍仲孺知道霍去病如今乃是皇帝面前的红人，因此在霍去病临走之际，他将一个少年带到了霍去病的面前，希望霍去病能够帮他谋一个好前程。
当初，霍仲孺抛弃霍去病母子，返家之后另娶妻子，生下霍光。在父亲家这么长时间，霍去病自然知道这个少年便是自己同父异母的弟弟，于是摸了摸霍光的脑袋，欣然答应下来。虽然当时霍光年仅十几岁，但在霍去病的帮助下，还是很快便被任命为了郎官。
我们抛开霍去病这边的家事不谈，说一说另一路大军的情况。相较于河西方面的大胜，本是作为佯攻的郎中令李广可就比较悲惨了。
为了牵制伊稚斜单于的军队，汉武帝命郎中令李广和博望侯张骞率兵出右北平郡，兵分两路进攻左贤王部，其中李广率兵四千骑、张骞率兵一万骑，两军互为犄角。
然而，由于张骞所率的主力并未按照预定时间出击，结果导致李广率军北上数百里后，便被得知汉军动向的匈奴左贤王，以四万骑兵所包围。
面对十倍于己的敌人，在士卒大多恐惧的情况下，李广果断派儿子李敢快马冲击敌军，李敢独自带领几十名敢死骑士飞奔而去，竟然一举击穿了匈奴骑兵的包围圈，自敌军的左翼冲出包围，又自右翼杀回，然后轻松无比的对李广说道，“匈奴人也没什么难对付的”，士卒们这才安心。
随后，李广布成圆形阵势，四面朝外巩固防御，匈奴大军则自四面合围，对李广所部发动猛攻。虽然汉军拼死作战，奈何兵力实在太少，不多久便死伤过半，就连箭矢也都快用光了。
李广见状，便命令士兵将弓拉满，不要轻易放箭，只用来威慑敌军，而李广自己则亲用大黄弩弓转射匈奴副将，凭借着精妙的箭法，接连射杀了数个副将，失去了这些将领的指挥，匈奴军队的进攻这才有所松懈。
幸好当时天色渐暗，左贤王虽然没有撤去包围，但也没有继续发动进攻，这才给了汉军喘息之机。经过半日鏖战，汉军将士早已各个面无人色，李广只好表现出一副神色无常的模样来鼓舞士气，这才使得军心稍定。
次日，天色刚刚放亮，匈奴大军便再度发动了进攻，李广则指挥经过一夜休整的汉军拼命抵抗。就在李广所部几乎全军覆没之际，张骞统率的汉军主力这才姗姗来迟，匈奴左贤王见状，只得率军撤退，汉军方面由于李广所部损失惨重，而匈奴元气未伤，便也放弃了追击。
战事结束后，合骑侯公孙敖和博望侯张骞先后因贻误战机而被判处死刑，虽然两人经过出钱赎罪被免除了死罪，但也被降为了平民。至于李广，虽然经过两日血战，斩杀匈奴数千，但由于所部伤亡殆尽，最终功过相抵，再一次错过了封侯。
伊稚斜单于得知河西惨败后大怒，由于浑邪王、休屠王两度惨败于汉军，使得河西匈奴损兵失地，尤其是浑邪王，由于霍去病两次进攻河西的重点皆是浑邪部，其所部几乎伤亡殆尽，伊稚斜单于一怒之下，便决定召诛浑邪王。
浑邪王恐惧之下，遂决定说服休屠王共同归附汉朝，浑邪王向休屠王表明意思后，休屠王的立场便也动摇了。由于前后两次战败，休屠王也担心会遭到责罚，更何况，如果浑邪王归附汉朝，那么他便被浑邪王和汉朝夹在了中间，更加没有了生存空间。
因此，在权衡了一番利弊后，休屠王便也同意了归附汉朝。于是，两王于同年秋派遣使者前往汉朝，请求率部归附。
彼时，浑邪王和休屠王虽然两度遭遇惨败，但手中仍有四万余部众，尤其是休屠王，由于霍去病两次进攻的重点都是浑邪王，他的损失并不算太大，因而汉武帝有心纳降，又担心其中有诈，思来想去，最终还是命霍去病率一万骑兵前去受降。
果不其然，汉军尚未到河西，休屠王便反悔了，他认为自己损失并不算太大，估计伊稚斜单于并不会处死自己，与其跟着浑邪王归附汉朝寄人篱下，倒不如率部投入伊稚斜单于麾下，反倒更加逍遥自在。
浑邪王见休屠王反悔，遂将其杀死，一边收编其部众，一边派人传讯霍去病，请其速速率兵前来。霍去病接到消息，立即率兵前往河西，浑邪王列阵迎候，其部下一些些裨王见汉军阵容严整，担心汉军会趁机剿灭自己，心存疑惧之下便企图逃走，匈奴军阵一时间骚动不已，局势眼看就要失控。
霍去病远远望见，知道时机不可错过，于是果断率兵驰入匈奴阵中，与浑邪王相见，将以休屠王所部为主的欲逃跑者八千余人尽皆斩首，这才迫使匈奴军阵稳定了下来。休屠王之子、年仅十四岁的金日磾眼见父亲被杀，部众又或死或降，无所依归之下，为了求生，只能和母亲阏氏、弟弟金伦随浑邪王降汉。
尔后，霍去病先遣使送浑邪王赴长安见汉武帝，自己则率领着匈奴余众向边境缓行。
浑邪王率部归附后，被汉武帝赐封为漯阳侯，封其裨王呼毒尼等四人皆为列侯,其部众则被安置在陇西、北地、上郡、朔方、云中等边郡地区，保持原有的风俗习惯，设立五个“属国”。为了切断匈奴人与羌人的联系，汉武帝后于元鼎年间，先后下令在河西设置武威、酒泉、张掖、敦煌四郡，并从内地迁移大量百姓前往这里戍边、生产。
至于丧父又失去部众的金日磾，则被安置在黄门署饲养马匹。此外，为了表彰霍去病在这次受降中的功绩，汉武帝又再次下令加封其食邑一千七百户。