夏天（元狩二年，公元前121），骠騎将軍霍去病與合騎侯公孫敖一起從北地出兵，分道進軍；博望侯張骞、郎中令李廣一起從右北平出兵，分道進軍，都去攻打匈奴。郎中令李廣率領四千騎兵先到達了指定地點，而博望侯張骞則率領一萬騎兵在後面跟進。匈奴左賢王帶領數萬騎兵包圍了李廣的部隊。李廣與匈奴軍進行了兩天的戰鬥，漢軍損失過半，但所殺的敵人數量也超過了漢軍的損失。博望侯張骞到達，匈奴兵退去。博望侯因行軍遲緩，贻誤軍機，按律當斬，但最終被贖為庶人。而骠騎将軍霍去病出北地，已深入匈奴腹地，與合騎侯公孫敖失散，但最終越過居延至祁連山，捕獲了大量俘虜。

天子說：“骠騎将軍越過居延澤，于是經過小月氏，攻到祁連山，俘虜酋塗王，率衆投降的有二千五百人，殺敵三萬零二百人，俘獲五個匈奴小王、五個匈奴小王的母親、單于的妻子、匈奴王子五十九個，還俘獲匈奴相國、将軍、當戶、都尉等共六十三人，漢朝軍隊大概減損十分之三，增封霍去病五千戶。賞賜随霍去病到達小月氏的校尉們左庶長的爵位。鷹擊司馬趙破奴兩次跟随骠騎将軍出征，斬殺了遬濮王，俘獲了稽且王，千騎将捉到匈奴小王和小王母各一人，王子以下四十一人，俘虜敵兵三千三百三十人，先頭部隊俘虜敵兵一千四百人，劃定一千五百戶封趙破奴為從骠侯。校尉句王高不識，跟随骠騎将軍霍去病俘虜呼于屠王和王子以下共十一人，俘虜敵兵一千七百六十八人，劃定一千一百戶封高不識為宜冠侯。校尉仆多有軍功，封為煇渠侯。”

合騎侯公孫敖犯了行軍滞留而未能與骠騎将軍會師的罪過，判為死刑，交了贖金，成為平民百姓。各位老将軍所率領的兵士和馬匹、武器等都不如骠騎将軍霍去病，霍去病所率領的是經過千挑萬選的最精銳的士兵。霍去病也的确敢深入敵軍，常常與精壯騎兵走在大部隊的前面。老天似乎也對他們特别照顧，從來沒有陷入過困絕之境。但各位老将卻經常因為行軍遲緩落後，遇不到好的戰機。從此以後，骠騎将軍一天比一天更被皇上親近，更加顯貴，跟大将軍衛青相仿佛。

這一年秋天，匈奴單于因為渾邪王居于西方，多次被漢軍打敗，損失了數萬人馬，這些損失主要是由骠騎将軍霍去病的部隊造成的。單于對此非常憤怒，想要召見并誅殺渾邪王。渾邪王和休屠王等商議後，決定投降漢朝，并派人先到邊境迎接漢人。這時，大行李息率兵在黃河岸邊築城，見到渾邪王的使者，立即就命令傳車急馳而歸，向皇帝報告。皇上聽過彙報後，怕渾邪王用詐降的辦法偷襲邊境，于是就命令骠騎将軍領兵前去迎接渾邪王和休屠王。骠騎将軍已經渡過黃河，與渾邪王的部隊相互遠望着。渾邪王的副将們看到漢朝軍隊，多數不想投降，有好多人逃遁而去。骠騎将軍霍去病就打馬跑到敵營，同渾邪王相見，殺了想逃走的八千人，于是命渾邪王一個人乘着傳車，先到皇帝的行在所，然後由他領着渾邪王的全部軍隊渡過黃河，投降者有幾萬人，号稱十萬。他們到達長安後，天子用來賞賜的錢就有幾十萬。劃定一萬戶封渾邪王為漯陰侯。封他的小王呼毒尼為下摩侯，鷹庇為煇渠侯，禽梨為河綦侯，大當戶銅離為常樂侯。

皇帝嘉獎霍去病的功勞時說：“骠騎将軍霍去病率領部隊征伐匈奴，西部地區的渾邪王部及其臣民都來投降。霍去病用軍糧援助他們，并率領射手萬餘人，誅殺那些骁悍兇惡的敵人，殺敵八千多，降服異國之王三十二人。我軍戰士沒受損傷，卻使十萬人誠心歸服。由于霍去病屢次作戰的功勞，使得黃河上的邊塞地區幾乎無憂患。用一千七百戶加封霍去病。”。減少隴西、北地、上郡三地的戍邊士兵人數的一半，以減輕天下百姓的徭役負擔。

過了一段時間，漢朝将投降的匈奴人分别遷徙到邊境上的五個郡的故塞之外，這些地方都在黃河以南。漢朝根據他們的原有習俗，設立了五個屬國來管理他們。第二年（公元前120，元狩三年），匈奴人入侵右北平和定襄，殺害和掠奪了漢朝一千多人。