元光二年，漢武帝策劃了主動對匈奴誘敵殲滅的馬邑之圍。馬邑之謀雖然失敗，卻結束了西漢自立朝初年以來對匈奴被動退讓的和親政策，同時也拉開了漢匈全面戰爭的序幕。
元光六年（公元前129年），匈奴又一次興兵南下直指上谷（今河北省懷來縣）。漢武帝果斷地任命衛青爲車騎將軍，迎擊匈奴。從此，衛青開始了他的戎馬生涯。
這次用兵，漢武帝分派四路出擊。車騎將軍衛青出上谷，騎將軍公孫敖從代郡（治代縣，今山西大同、河北蔚縣一帶），輕車將軍公孫賀從雲中（今內蒙古托克托東北），驍騎將軍李廣從雁門出兵。四路將領各率一萬騎兵。衛青
衛青雖是首次出征，但他果敢冷靜，出其不意的深入險境，直搗匈奴祭天聖地龍城，首虜近千人，取得勝利。另外三路，兩路失敗，一路無功而還。漢武帝看到只有衛青勝利凱旋，非常賞識，封衛青爲關內侯。
龍城之戰在漢匈交戰史上具有劃時代的意義。漢朝自高祖劉邦建國以來，屢屢受到北方匈奴的掠奪羞辱，如高祖“白登七日”之困，呂后受冒頓單于書信之辱，孝文帝十四年匈奴十四萬騎大入關，斥候一度略至長安附近的甘泉，以及匈奴頻頻對漢朝邊郡和百姓的燒殺劫掠等，可謂漢朝的心腹大患。龍城的勝利打破了自漢初以來“匈奴不可戰勝”的神話，大大鼓舞了漢軍士氣，成爲漢匈戰爭的轉折點，爲以後漢朝的進一步反擊打下了良好的人心基礎。龍城大捷後，衛青還向漢武帝爲李廣和公孫敖開脫，說道：若不是二位將軍牽制住敵方主力，他也無法取得勝利。漢武帝謂曰：真仁義也。
公元前128年（元朔元年）秋，衛青爲車騎將軍出雁門，領三萬騎兵，長驅而進斬首虜數千人。
公元前127年（元朔二年），匈奴大舉入侵上谷、漁陽，先攻破遼西，殺死遼西太守，又打敗漁陽守將韓安國，劫掠百姓兩千多人。武帝派李息從代郡出擊，衛青率大軍進攻久爲匈奴盤踞的河南地（黃河河套地區）。
這是西漢對匈奴的第一次大戰役。
衛青領四萬大軍從雲中出發，採用“迂迴側擊”的戰術，西繞到匈奴軍的後方，迅速攻佔高闕（今內蒙古杭錦後旗），切斷了駐守河南地的匈奴白羊王、樓煩王同單于王庭的聯繫。
而後，衛青又率精騎，飛兵南下，進到隴縣西，形成了對白羊王、樓煩王的包圍。兩王見勢不好，倉惶率兵逃走。漢軍活捉敵兵數千人，奪取牲畜數百萬之多，完全控制了河套地區。
因這一帶水草肥美，形勢險要，武帝在此修築朔方城（今內蒙古杭錦旗西北），設朔方郡、五原郡，從內地遷徙十萬人到那裡定居，還修復了秦時蒙恬所築的邊塞和沿河的防禦工事。這樣，不但解除了匈奴騎兵對長安的直接威脅，也建立起了進一步反擊匈奴的前方基地。
《史記》《漢書》盛讚此仗漢軍“全甲兵而還”，衛青立有大功，被封爲長平侯，食邑3800戶。蘇建、張次公以校尉從衛將軍有功，封平陵侯[6]、岸頭侯[7]。
摺疊奇襲高闕
不甘心在河南地的失敗，匈奴在幾年內多次出兵反撲——元朔三年（前126年）夏，數萬騎兵攻代郡，殺太守共友，擄掠千餘人。同年秋季入雁門，殺掠千餘人。元朔四年（前125年）匈奴又使各三萬騎攻入代郡、定襄、上郡。
公元前124年（元朔五年）春，漢武帝命衛青領三萬騎兵出高闕；遊擊將軍蘇建、彊弩將軍李沮、太僕公孫賀爲騎將軍、代相李蔡爲輕車將軍從朔方；大行李息、岸頭侯張次公爲將軍率兵從右北平出發，配合其行動。這次總兵力有十餘萬人。匈奴右賢王認爲漢軍離得很遠，一時不可能到來。衛青卻率大軍急行軍六、七百里，趁着黑夜包圍了右賢王的營帳。此時，右賢王正在帳中擁着美妾飲酒，忽聽帳外殺聲震天，火光遍野，右賢王驚慌失措，抱了愛妾和幾百壯騎向北逃去。漢軍俘虜右賢王的小王十餘人，男女1.5萬餘人，牲畜達千幾百萬頭。（《史記》“得右賢裨王十餘人，衆男女萬五千餘人，畜數千百萬，於是引兵而還。至塞，天子使使者持大將軍印，即軍中拜車騎將軍青爲大將軍，諸將皆以兵屬大將軍，大將軍立號而歸”）
漢武帝接到戰報，喜出望外，派特使捧着印信，到軍中拜衛青爲大將軍，加封食邑6000戶（漢書8700戶），所有將領歸他指揮。衛青的三個兒子都還在襁褓之中，也被漢武帝封爲列侯。衛青謙辭說：“我軍勝利，全是將士們拚死奮戰的功勞。陛下已加封了我的食邑，我的兒子年紀尚幼，毫無功勞，陛下卻分割土地封他們爲侯。這樣是不能鼓勵將士奮力作戰的。”漢武帝表示：“我沒有忘記諸校尉的功勞，同樣也會嘉賞。”
於是衛青三子在襁褓中被封爲列侯，長子衛伉爲宜春侯，次子衛不疑爲陰安侯，幼子衛登爲發乾侯，均食邑1300戶。
漢武帝隨後又封賞了隨從衛青作戰的公孫敖、韓說、公孫賀、李蔡、李朔、趙不虞、公孫戎奴、李沮、李息、豆如意等。