正當大興城內的建設在如火如荼進行之時，南方燃起了戰火。開皇四年十二月楊堅任命楊素爲行軍元帥，收復西樑失地宜州，十二月上旬，楊素率水師三萬餘人自巴東郡東下三峽，與荊州總管宇文述相配合在長江上游發起攻勢作戰。陳國皇帝派大將戚欣率水師五萬餘人在天門郡（今湖北宜昌市）以遏隋軍，這是自隋開皇元年後第一次與陳國正式開戰。
天門郡本是西樑領土，西樑在江陵建都之後改宜都郡爲宜州。後來由於蕭巖叛亂，陳慧紀命大將戚欣率陳軍佔領了宜州之後又改宜州爲天門郡。陳慧紀戰敗之後率部下逃至天門郡，戚欣將陳慧紀送回陳國都城健康。陳國皇帝免去陳慧紀大將軍職務，拜戚欣爲徵西大將軍，駐防天門郡。
楊素大軍行軍至流頭灘(又名虎頭灘，今湖北宜昌西北)，陳將戚欣率青龍戰船百餘艘、戰士數千人堅守前方狼尾灘(今湖北宜昌西北長江中)，以遏隋軍。狼尾灘地勢險峭，水流湍急，易守難攻，隋軍初戰失利，兩軍處於膠着狀態，將領們都憂心忡忡。
楊素道"諸位將領，雖然首戰我軍失利，但敵軍也沒有佔到多大便宜，還望諸位不要灰心喪氣。”
“元帥，不是我等灰心喪氣，而是這狼尾灘地勢險峭，水流湍急，易守難攻，末將怕明日出戰再次失利，怕影響軍中士氣。不如我軍暫返永安再作計議。”某將領道
“我大軍前來就是要拿下天門郡，誰敢再言退兵，定斬不饒！”
“諾，還請元帥示下，我等無不從命！”衆將領單膝跪地道
楊素踟躕了半晌道“我軍初戰失利，陳軍數量有多於我軍，必然將我軍不放在心上。如果我們白天與他們交戰，他們就會看見我們，灘險水急，戰船隊形不易保持嚴整，那麼我們就失去了有利的條件，想取勝是難上加難。”
“不知元帥可有何妙計？”又一將領出列道。
楊素看了此人一眼，原來是開府儀同三司王長襲，心道此人還真是識趣，知道給長官遞話。
楊素清了清嗓子道“陳軍初戰勝利，防禦鬆懈。本帥決定採用水陸協同，分進合擊的方針，乘夜突襲，將其擊敗！成敗在此一舉，還望諸位緊密配合，速戰速決，畢其功於一役！”
“謹遵元帥軍令！”衆將領齊聲道。
三日後深夜，楊素率黃龍戰船數千艘，令將士銜枚開進，實施正面突破;令開府儀同三司王長襲率步兵由長江南岸攻擊戚欣別柵;令大將軍宇文述率甲騎自江陵(今屬湖北)西進，沿長江北岸進擊陳軍白沙(今宜昌東)要點。
隋軍水陸配合，於次日拂曉，一舉擊敗戚欣所部。戚欣僅率二十名親兵逃走，部屬全部被俘。楊素遵循楊廣俘虜政策（楊廣將對待俘虜的政策獻給楊堅，楊堅欣然接受，傳令各軍嚴格遵守），不殺不辱，慰勞後全部釋放，秋毫不犯，陳國人非常高興，有一部分陳軍想加入隋軍，楊素欣然同意，同時心裡不由得對楊廣高看了一眼。
此戰，楊素恰當選擇進攻時機，以水軍突襲與兩岸步、騎兵協同攻擊，速戰速決，取得首戰勝利，爲滅陳戰爭發展創造了有利條件。實行優待俘虜政策，有利於爭取更多的陳軍將士。
狼尾灘(今湖北宜昌西北)之戰後，楊素繼續率水軍順江東下。陳國江夏大總管、徵南將軍周羅睺派南康內史呂忠肅率軍屯守歧亭，在兩岸岩石上鑿孔，系三條鐵索橫截江面，阻遏隋軍戰船。爲固守峽口，呂忠肅將自己私產全部捐出充軍，所以陳軍鬥志頗高，防禦也很嚴密。
開皇五年正月，楊素派王長襲部與大將軍宇文述軍部相配合，猛攻陳軍岸上柵障營壘，呂忠肅率軍據險抵抗，激戰四十餘次，隋軍傷亡慘重，死五千餘人。陳軍盡割死者之鼻以邀功求賞，激起隋軍憤怒，拚死力戰，多次獲勝。所俘陳軍將士，楊素則全部釋放。
在隋軍猛烈攻擊下，呂忠肅被迫放棄營柵，連夜逃走。楊素令士卒毀掉欄江鐵索，繼續沿江而下。呂忠肅退據荊門之延洲，依恃荊門山險要地形，再次阻遏隋軍。楊素派善於駕舟的巴延士卒一千餘人，乘五牙戰艦，用艦上拍竿擊碎陳戰船十餘艘，俘兩千餘人，再次大破呂忠肅軍，呂忠肅隻身逃走。
駐守江南岸安蜀城(今湖北宜都西北長江南岸)的陳國信州刺史顧覺，也棄城逃走，陳國公安郡郡守陸倫獻城而降。楊素命屈突通率軍入城駐守，驍果軍入城，對城中百姓及鄉紳秋毫不犯，對於庫府資財，分文不取。城中的百姓和鄉紳拍手稱頌驍果軍乃仁義之師，驍果軍內的陳國降兵既感動又佩服。
隋軍在長江上游作戰獲勝後，楊素率領水軍繼續東下，大小戰船鋪滿了整了江面，旌旗盔甲在陽光下鮮豔耀眼。楊素端坐在平乘大船之上，容貌體魄雄健魁偉，陳國人望而生畏。二十日，楊素與大將軍宇文述會師於巴州(今湖南嶽陽市)，陳國巴州刺史晉熙王陳叔文見隋軍來勢洶洶，命人緊閉城門。
楊素派屬下將士天天在城下罵陣，陳叔文氣急敗壞，命郡守樊通出城迎敵，樊通不到十個回合被宇文述斬於馬下，陳軍大亂。楊素親率大軍掩殺，陳軍潰逃，隋軍乘勝入城，俘陳國晉熙王陳叔文。
楊素軍入城駐紮在巴州洞庭湖，命人建造五牙、黃龍等戰船，訓練兵卒，加強水師，作滅陳準備。宇文述率部下回軍駐守江陵，防止周羅睺來個聲東擊西。
此戰隋軍收復西樑宜州、巴州等地，並佔領了陳國的公安郡。此戰，楊素、宇文述以水軍、步兵相配合，先擊破陳軍江岸據點，再以水軍戰船接舷戰，大破敵軍。隋大型戰艦五牙及重型拍竿裝備在作戰中顯示了威力。優俘政策對瓦解陳軍、配合軍事進攻，具有積極作用。至此，長江上游爲隋軍所控制，阻止了上游陳軍的東援，保障了下游主力的渡江作戰。
戰報傳至大興，楊堅大喜，晉封楊素爲樑國公，邑三千戶，賜物萬段，粟萬石，加以金寶。