3月下旬，國民黨軍對山東解放區的重點進攻正式開始。先後被調往山東戰場的兵力達到24個整編師(軍)、60個旅，45萬人，並以其精銳主力整編第74師、第5軍、整編第11師爲骨幹，分別編成三個機動兵團，擔任主要突擊任務。
其中第1兵團8個整編師共20個旅20萬人，由司令官湯恩伯指揮，是進攻的主要集團，該兵團企圖首先佔領沂水、坦埠一線，爾後與第2、第3兵團通力向北、向東進攻，迫使華東野戰軍主力決戰或北援黃河。
另外，第2綏靖區5個軍部署在膠濟鐵路(青島一濟南)和津浦鐵路(天津一浦口)泰安以北地區，策應3個兵團作戰;第3綏靖區2個整編師在嶧縣、棗莊爲2線部隊。
4月上旬，國民黨軍以一部兵力打通了津浦鐵路徐州至濟南段和臨沂至兗州的公路，佔領魯南解放區後，三個兵團分別由臨沂、泰安、泗水向魯中山區發起全線進攻，企圖尋找華東野戰軍主力決戰。
敵軍總兵力達13個整編師(軍)、34個旅，25萬餘人，相當集中，爲了避免在進攻中被華野分割殲滅，採取了“密集靠攏、加強維繫、穩紮穩打，逐步推進”的方針。
4月初，華東野戰軍自焦濟路南下，隱蔽配置於與國民黨軍方陣相對應的50 公里地帶，相距僅10公里左右。6日，國民黨軍派飛機對駐坦埠附近的華東野戰軍指揮部進行轟炸 ，19日發起了全面進攻。
華東野戰軍展開了阻擊戰。華東野戰軍在山東的兵力有9個步兵縱隊和一個特種兵縱隊，約27萬餘人，與國民黨軍兵力相比居於劣勢。
從3月下旬至5月上旬一個多月的時間裡，華東野戰軍主動出擊，與敵進行了幾次接觸和作戰，但除了4月下旬在泰安殲滅了敵第72師主力外，其餘大量殲敵的計劃均未實現。
華東野戰軍司令員兼政治委員陳毅、副司令員粟裕於5月上旬調整部署，將主力東移，後撤一步;並以準備南下華中的第2、第7縱隊隱蔽集結於莒縣地區，以進入魯南的第6縱隊隱蔽在平邑附近地區，待機配合主力作戰。
華野主力東移後， 使蔣介石、陳誠產生了錯誤判斷，誤認爲華野“攻勢疲憊”，可能繼續向東北方向的淄川、博山方向撤退。遂於5月10日命令各部兼程前進，跟蹤追剿，以實現在魯中山區與華野主力決戰之目的。
顧祝同轉令3個兵團放膽向博山、沂水一線疾進。右翼第1兵團改變原定的穩紮穩打戰法，不待第2、第3兵團統行動，即以整編第74師爲骨幹，在整編第25、第83師的配合下，於5月11日自垛莊、桃墟地區進攻坦埠，企圖乘隙佔領沂水至蒙陰公路;另以第7軍及整編第48、第65師在左右兩側擔任掩護。
5月11日晚，華東野戰軍收到了中央密電，立即呈送粟裕。 陳粟二人連夜召開了就近第1、第4、第8、第9縱隊及特種兵縱隊領導人作戰會議，12 日晨下達了以第1、第4、第6、第8、第9縱隊擔任割裂圍殲整74師的任務，以第2、第3、第7、第10縱隊擔任阻援任務的命令，並決定戰役於13黃昏發起。
5月11至13日，整編第74師在整編第83，第25師掩護下自垛莊北進至黃鹿寨、舊寨、野豬旺等地，被第9縱隊擊退，隨後佔領楊家寨、佛山角、馬牧池等地，準備14日攻佔坦埠（這就是通過趙繼統手送出的所謂‘誘敵’計劃，用王牌部隊整編74師冒進爲餌，實施‘中心開花’戰術）。
5月13日上午，敵3個師又發起攻擊，至下午4時懼殲後退至黃鬥頂山、重山、馬牧池。當晚，華東野戰軍第1、第8縱隊以一部兵力在整編第74師正面實旋阻擊，主力從其兩翼尋隙向縱深楔進。
第1縱隊第3師攻佔曹莊及其以北高地，逼近蒙陰，構成對外正面阻擊整編第65師;縱隊主力攻佔黃鬥頂山、堯山、天馬山、界牌等要點，割斷了整編第74師與整編第25師的聯繫，並殲整編第25師一部，該師大部縮回桃墟。
第8縱隊主力攻佔桃花山、磊石山、鼻子山等要點，割斷了整編第74師與整編第83師的聯繫;一部佔領盂良崮東南的橫山老貓窩。同時，第4、第9縱隊從正面發起攻擊，佔領黃鹿寨、佛山及馬牧池、隋家店一線，扼制了整編第74師的進攻。
第6縱隊由銅石地區急速北上，於14日晨抵達垛莊西南觀上、白埠地區。13日晚，整編第74師前沿據點遭到攻擊時，張靈甫電告委座“計劃實施順利，敵人已上鉤。”
5月14日10時，74師向盂良崮，垛莊方向撤退，並組織一部兵力進行反擊。華東野戰軍發現整編第74師南撤，立即乘勝猛攻。擔任正面攻擊的第4、第9縱隊經徹夜攻擊，進佔唐家峪子、趙家城子一線;第6縱隊在第1縱隊一部協同下，於15日拂曉攻佔垛莊，截斷了整編第74師的退路;第8縱隊攻佔萬泉山，同第1、第6縱隊打通了聯繫，在蘆山、孟良崮地區形成了對整編第74帥的四面包圍。
整編第74師這麼快被包圍，蔣介石、顧祝同雖感吃驚，但認爲74師所處地形有利，已控制制高點，必能堅守，按照計劃左右鄰加速增援，可造成與華東野戰軍主力決戰的機會。
因此，除令整編第74師固守待援，牽制華東野戰軍主力外，嚴令新泰的整編第11師、蒙陰的整編第65師、桃墟的整編第25師、青鴕寺的整編第83師以及河陽、湯頭的第7軍、整編第48師等部迅速向整編第74師靠攏;並調第5軍自萊蕪南下，整編第20師自大汶口向蒙陰前進，企圖用10個整編師的兵力在蒙陰、青駝寺地區殲滅華東野戰軍主力。
他在給徐州綏靖公署主任顧祝同的電報中談到“靈甫終於給我國軍尋找了一個殲滅共軍陳粟部於孟良崮的大好機會。因爲我74師戰鬥力強、裝備精良，且處於有利地形；再之，有恩伯、敬久、歐震三兄兵團大軍雲集，正是我國軍同陳粟決戰的好機會，現命令74師靈甫部堅守陣地、吸引共軍主力，再調10個師之兵力增援74師，以圖裡應外合，中心開花，夾擊共軍，決戰一場，殲陳粟大部或一部之兵力，一舉改變華東戰局···”