1948年春，根据中共中央、中央军委的指示，为了打破国民党“重点防御”战略，消灭其在津浦铁路徐(州)济(南)段及重点设防的济南、兖州、徐州之军事力量，华东野战军山东兵团决定集中优势兵力，在兖州进行一次重大的攻城打援战役。5月29日，攻打泰安及其南北地区守军，拉开兖州战役序幕。
国民党蒋介石集团为竭力固守在山东的“三个要点”(济南、兖州、青岛)，委李玉堂为首的国民党军第十绥靖区司令部、霍守义的第十二军兼整编十二师及保安旅团、队等共11个团的兵力，驻守兖州及外围。李玉堂和霍守义坐镇兖州，第十绥靖区司令部驻惠民街，整十二师师部驻木货街，一一一旅驻钟楼街。
1948年6月，华东野战军山东兵团在兖州周围200里地区内歼灭守、援国民党军6.3万余人，攻占章丘、泰安、肥城、泗水、曲阜、邹县、宁阳、滕县等城，截断了兖徐、兖济之间的交通线。自7月1日起，紧缩对兖州的包围，扫清外围据点，迫近城郊。3日，七纵二十一师攻克龙桥，歼灭三三三团六连大部，接着占领赵家村。第十九师攻克前、中、后窑村。鲁中部队攻占豆腐店等外围阵地。4日起，攻城部队向西关、南关、旧关发起进攻，为不使城内守军有喘息机会，山东兵团决定集中第七纵队、第十三纵队、鲁中部队连续作战。第九纵队集结泗水担任打援和机动。
为争取这场战斗的胜利，担负攻坚任务的华东野战军第七纵队和第十三纵队全体指战员，在守军阵地前构筑了各种对抗堡及火力阵地，攻城部队全部进入出击阵地，作好了总攻的一切准备工作。
7月12日17时30分，解放军发起了总攻，12门榴弹炮、7门野炮、3门山炮，一齐向老西门、新西门以南及其纵深发射。倾刻间兖州城墙一片轰鸣，浓烟滚滚。山炮团的指挥员在步兵和迫击炮的掩护下，把火炮推近到距守军前沿工事一、二百米处，进行抵近射击，把城门两侧和护城河内的碉堡打得粉碎。
经过两个多小时的炮击，老西门南边城墙上部炸开一个宽1.5米、深3米多的缺口。新西门南边的城墙上部也打开一个宽5米、深3米的突破口。国民党军派几架飞机在城外阵地盘旋扫射，遭到解放军猛烈射击仓惶飞逃。20时40分，两个纵队的主攻部队在强大炮火掩护下，在老西门南北一线500米正面发起并肩突击登城。南线阵地上六十团一连架桥班冒着守军的猛烈炮火，把桥架到护城河上时，发现桥身短了1尺，桥板只有半截露出水面，河中污泥深，桥腿短，桥身不稳。共产党员班长杨树宽，带领全班战士下到深及嘴边的泥水中，以身体为桥桩，用肩扛起了木桥，让突击部队迅速从桥上通过。爆破班在突击排长王玉胜带领下穿过木桥扑到城下，竖起带滑轮的爆破杆，连续7次将10公斤重的炸药包升到城墙顶部，炸开一个大缺口。20时45分，主攻连队和二梯队迅速占领了城墙突破口，突击排长高振才把第一面红旗插到了兖州城头。二十师占领城垣之后，在友邻部队的配合下，击溃了守军的数次反扑。第一○九团一营三连的战士们，把笨重的木桥抬到壕边遇到守军的火力，连续奋战7次才完成架桥任务。另一个攻击点一一二团三营营长程德聚见架桥不成，遂令七连三排涉水越壕登城。先登上城头的战士，乘守军藏在城头堡内躲炮弹的时机，猛冲到瓮城守军主堡跟前，一举攻占了主堡，控制了城头。突击一连一个由未满18岁青年组成的第八班，在夺取城堡的战斗中，打得非常勇猛，同别班战士们一起，迅速歼灭了城头诸堡的守军，打开了进城的突破口。23时前后，多路攻城部队冲向中心地区，先后占领了南教堂、旧街、陋巷、中御桥街，毙俘守军4个营和1个骑兵大队，残军向东收缩。攻击部队沿东西大街、文昌街跟踪追击。在攻击部队投入纵深战斗时，由于外河桥被踏坏，后续部队隔断，突击连队伤亡较大。23时50分将桥修好，后续部队继续登城。13日3时50分，七纵队二十师突破口被守军外壕边上的暗堡封锁，根据许世友司令员的指示，纵队领导人命令部队向里猛冲。天亮之后，主攻师团全部进入城内，8时，攻城部队已占领半边街及屠宰场，11时已控制了城区西部和北部，15时30分攻占了惠民小学、兴隆塔、大寺门街一带。城内守军被迫向老东门猬集。
16时，城内守军由新老东门向铁路东牛厂、粉店方向突围。经攻城部队和打援部队前后夹击，守城部队残部均被歼于大岗头村以北公路两侧，整个战役于13日20时完全结束，共歼国民党军28000人，除第十绥靖区司令员李玉堂只身潜逃外，其余国民党军将级军官8人全被生俘。
在对兖州发起总攻的同时，九纵兵分3路，在汶河以北切断吴化文增援部队后路，截其一六一旅、一五五旅一个团和师部炮兵营，穿插夹击猛打猛冲，至7月15日战斗结束，歼灭吴化文部1.1万余人，缴获野炮7门，山炮8门，汽车100余辆。
兖州战役历时48天，共歼灭国民党军63600余人，其中俘44700余人，毙伤18900余人，解放了兖州、济宁、汶上、宁阳、曲阜、邹县、滕县、肥城、泰安、新泰、泗水、章丘12座县城，控制了津浦铁路徐(州)济(南)段350公里铁路线及其两侧2万多平方公里地域，使济南国民党军完全孤立。
在兖州战役中，七纵队二十师900多名指战员轻伤不下火线。六十团八连副班长韩安才，在突破城防时冒着密集炮火，涉水过河，连续4次执行爆破任务，为攻城部队开辟了道路，被誉为“爆破大王”，荣立特等功。五十八团四连指导员周建华，在巷战中携带卡宾枪、手榴弹只身闯入守军团部，迫使国民党军放下武器，俘获团长以下200余人，荣立一等功。以上2人均被评为华东一级“人民英雄”。六十团一连和五十八团二连等8个连队，被山东兵团纵队司令部分别授予“兖州登城第一连”、“兖州战斗英雄连”等光荣称号。
七纵六十一团登上兖州西城墙