１９２８年春，国民党北伐军沿津浦铁路向北发起攻势，冯玉祥也在鲁西南一带发起进攻，张宗昌的直鲁联军全线溃败。４月下旬，国民党北伐军攻陷兖州后包围泰安，主力继续北上济南。据守泰安的军阀张宗昌残部迫于大军压境、孤立无援，开城投降。５月１日，北伐军击败直鲁联军进入济南。３日，日军为阻挠北伐，借口保护日本侨民，出兵济南，在商埠大肆屠杀军民并惨杀了中国外交公使蔡公时等１７人，制造了震惊中外的“五三惨案”。１１日，日军占领济南。
1928年5月21日，南京国民党政府明令在泰安组建山东省政府，泰安为临时省会。6月1日，国民党山东省政府在泰安正式成立，由孙良诚任省政府主席。省政府办事处设在泰山红门关帝庙。此时，山东处于蒋、冯两系及日军、直鲁联军残余军阀并立的混乱局面。直至１９２９年６月日军撤离济南，国民党山东省政府迁回济南为止，泰安一度为山东省临时省会驻地，国民党山东省党部、省政府及省属机关均设在泰安城。这一期间，官僚政客充斥泰城。但由于缺乏训练有素的行政人员，旧官僚政客又打入政权机构把持大权，土豪劣绅、资本家摇身一变成了国民党。加之国民党内部派系（蒋派、汪派、改组派等）林立，互相倾轧，争斗激烈，国民党左派进步力量受到排挤。一年之内国民党泰安县党部被改组了３次，新军阀们为了自己的利益拼命扩张势力，横征暴敛，苛捐杂税有增无减，“又加建设附捐、教育附捐、治河附捐、货物特税、营业牌照税、门牌税等等，每亩地合洋四元有余，民众困苦万状。”（1）泰安县人民又陷入新军阀统治的水深火热之中。
国民党控制山东后，中共山东省党组织斗争的主要敌人成为国民党反动派，斗争形势日益严峻。国民党泰安县党部也由秘密转为公开，竭力反共。１９２８年11月，山东的早期中共党员并担任过党内重要职务的王复元、王用章兄弟相继叛变投靠国民党，首先破坏了中共山东 省的党、团机关，随后对其他机关进行破坏，到处腥风血雨，白色恐怖笼罩山东，革命形势更加严峻。
在复杂严峻的形势下，中共泰安党组织活动第一次陷入低潮。１９２７年入冬后，中共山东省委开始执行中央的“清党”政策，改组地方党组织，清除“机会主义分子”。１９２８年２月１５日，省委决定泰莱县委的工作重点仍放在泰安，并撤消莱芜区委，各支部直属泰莱县委，后莱芜党组织与上级失去联系，遂之消散瓦解。不久，省委又调马守愚去青岛工作，由于赞之接任县委书记。３月，省委又调于赞之去昌邑工作，于临行前在泰安火车站地下室召开泰莱县委会议，传达省委三条决定：一是由王仲修代理县委书记，朱玉干任组织委员，秦少祥任宣传委员；二是在当时急剧恶化的斗争形势下，要改变斗争方式，注意斗争策略；三是以火车站为中心，扩大工会组织，增加党的力量。由于党组织在前段工作中有所暴露，少数党员还是跨党分子，被迫分散隐蔽，有的转入农村，有的流落外地，党的力量严重削弱，工作陷入难以开展的状态。４月，国民党新军阀占领泰安，结束了旧军阀张宗昌在泰安的统治。以李恒道为首的原国民党泰安县秘密组织公开成立了泰安县党部，到处抓捕共产党员。共产党员武冠英、李鹤年等人打入国民党第四军十二师政治部宣传队，并随军离开泰安。秦少祥去国民党省教育厅附近的大众剧场当了演员。孟宪尧等其它党员分散到各地躲避起来。至此，泰安县党组织与省委失去联系，被迫进入地下斗争状态。