大革命时期，境内及周围地区就开始有共产党的活动，并逐步建立了党的地方组织。1927年春，中共山东区执行委员会根据中共中央执行委员会第三次会议“在一切工人组织、农民协会及革命的知识分子团体里组织我们的支部和党团”的决定，在铁路系统先后接受部分产业工人和苦力加入中国共产党，并建立了中共山东区执行委员会兖州直属支部，秘密开展工作，为以后革命工作的开展奠定了基础。
1930年11月，一些早年从事革命活动的北京大学、北京师范大学的毕业生，先后来到境内，在山东省立第四乡村师范学校(简称四乡师)任教，其中有共产党员谷静默、孙铁夫等。他们以教师的身份作掩护，传播马列主义，领导学生运动，秘密开展党的工作。1931年8月，学生渠毓柏、程念慈经谷静默、孙铁夫介绍加入中国共产党，成为四乡师第一批学生党员。是年，四乡师党员孙铁夫、渠毓柏及进步学生乔海秋等领导成立了“社会科学研究会”、“文学研究会”、“消费合作社”等党的外围组织，通过党在河北省保定的秘密书店及上海的“三联书店”，向学生提供大量马列著作和进步书刊，使大批青年接受马列主义，走上了革命道路。1931年12月16日，在中共山东省委的领导下，四乡师、曲阜二师、济宁七中等鲁南7校2000余名学生组成南下抗日爱国请愿团，会集兖州府(火车)站，卧轨截车，迫使津浦铁路交通中断4天。这场斗争震动全国，震慑和打击了国民党反动派，激发了广大青年学生的爱国热情。1932年2月，中共党员段雪笙受党的派遣，由北京到四乡师，秘密从事党的工作。四乡师学生乔尚涵(乔海秋)由王福鸿介绍加入中国共产党。之后，乔尚涵又介绍丁九荣(丁景宇、李又村)等10余名学生加入中国共产党。下半年，中共山东省立第四乡村师范学校支部成立，隶属于山东省委。党支部下设两个党小组，乔海秋任书记，单绍曾(又名单以理，1935年7月离职)任组织干事，丁九荣任宣传干事(1934年底离职)。支部成立后，积极为党培养力量。
1933年8月，进步学生秦令璞(秦和珍)、高鸣宇、杜平国、张月衡(女)分别由乔海秋、段雪笙等介绍加入中国共产党。张月衡为境内第一个女党员。8月底，党支部下设4个党小组，有党员十四五人。至年底党员增至20多人，支部辖5个党小组。
1934年底乔海秋毕业离校，秦令璞继任支部书记。年底党员发展到26人。1935年7月濮县早期党员徐光俭到四乡师，接受孔繁阁(孔子凌)、王亚朴为中共党员。同年7月秦令璞毕业回原籍金乡，孔繁阁接任支部书记。1935年“一二九”北京学生运动爆发后，中共四乡师党组织领导抗日罢课斗争，大批学生走向街头游行、演说，抨击蒋介石的卖国投降政策。1936年1月，学生的革命行动遭到国民党政府镇压。张香阁、王亚朴等20余名学生被开除或勒令退学，教师刘松塘和8名学生被逮捕，四乡师党组织及社会科学研究会遭到严重破坏，被迫停止工作。孔繁阁、王亚朴等部分党员分散活动。此后，四乡师党的活动虽未间断，但党的支部未能重建。
四乡师党支部自1932年下半年至1936年1月，先后隶属于中共山东省委、山东省临时委员会、山东省工作委员会。
1938年1月4日，日军侵占兖州。党组织转移至与邹县、济宁相邻的边联地区开展活动，发展党员。同年12月，共产党员丁平、冯起介绍程伯川加入中国共产党。1939年7月，程伯川率所属抗日武装编入邹西独立营，在兖州城南坚持抗日斗争。10月，兖(州)南程家行村党支部成立，程伯川任书记，至年底有党员7名。同年秋，中共邹西县委在兖州城南娄庄、程家街和济宁城东南的南贯集一带发展一批党员，并组建了南贯集分区委，丁志民(丁广隆)任书记。1940年春，中共济宁县工委书记杨沛以私塾先生身份为掩护，到赵庄、傅家庙等村秘密开展工作，发展党员。3月、7月和10月，分别发展孙光远、孙耀南和孙祥武加入中国共产党。12月组建中共赵庄支部，孙光远任书记，孙耀南任宣传委员，孙祥武任组织委员。党支部分别在傅家庙、何家岗村(今属济宁市任城区)发展赵子贞、张宗澄等10多名党员，建立了傅家庙党支部，赵子贞任书记。1941年3月，赵庄分区委成立，孙光远任书记。1942年7月，因叛徒出卖，分区委机关遭敌破坏。1943年9月，中共湖东县委在兖州城南的大、小娄庄和程家街等村发动群众，开展抗日斗争。