清康熙年间传教士汤若望、南怀仁等曾在境内建教堂传教，但规模小，不久停止。1881年(清光绪七年)、1887年8月(清光绪十三年七月)德国传教士安治泰，受德国圣言会的派遣，多次来兖州传教建教堂，遭到城内绅民的强烈反对。1891年，德国传教士强行住进兖州城，1897年开始兴建天主教堂。地址在城内钟楼街(当地人称南教堂)。1899年建成高21米的大圣堂和主教楼等一批建筑物。1918年，天主教在境内设有孟家村、冠庄铺、鹅鸭厂、郑家坡、甄家桥、小孟、李家村、道义、颜店村、王因、长庆屯、高吴桥等12个堂口，有信徒800余人。1924年(民国13年)山东天主教总堂由阳谷迁至兖州，改称兖州教区。从此，兖州成为鲁西南天主教的活动中心。1943年(民国32年)，境内有教徒5109人，分布在全县86个村庄。兖州教区包括11个县，共有堂口825处，教徒59927人。罗马教廷先后派到兖州来的外籍传教士多达202人。教堂经过数十年的扩建，到解放前夕，共建楼房17座，286间，平房432间，占地1400亩。办有育德小学、中德中学、安多医院、避静山庄、孤儿院、麻风院、印刷馆、绣花楼、酿酒房、牛奶房等附属事业。鼎盛时期,教堂内有中外神甫、修女、修士、信徒1484人。
兖州天主教主教楼
兖州解放后，外国传教士多数回国，少数留在教堂内。以神甫庄里格为首组织“圣母军”与人民政府作对。1953年县公安局将圣母军首领庄里格、英伯兰等驱逐出境。1956年滋阳县天主教爱国会成立，陈广义任主任，自圣主教石林格任副主任。从此，天主教摆脱国外宗教势力的束缚，走上了自治、自养、自传、独立自主、自办教会的道路。“文化大革命”期间，大圣堂被砸毁拆除，天主教受到冲击，活动被迫停止。1980年，恢复天主教爱国会组织，开放了城内天主教堂口，由王耀实神甫主持教务。1990年，兖州天主教堂有神甫3人，修女10人，修士1人。平时有200余人在教堂内过宗教生活，重大节日、瞻礼多达800余人。农村有冠庄铺、鹅鸭厂两个活动点。1993年5月，祝圣赵凤梧为主教。
1995年，兖州市天主教堂有主教1人，神甫2人，修女9人，修士1人。全市11个乡镇、30个村庄，有教徒近千人。宗教活动除天主教堂等3个活动点外，平常多分散于教徒家中。天主教兖州教区仍沿袭旧制，跨行政区设置，包括济宁市、枣庄市各县市(区)以及泰安市南部、临沂市西部、菏泽地区东部的部分县。教区长(主教)住兖州。