民国初年，体育工作由劝学所管理。1920年，县民众教育馆成立，设体育部主任1人，负责管理全县体育工作。1944年夏，奉令建体育场1处，办公地点设在文庙颜子阁。
建国后，体育工作由教育部门兼管。1956年5月县体育运动委员会成立，有工作人员1人。1957年11月增至2人。1958年称曲阜县体育运动委员会，有工作人员2人。1962年1月改称兖州县体育运动委员会，工作人员1人。1966年4月，县体委设主任1人，由副县长兼任，副主任2人(兼)。1968年5月12日中央军委发布“5·12命令”后，县体委改为“兖州县体委军事接管小组”。1971年12月25日改为兖州县革命委员会政治部体育组，1972年12月恢复兖州县体育运动委员会，1973年4月始，配备专职副主任，成为实体机构。体委设主任1人，由政治部党的核心小组组长兼任，副主任5人，除1名专职副主任外，其余4名副主任皆为兼职。1976～1980年，体委设主任1人(缺)，副主任1人。1981年8月20日体委有主任1人(兼)，副主任2人。1983年12月，体委下设办公室、业余体育学校(为股级)。办公室设主任1人，业余体育学校设校长1人(兼)，副校长1人。1988年3月16日，体委增设业务股。1992年9月，兖州县体育运动委员会改为兖州市体育运动委员会，体委设主任1人，副主任2人，工作人员34人，下设办公室、竞赛科、群体科、训练科、行政科、体校、体育馆。1993年12月，党政机构改革，撤销兖州市体育运动委员会，成立兖州市文化体育委员会。1995年12月，文化、体育分设，兖州市体育运动委员会下设办公室、业务科，辖市青少年竞技体育学校、市体育馆。