境内群众体育协会始建于50年代。1957年，全县有教育、金融等基层体育协会24个，1959年后陆续停止活动。
1985年1月12日，中华全国体育总会兖州分会成立。设主席1人，副主席9人，常务委员17人，委员18人，正副秘书长各1人。主要协助体委开展社会体育活动，领导各单项体育协会，领导并组织各单项体育比赛。老年体育协会和乒乓球、举重、摔跤、足球、田径、棋类、排球、篮球、武术等9个单项协会与中华全国体育总会兖州分会同时成立。此后，相继成立信鸽、门球、钓鱼3个协会和体育辅导站、老年人导引养生功推广委员会。1990年5月，改为兖州县体育总会，统揽各单项体育协会，开展社会体育活动。
1989年12月5日设老年体育协会办公室，编制3人，为正局级事业单位。1993年12月，党政机构改革，撤销老年体育协会办公室。1995年末，全市有基层协会166个，会员1.3万余人。