市境地处峄山断裂以西，汶、泗河冲洪积扇倾斜平原。第四系松散岩类发育，地势东高西低，北高南低，向西南方向倾斜。东部大南铺、道义村一带发育为泗河冲洪积扇；西部小孟、新驿、顿村一带发育为汶河冲洪积扇；汶、泗冲洪积扇叠加地带位于漕河、大安、天齐庙一带。两冲洪积扇均发育有良好的含水砂层。地下水类型为第四系孔隙水，具有补给、径流、贮存的良好条件和水量丰富、水质好、埋藏浅的特点。含水层主要发育在埋深110米以上。含水砂层有由东北向西南埋藏加深，层数增多，颗粒度变细的特点。含水岩性为中粗、中细、细砂，含少量砾石。据山东省鲁南地质工程勘察院在大南铺等富水地段勘探，埋深110米以上40米以下第四系孔隙水允许开采量为6.16万立方米/日。
地下水的补给主要来源为大气降水，其次为东、北部基岩山区的地下水侧向径流补给和河流下渗补给。如东部泉林泉水排泄量为15万立方米/日左右，排泄于泗河，在流经兖州市东部几乎全部下渗补给地下水。地下水排泄主要是人工开采；其次为地下水的自然径流。地下水流向总趋势由东北向西南径流，最终排泄于南四湖。
隐伏于第四系之下的地层有奥陶系、石炭--二迭系、侏罗系及老、新第三系。因此境内埋藏着各种类型的地下水。其中奥陶系岩溶裂隙水具有良好的开发远景。兖州北部已有小规模开采。