宋代建立后，宋太祖于开宝五年（972年）下诏将乾封县治所迁至岱岳镇，“以就岳庙（今岱庙）”。宋真宗封禅泰山时，将县名改为奉符，并在县城西南另筑新城，其城址即为今市区南郊的旧镇村。北宋末年，泰山被金攻陷，金朝扶持建立的伪刘齐政权在奉符县境设立泰安军。伪刘齐被废后，泰安军为金所辖。金世宗将军治由新城迁回岱岳镇旧城，改军为州，建城池。元明沿袭州置，并数次重修城池。明嘉靖间，重修城池，易土以石。“城墙周七里六十步，高二丈五尺，厚二丈。池阔三丈，深二丈。四门：东曰静封、西曰望封、南曰乾封、北曰登封”。嘉靖三十二年（1553年）重修。崇祯十二年（1639年）增修四隅，各出棱角，周围三丈许，创四楼。清雍正十三年（1735年）升州为府，设泰安府郭县。乾隆十三年（1748年）春，重修泰安府城，“高厚方广如故，改四门名：东迎暄、西岳晏、南泰安、北仰圣，又各建敌楼，并石桥四座”。乾隆三十九年（1774年）、咸丰三年（1853年）重修,民国十二年（1923年）重修。
20世纪上叶，兵连祸结，泰城损坏严重。抗日战争和解放战争期间，泰安战火连绵，城垣残破，房舍不整。到1949年10月，城区面积仅2.5平方公里，有常住居民6345户、3.1万人。主要街道车站街、财源街、大关街、升平街，总长2公里，连贯东西，均为石板路，沿街商号百余家。1978年5月，泰城被列为开放城市。到1984年，城区面积16平方公里，城市人口20万，道路总长65公里。
1985年后，按照“山城一体，城不压山，新不压古，刻意求新”的城市总体规划，开展大规模城市建设，泰城面貌日新月异。1989年，泰城被省政府正式批准为历史文化名城，名城规划保护管理工作进入了新的历史发展阶段。1992年起开展城市容貌达标和创建全国卫生城市活动，1995年，泰安市被国家建设部授予全国城市综合治理先进市称号，泰城被全国爱卫会正式命名为国家卫生城市。2005年，泰安市被国务院列为国家级历史文化名城。2009年，泰安市荣获国家园林城市称号。2011年，泰安市被评为国家节水型城市，荣获山东人居环境奖。是年，泰城建成区面积60平方公里，人口60万人。