商周时期，今肥城境内先后有遂、铸、讙、肥子等方域古国。肥城因肥子国而得名。西汉初年始置肥城县，属兖州刺史部泰山郡所辖，距今已二千二百多年。
老县城始建于西汉，位于市境东北部，有“卧虎城”之说。元至元十二年（1275年），知县赵珪监修城池。明成化五年（1469年），知县林廷庸增筑月城和门楼。明万历二十二年（1594年），知县马经纶组织民众改筑石砌城垣。清乾隆二十六年（1761年），知县李九如率民修补城池 32段。1946年 5月，为清除国民党军政机关在城内的依托，县民主政府组织群众将部分城墙拆除。至1958年全部拆掉。中华人民共和国建立后，县城进行改建和扩建。至1976年底，建筑用地扩展到1.234平方公里。因地下埋煤待采，1975年经国家计委批准，县城迁至老县城南 7公里处刘家庄。1980年 1月，中共肥城县委、县革命委员会和部分企业事业迁驻新城。1982年县城搬迁基本结束。至 2016年，城市建成区面积 44.3平方公里，已成为全市政治、经济、文化中心。