境内在商（殷）时期，地属青州、徐州所辖。西周时属兖州所辖。春秋时期属齐、鲁两国分辖。战国时期属齐国所辖。秦代属齐郡所辖。
西汉初年（公元前206年）始置肥城县，属兖州刺史部、泰山郡所辖。
东汉章和末年（公元87～88年）撤销肥城县。境地分属济北郡卢县、蛇邱县和东平国富城县所辖。
三国魏（220～265年）至东晋（317年）前，归属同东汉。境地属后赵、前燕、前秦、后燕、南燕的济北郡、东平郡分辖。
南北朝宋（420～479年），在肥城县故城设济北郡。原境地分属卢县、蛇邱县和富城县所辖，隶属兖州。
南北朝北魏孝昌三年（527年），复置肥城县，并设东济北郡于肥城县城。
南北朝北齐（550～577年），撤东济北郡，并于茌平县的济北郡。肥城县境属之。
南北朝北周建德六年（577年），于肥城县城置肥城郡。
隋开皇初年（589年），废肥城郡，保留肥城县，属济州所辖，隶属兖州。隋末，废肥城县，境地属济北郡所辖。
唐武德五年（622年），复置肥城县，属东泰州辖，隶属河南道兖州。贞观元年（627年）撤肥城县，境地并入博城县。乾封元年（666年），改博城县为乾封县。总章元年（668年），改乾封县复为博城县。神龙元年（705年），再次改博城县为乾封县。
五代（907～960年），境地仍属乾封县，隶属兖州。
宋代（960～1279年），初属乾封县所辖。后分属奉符县、平阴县所辖，隶属京东西路郓州。1115～1234年，曾在肥城境设辛寨镇，境地属平阴县、奉符县分辖，隶属山东西路东平府。
元代，至元十二年（1275年）复置肥城县，隶属山东东西道济宁路所辖。
明代洪武二年（1369年），肥城县改属济南府所辖，隶属山东布政使司。
清代，初沿明制。雍正十二年（1734年），肥城县改属泰安州所辖，隶属山东布政使司泰武道。雍正十三年（1735年）泰安州升为泰安府，肥城县仍属之。
1913年（民国二年）属岱北道所辖。1914年（民国三年）属济南道所辖。
1938年，属第六行政督察区所辖。1945年2月属鲁西（第二办事处）第六行政督察专员公署所辖。1947年属第十五行政督察区所辖。
1939年10月，肥城县抗日政府成立。初属泰西行政委员会所辖，后属泰西专员公署所辖。1942年10月属晋冀鲁豫边区政府冀鲁豫第六专员公署所辖。1949年9月属泰西专员公署所辖。
中华人民共和国建立后，1950年5月，肥城县归泰安专员公署所辖。1958年10月，肥城县划归聊城地区所辖。1959年7月，肥城县划归济南市所辖。1961年5月，复归泰安地区所辖。1985年3月属泰安市所辖。
1992年8月，撤销肥城县，改设肥城市（县级），由省直辖、泰安市代管。
2007年12月，肥城市仍由省直辖、泰安市代管。（单光启）