泰安是古人类活动的中心之一，也是古文化的发祥地。原始宗教的大山崇拜、东方崇拜促使儒、释、道三教融合，把泰安的神文化推向巅峰，远播海内外；盟主帝王的天地崇拜催生了泰山独特的封禅大典；黎民百姓对泰山的灵石崇拜塑造了世界独一无二的非物质文化遗产——“泰山石敢当”。在这齐鲁必争的“汶阳田”上，悠悠岁月孕育出内涵丰富的斑斑遗迹。
新中国诞生后，由于田野考古的迅猛发展，在泰安境内发现一大批旧、新石器时代至商周时代的古文化遗址和遗迹，成为泰山、泰安的骄傲。早在1923年《地质界报》披露：“瑞典一传教士在新泰县宁家沟挖走完整的恐龙化石，藏于瑞典国家博物馆。”后来，考古工作者在此中生代陆相地层中发掘出古脊椎动物化石和恐龙化石。这是在泰安发现的最早的动物化石群，揭开了泰山地区在7000万年前的自然环境背景和生态状况内幕。同时，在新泰东周又发现了旧石器时代与北京猿人和沂源猿人同期的哺乳动物化石群，为1966年在乌珠台发现5万年前的“智人”（少女牙齿），找到了生存环境踪迹。接着又在宁阳前张庄发现了一万年前新、旧石器更替时的细石器。
但最有影响的重大考古发现，是1959～1978年3次对大汶口文化遗址的发掘。他即是上溯6300～4500年左右的大汶口遗址古墓葬189座（其中一座属北辛文化），出土随葬品万余件；文化堆积层的时代跨越两千多年，其上有龙山文化层，下有北辛文化层（7500～6400年前），它完整而系统地揭开了母系社会向父系社会发展、原始社会向奴隶制社会过渡的神秘面纱，并为典型龙山文化（4500～3500年前）找到了承袭关系的渊源。尔后，我国文物考古工作者陆续在山东境内、江苏北部、河南东部、安徽东北、河北南部、辽东半岛等地区发现、发掘上千座同类文化遗址，皆以此被国家命名为“大汶口文化遗址”。
与此同时，在岱岳区桥沟北望村一带的商王“相土之东都”遗址上，又发掘出继龙山文化之后的岳石文化（3900～3500年前，即夏文化）。至此在泰安地区出现新石器时期互相承袭的古文化序列：即北辛文化、大汶口文化、龙山文化、岳石文化。
截至2010年，泰安市境内有国家级重点文物保护单位9处，省级23处，市级64处，县级238处。其中旧石器时期有5处、新石器时期26处、商周遗址26、春秋战国27处、秦汉73处，其他为187处。另外，还有好多不在级别的古遗址、古墓葬，而这些遗址大部集中在境内东南部的汶河流域：如新泰自城区西南龟山至城东龙廷镇约30公里即有宁家沟、下演马、庙岭南、抬头寺、瑞谷庄等20多处大汶口文化与龙山文化遗址；宁阳在汶河南岸有堡头村、古城村、官庄、黄家庵、柳园等26处大汶口文化的原生地。
这里还有赫赫有名的帝都王陵以及很多古城址、古墓葬、古战场、农民起义遗址、近现代遗址和革命历史遗迹。
著名帝都古城址有虞舜曾建都的肥城衡鱼都君庄城址，今仍存唐代《重修庙会碑记》为佐证；有商祖契传至孙——相土时（约于夏之“仲康失国”前后），势力扩大到海岱地区，于是在泰城东南建东都，史称“商王城”；有“杞人忧天的夏族之裔——杞国自商周至春秋战国的新泰都城遗址遗物；有曾与神农氏交过战的斧燧氏之裔，也是舜之裔的春秋遂国都城，原在宁阳城北，后迁至今东平遂城村。宁阳西北的白马庙村，西汉称“禹颓村”，传为大禹出生地和治水出走地。2002年在香港发现唯一最早记载大禹治水的西周青铜器《遂公（即遂国国君）盨》铭文，为有力佐证。这一带恰恰是清代史学家顾祖禹所考的禹之祖父颛顼母——蜀山氏之子昌仆的居地。与之相邻的肥城就是当年夏的肥子国。有太昊之后风姓国须句之夏商都城——今东平须昌故城；有秦之先祖嬴姓古国——今新泰楼德菟裘氏城址。
春秋战国有齐之名相管仲采邑的齐鲁会盟之地——今东平旧县乡阳谷邑城址；有黄帝裔任姓的周初姜太公支孙，封于东平鄣地城址；有鲁桓公为其夫人文姜（齐僖公之次女）便于回齐省亲而建的行宫——今汶口镇北文姜城；有传为懂鸟语的康王在徂徕山东北麓建“燕语城”，因后人曾为杞梁妻孟姜女在此建中国最早的“贞女祠”，又称“怨女城”；有传为孙膑在此战袁达、柳木二寇的商周至战国的肥城蝎子城遗址。
由于汶阳田上承载着厚重的历史文化，所以除大汶口遗址古墓葬群之外，还有王陵皇族坟和大量的名人墓葬群，其中以汉代墓群最多。著名的有岱岳区传为尧王墓的安乐庄王坟。东平梯门乡芦泉村东有尧陵山，为古东平八景之一——尧陵揽胜。雍正十三年（1735年）有御制祭文碑，按明代《集礼》（葛守诚奉敕修）：“帝王陵寝在山东省凡二：即曲阜祭少昊；东平祭唐尧”，有御制碑文，刊纪祭期和牲帛数量。东平都君庄东南有舜王冢；肥城小王庄有周武王克商后所封妫姓的陈国侯之女——妫鲁墓，曾出土西周晚期珍贵青铜器13件；新泰周家庄有春秋至战国中晚期的齐文化墓群，出土文物3600多件（组），其中有很多吴国兵器，吴王阖闾赐与伍子胥之剑和吴王诸樊之子的“王子通剑”最为珍贵，均为“艾陵之战”古战场地点提供了佐证。
汉墓中著名的有东平旧县乡的楚霸王项羽墓；岱岳区满庄镇有西汉名医、太仓令淳于意墓，又传为名垂青史的“缇萦救父”之“救女坟”；东平后银山有山东较早的汉代砖室壁画墓、老湖镇有东汉东平国宪王刘苍及其后代墓群。
新泰天宝有南北朝时“魏镇国将军兖州刺史羊祉”墓；东平有北宋“父子状元”梁灏、梁固及“祖孙三丞相”梁适、梁子美、梁焘之墓群；岱岳区金牛山前有明代万历年间兵刑两部尚书萧大亨墓。
古战场与农民起义遗址：在新泰境内有春秋末吴王夫差在徂徕山设中军而率吴、鲁将士伐齐的指挥中心，这就是著名的“艾陵之战”；在泰山扇子崖天胜寨，徂徕山前、后寨，东平无盐城有西汉末年以樊崇为首的赤眉军起义的遗址；在泰山西麓的道朗镇黄巢寨山、泰山东北麓下港八亩地为黄巢起义军失败后退至泰山的战场和黄巢就义之地；在道朗镇北一绝壁山峰和肥城牛山顶，有传为宋代巾帼英雄穆桂英与其父穆羽，不堪忍受枢密使王钦等人的迫害而抗击官军时构筑的“穆英台”；在泰山凌汉峰有抗金英雄姜博士率农民起义军起寨抗金处；在道朗二起楼村与肥城交界的石坞洞山寨有清末捻军与官兵和地方豪绅武装激战的大型遗址。
近现代遗址有冯玉祥所建烈士祠、武训学校，外国人所建孤贫院、萃英中学、育英中学、天主教堂、卍字会等。革命遗址有徂徕山抗日起义、泰西起义、老寨山革命、陆房战斗、香山战斗、金山兵工厂、东平战役等遗址。