2002年，全市有县级以上文物保护的古遗址105处，其中全国重点文物保护单位2处（大汶口文化遗址、齐长城），省文物保护单位3处（新泰智人化石地点、西太平唐宋磁窑址、东平故城遗址），市文物保护单位14处，县文物保护单位86处。
一、大汶口遗址
大汶口文化为新石器时期文化，因1959年发掘的大汶口遗址（又称大汶口墓地）而得名。遗址范围东南达汶河南岸的堡头村，西北靠近大汶河北岸的卫驾庄，西南部被汶河淹没，东北部靠近大汶口镇，汶河自东向西把遗址分为两部分。遗址总面积82.5万平方米，出土大批墓葬和石、陶、玉、骨器物等随葬品。1977年，山东省革委公布为省文物保护单位；1982年，国务院公布为全国重点文物保护单位。自该遗址发掘后，又发现相同类型的文化遗址200多处，主要分布在汶、泗、沂、淄、潍流域地区，鲁西平原东部边缘、江苏北部、皖东北、豫东地区亦有零星发现。年代约始自公元前4300年，到前2500年左右。大汶口遗址与境内的典型龙山文化遗址有明显的继承关系。
大汶口遗址集中反映了该文化中、晚期的情况。从分期与年代看，早、中期墓代表大汶口文化中期（约前3500—前2800）的面貌。典型器物有折腹罐形鼎、实足、大镂孔圈足豆、深腹背壶等。彩陶纹样除仍见早期的花瓣纹外，多用波折纹、方格纹，稍后出现红色圆点彩绘。大汶口文化晚期（约前2800—前2500）以大汶口遗址晚期墓为代表。典型器物有篮纹鼎、折腹豆、瓶、磨光黑陶高柄杯、篮纹大口尊等。此期，灰黑陶、黄陶剧增，彩陶数量减少，流行螺旋纹。经济以原始粟作农业为主，一些手工业制作已脱离农业而独立发展。中期以后盛行猪随葬，说明粮食已有剩余。从出土遗物看，渔猎在经济生活中占有一定地位。制陶业使用轮制技术，器物造型复杂、种类增多，出现少量轮制小件器物和火候较高的灰白色陶器。晚期墓中出现快轮制造的大陶盆。薄胎磨光黑陶高柄杯代表了当时制陶工艺的最高水平。大汶口遗址出土的横穴式陶窑在中国新石器时代属于较进步的形式。16齿象牙透雕梳、花瓣纹象牙筒和镶嵌绿松石的骨雕筒等，代表着中国新石器时代制骨工艺的最高水平。从遗址出土情况看，出现了明显的贫富分化，私有制在逐渐形成。男女合葬表明父权制已确立，进入了父系氏族社会。
第一次发掘为1959年5月，津浦铁路复线工程进行中，汶河南岸铁路东侧堡头村西约100米处挖土方的民工刨出一批陶器碎片和零碎遗物及一件完整的陶背壶。济南市文化局接到报告后，派市博物馆刘锡曾进行调查，确认为一处新石器时期文化遗址。刘将搜集到的标本交王献唐和省文物管理处。6月24日，省文管处、济南市博物馆在中科院考古所山东队协助下，由杨子范主持，正式开始发掘。泰安、历城县的培训人员参加发掘工作。至9月初工地工作全部结束，发掘面积5400平方米，清理墓葬133座（是一处集中的氏族公共墓地），还发掘出横穴式陶窑1座。墓葬集中分布在铁路以西，在北起汶河，南北长100米、宽30米的范围内发掘出墓葬104座，余则星散在周围，排列无一定次序，但除编号128号墓外均为东西向排列，大概和原始宗教信仰有关。墓葬均为长方形竖穴土坑墓，其中14座有木质葬具痕迹，18座有二层台，随葬品较集中，5座随葬品最多的大墓拥有整个墓地随葬品的约四分之一。随葬品多寡悬殊，说明贫富分化明显。早期的72座墓中近半数有猪头随葬。除少数墓葬外，大多数有早、中、晚三期的明确划分。葬俗有男女独葬、成年男女合葬、儿童单独葬几种；葬式以仰身直肢为主，也有侧身葬，个别的俯身葬和屈肢葬。中、晚期墓葬出现年龄相仿的成年男女合葬情况，说明当时一夫一妻单独占有的婚姻制度已确立。墓葬人骨鉴定结果表明有拔牙和人工枕骨变形的习俗。死者随葬獐牙、獐牙钩形器及龟甲等，为其他新石器时代文化所少见。
遗址共出土随葬品2000余件，主要有农业、纺织、渔猎工具、生活用具和装饰品等。农业生产和加工工具有石铲、石斧、石锛、石刀、蚌镰、骨镰、石凿、骨凿、石锤、石磨盘、石磨棒等。渔猎工具有石矛、骨矛、骨镖、骨镞、网坠、鱼钩。纺织缝纫工具有石陶质的纺轮、骨梭形器、骨针、角锥、骨锥等。生活用具主要有陶制的鼎、豆、壶、背壶、罐、杯、尊、瓶、碗、钵、盆、盔形器、器座等，其中兽形有提梁陶器、彩陶背壶、大镂孔豆、镂孔高柄杯等。装饰品主要有单独用于头饰的束发器、笄、头饰、颈饰、臂环和指环等。典型器物有透雕象牙梳、象牙雕筒等。墓地工作结束后，器物全部运往济南，部分器物提调北京中国历史博物馆。大汶口墓地的第一次发掘，填补了我国东南沿海新石器时期文化的空白。1974年，发掘报告《大汶口》出版发行。
第二次发掘有一定偶然性。1973年，有关部门对大汶口遗址进行复查并推荐为省级文物保护单位。次年，交通部门在铁路桥西300米处选定桥位建设公路桥。北引桥路基宽18米、高3米，需在基址两侧伸展30米宽的范围内取土。同年5月，桥北部第一座桥墩在遗址上打好基础。泰山管理委员会翟所淦偶然到此，发现大量破碎陶片和完整器物，文化层已明显暴露，便要求立即停工，并将此情况报告省、地文化部门。省决定配合工程建设进行抢救性清理发掘。发掘拟在北引桥基址长100米、宽80米的范围内进行，泰安成立以刘芳楷为组长的领导小组，省博物馆发掘队主持发掘，泰安等8个地、市的文物工作者30余人参加。9月16日正式开始发掘，准备重点开5×5探方40个。11月底发掘结束，揭露面积1000多平方米，出土遗物丰富，发现一批居住遗址，主要包括3种类型的30多个灰坑和一座房基。一类椭圆型灰坑，直径约3.4米，这种灰坑占大多数。有的坑壁修得很平，坑底坚硬有活动面，灰坑底有柱子洞，洞底填青灰泥后夯实，有住人的可能。还有的灰坑壁发现有石斧和木棒加工的痕迹。发现的房基呈椭圆型，有上下层居住面和一段残墙，中部有一圆型烧土面，此房受后期遗址破坏已很不完整。发掘出的墓葬共31座，皆有红陶钵、石纺轮、石斧、骨锥、骨镞等遗物。这批墓葬早于1959年发掘的133座墓葬，其中有成人、儿童石椁墓各一座，是已知大汶口文化早期墓葬中仅有的两座石椁墓。此次发掘的上层墓葬中，有一座有生土二层台。遗址中还发现有一些龙山文化灰坑。第二次发掘，使人们了解到大汶口遗址河北岸部分的范围和地层堆积情况，发现了早于第一次发掘的墓葬和地层资料。该次发掘在“文化大革命”中，以致遗址文化层完全暴露，人们却熟视无睹，损坏了大量器物，造成无法挽回的损失。
1978年进行第三次遗址发掘，为有计划的布方发掘，目的在1974年抢救性发掘的基础上，进一步搞清文化内涵的一些问题。发掘由省博物馆张江凯等主持，泰安地区文物局程继林参加。发掘分两次进行，5—7月发掘探方20个，10—12月发掘探方十数个，揭露面积近1000平方米，清理墓葬24座，发现房基数处，灰坑若干和一批石、陶、骨、蚌、牙等遗物。
通过第二、三次发掘，对大汶口文化的认识更为清晰，搞清了遗址地层关系。地层为7层，4—7层为大汶口文化层，文化层厚2～3米，文化层中发现早于1959年发掘墓葬的遗址和遗物，证明6000多年前我们的祖先就在这里繁衍生息，从而为大汶口文化早期情况的研究提供了地层资料和实物资料。墓葬在4层和5层中，随葬陶器有鼎、豆、壶、钵、盆、觚型杯、罐等器形，有彩陶和光洁的红陶、黑皮陶。红陶和红褐陶为主要陶色。石器中有石铲、石锛、石凿，骨器有骨针、骨锥、骨镞等，石、骨器磨制光洁。4—5层地层中还有15处居住遗址，近百处窖穴、灰坑。第5层中的房子平面呈瓢把形或桃形，半地穴式，四周有柱洞，瓢把或桃尖处是门道，直径2米左右。第4层地层中的房子多方形，四周立柱，平地建造，2.5×2.5米，为早期居住情况提供了重要资料。在遗址中还采集到木炭花粉孢子，从而测定出大汶口早期遗址的绝对年代。
二、齐长城遗址（泰安段）
齐长城，是山东古代伟大建筑工程之一，也是中国历史上修筑的长城之一。横亘山东省境内，西起黄河东岸长清县西南孝里镇广里村北，向东蜿蜒攀升至泰山区境内的中低山区，沿泰沂山脉分水岭抵达黄海西岸，在青岛市黄岛区东于家河村东北入海，全长500公里。2001年被国务院公布为全国重点文物保护单位。泰安市境内齐长城分肥城段，岱岳区、泰山区段，全长75公里。
肥城段在肥城市北境，西起老城镇北5公里处项峪北山，东至五花山东入长清，长17公里。建筑材料就地取材，有的地方以沙土夯筑，有的地方以片麻石和“鱼子石”顺山势垒砌，有的地方“因地形，用险制塞”，利用悬崖峭壁代替城墙。凡经山口处为土基。山脊遗址一般高1.5～2米，底宽5～6米，顶宽1.5米，有的高4～6米，宽6～8米。最东段高10米，底宽15米。
岱岳区、泰山区段在两区北境、泰山南北分水岭上。西自五花山东进入岱岳区道朗乡黄巢寨山，沿山脊折向东北，再入长清境，自界首北顶山又入岱岳区，穿越摩天岭，入泰山区牛山口西北，经马刨泉村北，讲书堂北、大药乡北，出泰山区，再入岱岳区，东北经长城岭、水泉子村、西门台、天马顶、梯子山、蒿滩村，至泰安、莱芜、章丘分界线，长58公里，残垣断壁处处可见。其中东段最清晰，自大津口经黄前镇水泉子村西北的济泰公路山口，至下港乡谷山村一带，遗址绵延不断，长34公里，高2～4米，底宽6～10米，顶宽2～4米，石筑，间以夯土。
三、东平故城遗址
位于东平县东平镇宿城村西北处，为两汉之际东平国王城遗址，唐代曾为宿城县治。遗址大体呈长方形，东西宽约1900米，南北长约1300米。城址内西北角、东北角、东南角残存有汉代夯土城墙。遗存文物十分丰富，地表暴露物有灰陶豆、瓮、罐、板瓦、筒瓦残片、路钉砖和大型陶砖以及青瓷豆、盘、罐等。近年来，出土文物有泥质五铢钱范、铁质五铢钱范、错银铜虎符、金银器和铁锄、铁犁等。1977年，被省政府公布为文物保护单位。
四、西太平唐宋古磁窑址
唐至宋代瓷窑址。位于宁阳县华丰镇西北部、磁窑火车站东3公里处。窑址东南西北狭长，长约2.5公里，宽约1公里。出土文物有瓷片、瓷俑、瓷范、瓷碗、瓷罐、玩具、范模、研磨器、窑具、碾槽、碾轮、石臼等。散布面积1.86万平方米。该窑址烧造瓷器历史未见文献记载。依出土器物的造型、釉色及工艺特点分析，唐代中期建窑，宋代发展到鼎盛时期，元代废弃。1977年，被省政府公布为文物保护单位。
五、新泰智人化石地点
位于新泰市东都镇乌珠台村南700米的凤凰山与玉皇山之间沟壑中。1966年，村民在沟中挖井时于井壁东侧发现一直径50～60厘米的石洞，石洞为石灰岩喀斯特溶洞，化石堆积在洞口附近，主要是动物牙齿化石和一枚人类左下臼齿，未发现石器。时代属更新世晚期，距今约5万年。同时发现马、牛、猪、虎、鹿、披毛犀等哺乳动物的牙齿化石。
乌珠台智人牙齿点为全省少见早期古人类遗址之一，乌珠台智人牙齿点的发现为研究山东地区古人类的发展等提供了重要资料。1992年，被省政府公布为文物保护单位。