泰山作为地壳发展的产物，它的形成经历了一个漫长而复杂的演变过程，大体上可分为古泰山形成、海陆演变、今日泰山形成等三个阶段。泰山在长期的演变过程中，经受了泰山运动、加里东运动、华里西运动、燕山运动和喜马拉雅山运动等五次大地壳运动的强烈变革，经历了地壳发展历史太古代、元古代、古生代、中生代和新生代等五个主要阶段的改造，几度沉浮，几经沧桑。今日的泰山不是太古代的古老隆起，而是一个中新生代的掀斜断块凸起，燕山运动奠定了山体的基础，喜马拉雅山运动构造了山体的基本轮廓，著名的泰前断裂活动塑造了泰山今天的自然景观面貌。
泰山杂岩有28亿年的历史，是世界最古老的岩石之一，对研究中国东部元古代地质构造、岩浆活动及板块构造，具有重要科学价值。泰山西北麓张夏、崮山、炒米店一带的灰岩和砂页岩发育典型，是北方寒武系地层的标准剖面，是多种古生物的命名地或模式标本原产地。20世纪80年代，在山前中溪发现的辉绿玢岩脉圆柱节理，已引起国际地质学界的重视。
泰山南部，在太古界岩层上裂隙泉分布甚广。泰山北部，中上寒武系的奥陶系石炭岩岩层向北倾斜，地下水在地形受切割处出露成泉。北麓丘陵边缘地带，岩溶水向北潜流，受地层区辉长岩的堵截，纷纷涌露，使古城济南成为“家家泉水，户户杨柳”的泉城。
泰山的地质演化历史，主要经历了前寒武纪和显生宙两个主要的地质演化时期。
一、前寒武纪地质演化
前寒武纪的地质演化历史，可划分为新太古代早期（2900~2700Ma。Ma：地质百万年，下同）、新太古代晚期（2700~2500Ma）、古元古代（2500~1800Ma）、中元古代（1800~1000Ma）等四大阶段。
新太古代早期绿岩陆壳形成与改造阶段 大约在2800Ma以前，古老陆壳裂开，生成北西向的裂谷型海槽，在其中先后发育了由拉斑玄武岩、科马提岩等基性火山岩和碎屑岩组成的基性组合型绿岩建造，继而发生绿片岩相－低角闪相变质作用形成泰山岩群。随后在2770~2700Ma望府山期英云闪长岩侵位，它们一起在2700Ma左右经历高角闪岩相变质作用和强烈的近水平塑性流变和滑脱－拆离构造变形作用改造，形成片麻状、条带状的层状岩系外貌，构成泰山的变质侵入岩，并在北东—南西向挤压下构成宽缓褶皱。在此阶段的末期发生第一期北西向韧性剪切变形作用。
新太古代晚期陆壳增生和初步克拉通化阶段
首先是表现为幔源型的基性、超基性岩浆侵入作用，形成大辛庄的滑石透闪片岩、阳起片岩和蛇纹岩以及麻塔一带的角闪石岩，它们遭受高绿片岩相－低角闪岩相变质作用和构造变形作用。随后发生大众桥期幔壳源混合型石英闪长岩－英云闪长岩系列的中酸性岩浆侵位（2613~2523Ma），形成北西向展布的岩基和岩株。在此阶段末期发生第二期北西向韧性剪切变形作用。
古元古代陆壳完全克拉通化和刚性陆壳张裂阶段 首先发生陆壳岩石重熔，形成傲徕山期壳源型二长花岗岩系列侵位呈北西向展布的岩基（2561~2514Ma），并遭受到构造变形的改造，生成北西向片麻理。之后发生第三期北西向韧性剪切变形作用。此后本区陆壳完全克拉通化。
中天门期幔源型岩浆沿刚性陆壳中的北西向和近东西向两组网状脆性断裂系统侵入（2494Ma）。尔后在中天门期幔源岩浆底侵作用下，陆壳局部重熔，形成摩天岭二长花岗岩岩脉群（2493Ma），同时发生第四期北西向韧性剪切变形作用。
中元古代基性岩墙侵入阶段 刚性陆壳在北北东—南南西向挤压构造作用下，再次发生张裂，基性岩浆沿北北西和北东向两组断裂侵入，形成红门期的辉绿岩岩墙及其发育的“桶状构造”。
中、新元古代，泰山处于稳定隆升阶段，无沉积作用、岩浆作用和构造变形作用记录。
二、显生宙地质演化
古生代稳定地台阶段 地壳以垂直升降为主。早古生代发生海侵，形成陆表海，接受寒武—奥陶纪的海相碳酸盐岩和碎屑岩沉积。中奥陶纪末，地壳整体抬升为陆，没有接受沉积。及至晚古生代中石炭世，地壳发生短暂的升降交替，接受海陆交互相的含煤岩系沉积，而后地壳上升进入大陆发展阶段。
中生代地台活化阶段 在环太平洋板块强烈俯冲作用下，地块裂解，形成各种断裂并伴随少量岩浆（闪长玢岩）侵入，由北东东和北西向两组断裂组成“X”型断裂体系，构成泰山断块凸起和泰莱断块凹陷，奠定了泰山山体的基础和雏形。
新生代地壳隆升阶段（喜马拉雅期） 从古近纪开始，北东东向泰前断裂发生强烈掀斜，泰山大幅度抬升遭受剥蚀，形成了泰山的基本轮廓，南侧的泰莱盆地接受了古近纪山麓相洪积物的快速沉积。新构造运动普遍强烈，进一步塑造了泰山的自然景观面貌。泰山至今仍以0.5毫米/年的速度继续抬升。此外，在泰山北侧形成掀斜断块式的不整合面重力滑动构造。