沂蒙山地质公园地处华北板块东南缘，位于沂沭断裂带（ 郯庐断裂山东区段） 以西， 处在世界仅有的几个古陆核之一——鲁西古陆核之中。其间广泛分布着距今27.5～23 亿间四期大规模岩浆侵入活动形成的岩石：片麻状英云闪长岩、片麻状花岗闪长岩、二长花岗岩，是华北地区乃至全国太古代 TTG 质花岗岩系出露最好的地区之一。

地质公园所在区域地层发育较齐全，自老至新有新太古代泰山岩群，古生代寒武—奥陶系，中生代侏罗系、白垩系，新生代古近系、新近系、第四系等。

沂蒙山地质公园所在区域隶属中朝准地台（Ⅰ）鲁西台背斜（Ⅱ）鲁中断块隆起区（Ⅲ）的东部新蒙断块束（Ⅳ），包含蒙山凸起、孟良崮凸起、蒙阴凹陷和平邑凹陷四个五级构造单元。均呈北西向展布。区内构造形迹总的特点为，基底发育区以透入性面状、线状构造为特征，主要发育片麻理、构造面理、构造拉伸线理，主要表现形式为基底褶皱、韧性剪切带，总体展布方向北西向。同时区内断裂活动主要发生在中生代，以北西向断裂最为发育，规模最大，北西向断裂是构成本区构造格架的主体。蒙山断裂的长期活动，在其下盘造成前寒武纪结晶基底抬 升而成为蒙山凸起，在上盘形成平邑断陷盆地，并严格控制着盆地内自侏罗系到古近系的沉积。

沂蒙山地质公园所在区域的地质历史，可追溯至28亿年前。在大陆拉张裂谷作用下形成的裂陷，基性、超基性火山岩喷发和火山碎屑岩构成了泰山岩群。随后，多期的岩浆岩侵入，连同地壳的深融作用，形成大量TTG花岗岩和钾质花岗岩，是陆壳主要的增生阶段。元古宙时期本区相对稳定，以抬升剥蚀作用为主。

古生代地壳由上升逐渐转为非均衡沉降, 开始了由南东到北西方向的海侵，接受沉积，形成了寒武系长清群、九龙群碎屑岩、碳酸盐岩及奥陶系陆表海碳酸盐岩沉积。奥陶纪晚期地壳抬升，遭受风化剥蚀，造成地层缺失。

新生代区内断陷盆地下降幅度较小，形成河湖相碎屑沉积岩系。第四纪时期 以区域夷平作用为主，形成第四系堆积物。