El ciclo geológico del carbono, que opera a una escala de millones de años, está integrado en la propia estructura del planeta y se puso en marcha hace aproximadamente 4,55 miles de millones de años, cuando se formó el Sistema Solar y la Tierra. Su origen fueron los planetesimales (pequeños cuerpos que se habían formado a partir de la nebulosa solar) y los meteoritos portadores de carbono que chocaron con la Tierra.

Más del 99% del carbono terrestre está contenido en la litosfera, siendo la mayoría carbono inorgánico, almacenado en rocas sedimentarias como las rocas calizas. El carbono orgánico contenido en la litosfera está almacenado en depósitos de combustibles fósiles.
En una escala geológica, existe un ciclo entre la corteza terrestre (litosfera), los océanos (hidrosfera) y la atmósfera. El dióxido de carbono (CO2) de la atmósfera, combinado con el agua, forma el ácido carbónico, el cual reacciona lentamente con el calcio y con el magnesio de la corteza terrestre, formando carbonatos. A través de los procesos de erosión (lluvia, viento), estos carbonatos son arrastrados a los océanos, donde se acumulan en su lecho en capas, o son asimilados por organismos marinos que, eventualmente, después de muertos, también se depositan en el fondo del mar. Estos sedimentos se van acumulando a lo largo de miles de años, formando rocas calizas.
El ciclo continúa cuando las rocas sedimentarias del lecho marino son arrastradas hacia el manto de la Tierra por un proceso de subducción (proceso por el cuál una placa tectónica desciende por debajo de otra). Así, las rocas sedimentarias están sometidas a grandes presiones y temperaturas debajo de la superficie de la Tierra, derritiéndose y reaccionando con otros minerales, liberando CO2. El CO2 es devuelto a la atmósfera a través de las erupciones volcánicas y otro tipo de actividades volcánicas, completándose así el ciclo.
Los balances entre los diversos procesos del ciclo del carbono geológico han controlado la concentración de CO2 presente en la atmósfera a lo largo de millones de años. Los más antiguos sedimentos geológicos, datados en épocas anteriores al desarrollo de la vida en la Tierra, apuntan concentraciones de CO2 atmosférico cien veces superiores a las actuales, proporcionando un fuerte efecto invernadero. Por otro lado, las mediciones de los núcleos de hielo retirados de la Antártida y Groenlandia, permiten estimar que durante la última era glaciar las concentraciones de CO2 eran aproximadamente la mitad que en la actualidad (en 2005 de 379,1 ppmv de CO2).
Para el carbono orgánico, cuyo origen es la materia orgánica no totalmente descompuesta en ausencia de oxígeno, que dio origen a la hulla, el petróleo y el gas natural, cualquier cambio significativo entre los diversos depósitos afecta también a una escala geológica. Esto fue así hasta hace unos 200 años, con el inicio de la Revolución Industrial y la explotación y utilización (combustión) a gran escala de los combustibles fósiles, que empezó a liberar a la atmósfera el carbono de estos depósitos en forma de CO2.