Matera sorge a 401 metri s.l.m. nel punto di incontro fra due suoli molto diversi: le murge e le colline.
Le murge sono un altopiano roccioso formato da calcari più o meno duri fra cui la malleabile calcarenite. Il suolo è pertanto carsico e non sono presenti corsi di acqua superficiali, ma solo ruscelli a carattere torrentizio che hanno scavato profondi burroni, chiamati gravine, simili ai canyon. La formazione delle gravine è dipesa da una precisa circostanza: l’altopiano delle murge si solleva di circa un centimetro ogni 20 anni, ed i ruscelli per mantenere lo stesso livello di quota scavano l’altopiano man mano che questo si solleva. Sulle murge, fra Puglia e Basilicata, sono presenti una decina di gravine, e ben tre in territorio materano (gravina di Matera, di Picciano, e del Bradano). Le murge compongono gran parte della provincia di Bari in Puglia, e interessano solo marginalmente la Basilicata, proprio nella zona di confine dov’è Matera.
Le colline del materano sono composte in prevalenza da terra di composizione sabbioso-argillosa, sinuose e dolcemente ondulate. Occupano la cosiddetta Fossa Bradanica, che anticamente era una lingua di mare che rendeva la Puglia un’isola separata dagli Appennini ed oggi è composta in prevalenza da suoli di origine alluvionale, e si estende a ovest di Matera.
Il territorio comunale di Matera è fra i più estesi in Italia, con una superficie complessiva di circa 400 Km quadrati, equamente divisi fra murge e colline. Anche la zona urbana ha questa linea di demarcazione: il centro storico ed i Sassi sono solo su territorio murgiano; la città nuova è in gran parte su terreno collinare, segno che la città sorse proprio a cavallo dei due suoli, una scelta storicamente non casuale che ha permesso di trarre vantaggi da entrambi i suoli: le colline producevano prodotti agricoli, fornivano acqua sorgiva e argilla da lavorare; sulle murge si allevava il bestiame, si costruivano solide case e nel vuoto lasciato dallo scavo si realizzavano locali ipogei per la conservazione dei prodotti della terra.