高さ800mほどの山が連なり、東西方向に長く、南北方向には狭いため、急峻な山脈になっています。
香川県側の斜面に比べて徳島県側の方が直下に吉野川が流れているため急です。
主に和泉層群と呼ばれる地層からできている。アンモナイトなどの化石が観察できることから、古くは海であったと考えられています。
徳島平野を挟んで、四国山地に対するが、讃岐山脈をも四国山地に含めることがあります。