玉山山塊以地壘狀的玉山群峰為中心,巍峨綿亙於本島中央偏南位置,呈北北東──南南西的山脈走向,大致與島軸及地質構造線一致。山塊北側以濁水溪為界與雪山山脈相接;東側與南緣有卑亞南構造線(郡大溪──荖濃溪縱谷連線)與中央脊樑山脈的關山山塊相鄰;西側則以塔塔加斷層(沙里仙溪──楠梓仙溪縱谷連線)與屬於西部衝上斷層山地的阿里山山脈分界。
玉山山塊因菲律賓海洋板塊撞擊歐亞大陸板塊而高隆成形,在漫長的地質歲月裡,伴隨造山運動形成的斷層,以及切割山塊的先行河流的侵蝕,把玉山山塊分割成玉山群峰與郡大山列兩個藕斷絲連的山系。