대부분 안산암질로 구성되어 있는 산으로 산정이 비교적 평탄하며 곳에 따라 소규모의 성채경관을 나타내는 기반암이 노출된다. 북동쪽으로 금련산이 연결되나 오랜 지질시대를 거치면서 하천의 개석작용에 의해 해체되어 산지로서의 예리한 맛은 없으며 주위에는 곳에 따라 독립구릉이 분포하고 낮은 산등성이도 여러갈래로 뻗고 있다.
문헌기록인 『동국여지승람(1486)』에는 누를 '黃'의 황령산(黃嶺山)으로 기록하여 "현의 남쪽 5리에 있다"고 하였고, 『동래부읍지(1832)』에는 거칠황 '荒'의 황령산(荒嶺山)으로 기록하여 "화지산으로 뻗어나 있으며 마하사가 있다"고 하였다.

황령산은 동래가 신라에 정복되기 이전에 동래지방에 있었던 거칠산국(居漆山國)에서 온 산 이름으로 보고 있다. 거칠산국에 있는 산이어서 『거츨뫼』라 했던 것이 한자화 하는 과정에서 거칠 '荒', 고개 '嶺'의 황령산이 되었다는 것이다.