중생대 백악기 말에 형성된 화산으로 그후 삭박작용에 의해 대부분 깎여 버렸고, 지금은 그 뿌리만 남아 있는 산이다. 대부분 응해암과 석영반암으로 이루어져 있으나 남쪽 산록은 응해암으로 구성되어 있고, 동쪽에는 광천(해운대 온천)이 분포한다.
전체의 산모양은 원추형으로 산정은 예리하고 사면은 가파르며, 산정아래에는 제4기 빙하시대에 형성된 애추가 발달하고 있다.
『동국여지승람(1486)』에는 상산(上山)이라 하여 "동래현에서 동으로 15리 떨어져 있으며 대마도가 가장 가깝다"고 하였고, 『동래부지(1740)』는 상산이라고 하고 "장山 또는 蓬萊山 이라고도 하는데 산위에 평지가 있으며 장산국기(山國基)라는 말이 있다"고 했다.

상산이란 가장 높다는 뜻이고 장산이란 동래지방이 신라에 정복되기 이전 이곳 장산 주위에 장산국(山國)이 있어서 산 이름이 장산이 되었다고 한다.

그러나 그 장산국은 삼국시대 인구가 아주 적은 부족국가인 취락이었을 것으로 보는 견해가 지배적이다.