고락산성이 있는 산은 고락산(鼓樂山) 또는 일명 괘락산(掛樂山)이라 한다. 고락산성은 해발 335m의 고락산정과 고락산의 동쪽에 있는 해발 200.9m의 봉우리를 둘러싸고 있다. 낮은 봉우리에 위치한 본성은 높은 봉우리에 위치한 부속성 보다 성벽의 규모나 내부면적이 훨씬 크고, 축성기법도 정교하다.

본성은 고락산의 동쪽 봉우리를 둘러싸고 있는 테뫼식 성으로 평면형태는 북서-남동방향 장타원형을 이루고 있는데 북서쪽이 넓고 남동쪽이 좁은 형태이다. 성은 북서-남동방향으로 형성된 능선을 중심으로 길게 두르고 있는 형태로, 남동쪽과 서쪽은 현재 등산로로 이용되고 있다. 따라서 남동쪽과 서쪽은 비교적 완만한 경사를 이루고 있으며, 동쪽과 북쪽은 급경사를 이루고 있다.

성벽의 총 둘레는 약 354m이다. 성벽 가운데 서쪽 성벽의 일부가 가장 잘 남아있는데 외벽의 높이는 약 280㎝, 내벽의 높이는 약 230㎝이며, 성곽의 너비는 510∼530㎝정도이다. 그리고 무너져 있는 성벽의 전체 너비는 약 27m에 달한다. 성벽은 동쪽을 제외하고는 대부분 곡선을 이루고 있으며, 동벽은 직선에 가깝다. 북쪽 성벽은 대부분 무너져 있어 그 형태를 파악하기가 힘들며, 전체적으로는 서쪽과 남쪽 성벽의 잔존상태가 가장 양호하다. 서쪽 성벽의 길이가 가장 길고, 그 다음으로 동쪽 성벽, 북쪽 성벽, 남쪽 성벽의 순서이다. 북벽과 서벽, 남벽의 성벽은 성벽의 내외벽을 모두 쌓고 그 사이에는 돌을 무질서하게 채워 넣은 협축식이 확실하다.

문지는 2곳으로 남동쪽(너비 500㎝)과 서쪽(너비 430㎝)에 있다. 남동쪽 회절부에 문지가 남아 있으며 너비는 500㎝이다. 2곳은 문지의 동쪽에 형성된 능선 정상에서 서쪽으로 16m 치우친 지점에 위치하고 있어 능선의 사면에 해당한다. 문지는 성벽에서 모서리 부분이 반원형을 이루면서 안쪽으로 거의 직각에 가깝게 꺾어지고 있는데 현재 100㎝ 정도의 높이가 잔존하고 있다. 문지의 정면 즉 성벽과 나란한 부분에 1∼2단 정도의 계단이 남아있다.

부속성은 고락산 정상 해발 335m의 봉우리에 위치하고 있다. 평면형태는 원형인데 남쪽이 약간 돌출되어 있으며, 북쪽이 넓고 남쪽이 좁은 형태이다. 북쪽과 동쪽은 경사가 비교적 완만하여 현재 등산로로 이용되고 있다. 성벽의 총 둘레는 약 100m이다.

고락산성 정상의 봉우리와 약간 낮은 봉우리에 각각 축성된 고락산성은 그 축성방법과 크기로 보아 같은 시기에 축성된 성으로 보이며, 상호 보완적인 역할을 하였던 것으로 판단된다. 이처럼 가까운 2개의 봉우리에 각각 산성이 있는 예는 전남지방에서 처음으로 확인되었다.

성(城)의 표토에서 수습된 유물은 백제시대에 제작된 것으로 볼 수 있는 기와와 토기, 석환(石丸)등이 있다. 기와는 아주 많은 양이 수습되었는데 모두 평기와이며, 막새와는 한점도 수습되지 않았다. 자세한 조사가 필요하지만 축성연대가 오래될 것으로 추정된다.

고락산성은 산 정상의 봉우리와 아래쪽의 봉우리에 각각 성을 쌓은 테뫼식의 석성이다. 이산성은 그 위치나 규모, 축성법, 수습유물 등으로 볼 때 연대가 올라가는 성으로 추정된다. 여수반도의 고대 문화와 역사적 중요성을 알 수 있게 해 주는 유적일 뿐만 아니라, 우리나라 산성 연구의 좋은 자료이다.