향일암은 원효대사(元曉大師)가 의자왕 19년(659) 창건하고 창건 당시의 이름은 원통암(圓通庵)이었다는 내용이 『여수군지』 및 『여산지』에 기록되고 있다. 이와 같이 향일암이 7세기 경의 원효와 관련되고 있으나 이 기록은 거의 신빙성이 없다고 하겠다. 그후 광종 9년(950)에 윤필거사가 이곳에 수도하면서 원통암을 금오암(金鰲庵)이라 개칭하였다고 하나 이 또한 믿을만한 자료라 할 수 없다.

조선시대에 와서는 임란을 거쳐 숙종 39년(1713)에 당시 돌산주민들이 논과 밭 52두락을 헌납하여 그로부터 3년 뒤인 숙종 41년(1715) 인묵대사가 현위치로 옮겨 향일암이라 이름을 고쳐 오늘에 이르고 있다고 한다. 특히 향일암은 금오산의 기암절벽 사이에 동백이 울창하여 남해의 수평선에서 솟아오른 일출광경이 천하일품이어서 향일암이라 명칭하였다 한다.

현재 사역내(寺域內)에는 대웅전과 관음전, 칠성각, 취성루, 요사채 등이 있는데 이들 건물은 모두 1986년에 새로 지은 것이다. 대웅전은 정면 3칸, 측면 2칸, 팔작지붕으로 배흘림이 있는 기둥을 세우고 그 위로는 창방이 얹혀져 있으며 헛첨차를 결구하였다. 공포는 기둥 위에만 설치하는 주심포계이며 처마는 부연이 있는 겹처마이다. 관음전은 대웅전 뒤쪽 바위틈을 지나 50m 떨어진 커다란 바위 위에 있다. 정면 3칸, 측면 1칸의 초익공계이며 바람막이판이 달린 맞배지붕이다.

향일암은 비록 최근에 중건된 사찰이긴 하나 인근에 있는 은적암과 함께 이곳 도서 지역에까지 전파된 불교문화의 현상을 엿볼 수 있는 좋은 예라 하겠다.