경복궁이 중건되고 5년이 지나서 고종 10년(1873년)에 와서 지어진 건물이다. 경복궁에서 가장 북쪽 한적한 곳에 위치한다. 왕과 왕비가 한가롭게 휴식을 취하면서 거처할 목적으로 지어졌다. 앞에는 향원지라는 큰 연못을 파고 연못 가운데 정자를 꾸몄다. 건물은 민간 사대부 집의 형태를 따르면서 화려하고 섬세한 치장을 가미하여 지었다. 왕이 사용하는 장안당과 왕비가 머무는 곤녕합, 그리고 장안당 뒤에 서재로 관문각을 지어서 마치 사대부가의 사랑채, 안채, 서재를 연상시키는 구성을 하였다.

담장에는 벽돌을 이용해서 아름다운 꽃무늬를 꾸몄다. 고종은 이곳을 좋아하여 왕비와 함께 자주 머물렀다. 왕과 왕비가 거처하지 않을 때에는 역대 임금의 초상화를 모시기도 하였다. 그러나 한가롭게 휴식할 목적과는 달리 이 건물은 조선말기 정치적 혼란의 장소가 되고 말았다. 고종은 이곳에서 미국, 영국, 러시아 등의 공사들을 접견하면서 여러 정치적인 문제들을 처리해야 했다. 그 사이에 서재인 관문각은 러시아인에 의해서 2층 벽돌조 건물로 개조되기도 하였다. 궁 안에 최초로 전등이 설치된 곳이기도 하다. 1895년 일본인들이 궁궐을 습격해서 명성황후를 시해한 것은 이 건물 곤녕합의 누마루인 옥호루였다. 이 사건 이후 건물은 한 동안 방치되었다가 철거되고 말았으며, 2006년에 와서 다시 옛 모습대로 복원되었다.