판문점 자유의집은 지상 4층-지하 2층 규모의 건물로, 남북 사이 이뤄지는 연락 업무를 담당하기 위해 지어졌다. 원래 1965년 9월 30일 준공된 팔각정을 중심으로 좌우에 배치된 2층 건물이었는데, 건물이 낡아 1998년 4층 건물로 새로 지었다. 판문점 군사분계선(MDL)을 경계로 마주 보고 있는 우리 측 건물이 자유의집, 북측 건물이 판문각이다.
 
1971년 8월 남북 적십자 접촉을 시작으로 남북 연락사무소가 설치되고 그해 9월 자유의집과 판문각 사이 직통전화 회선이 열렸는데, 이것이 이른바 ‘판문점 핫라인’이다. 현재 남북은 판문점 자유의집과 판문각에 각각 전화와 팩스를 주고받는 연락사무소 사무실을 운영하고 있다.
 
한편, 자유의 집과 판문각 뒤에 각각 위치한 곳이 우리 쪽 평화의집과 북측 통일각으로, 이 건물들은 주로 회담장으로 사용된다. 특히 '평화의집'은 2018년 4월 27일 열린 문재인 대통령과 김정은 북한 국무위원장 간 '2018 남북정상회담'의 회담장과 만찬장으로 사용되면서 전 세계의 주목을 받았다.