该园的主体建筑，位于园内中心。这是一座三层方坛，四周用汉白玉石围砌，坛面铺有黄、青、白、红、黑五色土壤，黄土居中，东青、西白、南红、北黑，以道教的阴阳五行学说象征“天下之地，莫非王土”及国家江山政权之意。据古代神话传说，黄帝统治天下，居于中央。其由土神辅佐，持绳子，管四方，属黄色。在天下的四方又各有一位保卫者，即东方太睥，木神辅佐，持圆规，管春天，属青色。南方炎帝，火神辅佐，持秤杆，管夏天，属赤色。西方少昊，金神辅佐，拿曲尺，管秋天，属白色。北方颛顼，水神辅佐，拿秤锤，管冬天，属黑色。五色土正中有一土龛，原竖有一根高3．6尺，1．6尺见方的石柱，名社主石或江山石，以表示皇帝江山永固之意。坛外筑有矮墙，四面设棂星门。明清时期，每逢春、秋仲月上戊日，皇帝要来此祭祀社、稷神。同时每逢皇帝出征、班师等，也要在此举行仪式。拜殿(中山堂)在社稷坛北侧，殿宽五间，深三间，黄瓦朱墙，庑殿顶式。殿内和玺彩绘，富丽堂皇。祭日如下雨，便在殿内设供桌，皇帝向南行礼，所以称为拜殿。1925年孙中山先生在京逝世，曾停灵于此，出于纪念意义，于1928年改称中山堂。