四ツ谷中学校前交差点、三差路中央の道を進んだ正面に見える、ネオ・バロック様式の洋風建築物。1909年（明治42年）、紀州徳川家の江戸中屋敷があった敷地の一部に、当時の日本を代表する建築家や美術工芸家が総力を結集して建設した日本唯一のネオ・バロック建築である。
東宮御所として造られたが、当時の皇太子嘉仁親王（後の大正天皇）が使用することはほぼなく、嘉仁親王の天皇即位時に赤坂離宮と改められた。戦後になり改築され、現在では国賓、公賓を迎える迎賓館となっている。
一般には原則非公開だが、1975年から、接遇に支障のない時期に一般参観を開催している。