1933年に建てられたこのアールデコ様式の邸宅は、かつては朝香宮殿下と、その后(きさき)であり明治天皇の第八皇女である允子内親王の住居だった。夫妻は、1920年代のパリでアールデコと呼ばれる装飾様式に触れ、帰国後に朝香宮邸を建てた。
大広間や大食堂など、主要な部屋の内装はアンリ・ラパンの手によるもので、玄関のガラスレリーフ扉などはルネ・ラリックのデザイン。建築そのものは宮内省内匠寮の技師である権藤要吉が担当、設計した。館内で行われる展覧会では、作品だけでなく、それらと室内空間の調和を楽しむことができる。
2014年11月に改築された新館には、ホワイトキューブの展示空間が備わり、映像や音楽、パフォーミングアーツなど、より多様で分野横断的な表現の舞台となった。オリジナルグッズを提供するミュージアムショップやカフェも併設されている。