澤井家は、武家の出身で、近世初頭に現在地に住み、江戸時代には尼門跡曇華院の所領を治める代官であった。
主屋は、江戸時代中期の元文5年から翌6年（1740～1741）にかけて建て替えられており、尼門跡領の代官職を勤めていたことから接客機能を重視した特殊な平面と形式構成をもち意匠レベルも高い建物となっている。
建設以来初めての解体修理が平成16年（2004）1月から3年余りの間行われ、平成19年（2007）3月に完成。建築当初の形式を基本として復元整備された。また、この修理には平成16年（2004）の台風23号で倒れた天橋立の松が活用されている。
昭和50年（1975）6月23日に重要文化財に指定され、建設当時の普請文書一式も残っており、住宅と同様国の重要文化財の指定を受けている。
平成19年（2007）11月から一般公開。