鎖国下で欧州の国として唯一通商関係にあったオランダでしたが，幕府との間に正式に修好通商条約を結んだのは1858（安政５）年のことで，アメリカに一ヶ月ほどおくれをとってしまいました。 最初の公使館は，三田の浄土宗寺院・西応寺に設けられています。公使館として使用されたのは書院と庫裡の２階でしたが， 1868（慶応３）年に三田の薩摩藩邸が庄内藩などによって焼き討ちされたときの兵火で西応寺が全焼したため，公使館は伊皿子坂（いさらござか）近くの長応寺（現存していません）に移りました。 西応寺に併設されている幼稚園のある場所が，最初のオランダ公使館が設けられていたところと推定されていて，西応寺門前には「最初のオランダ公使宿館跡」の碑が建てられています。なお西応寺は，オランダ公使館が設置される前の1858年，日英修好通商条約締結のために来日したイギリスの使節の宿舎とされたところでもあります。