幕府は1858（安政5）年に欧米の5ヶ国（米・蘭・露・英・仏）との間に相次いで修好通商条約を結びました。まとめて「安政の五カ国条約」と呼ばれていますが，各国に一歩遅れたフランスは，通常は修好通商条約に先立って結ばれる和親条約の段階を経ていません。 翌年，フランス最初の公使館が三田の済海寺に設けられ，初代公使ド・ベルクールが着任しました。この頃は，外国人襲撃事件・殺傷事件が頻繁に起きていましたが，済海寺でも1860（万延元）年に公使館の旗番だったイタリア人ナタールが２人の武士に斬られるという事件が起きています。 1863（文久３）年に２代目公使として着任したレオン・ロッシュは，薩摩藩・長州藩など倒幕勢力を支援するイギリス公使パークスに対抗し，幕府を積極的に支援して軍制改革などに協力しました。公使館として使用されたのは済海寺の書院や庫裏で，のちに玄関や門などが増築されましたが，1870（明治３）年に引き払いとなりました。 済海寺の門を入った左手に「最初のフランス公使宿館跡」の碑が建てられています。