イギリスとの間に修好通商条約が結ばれたのは1858（安政５）年のことでした。これを受けて翌年高輪の東禅寺に最初のイギリス公使館が設けられ，初代公使としてラザフォード・オールコックが着任しました。山門前には「最初のイギリス公使宿館跡」の碑が建てられています。 東禅寺にあったイギリス公使館は2度襲撃に遭っています。1861（文久元）年に起きた第一次東禅寺事件は，オールコックが長崎から江戸への帰路に海路ではなく陸路（東海道）を通ったことで「神州日本が穢された」と憤慨した水戸の脱藩士14名がオールコックの殺害を目的に襲撃したものです。この企ては失敗に終わり，彼らは殺害・逮捕されましたが，そのときの弾痕や刀傷は今も玄関の柱などに残っています。 翌年の第二次東禅寺事件は，警備にあたっていた松本藩士が館内に侵入してイギリス人水兵2名を殺害，自身も自刃したもので，藩による警備の解除と日本人同士の戦いを防ごうとしたことが理由とされています。