日米和親条約の締結によって日本の鎖国政策は終わり，1856（安政３）年，アメリカから初代総領事としてタウンゼント・ハリスが来日し，領事館が開かれた伊豆下田に着任しました。 彼は，日本との間に通商条約を結ぶという大きな使命を負っていました。イギリス，フランスの脅威を背景に条約の締結を強く求めるハリスに対し，1858（安政５）年，幕府の実権を握っていた大老井伊直弼は孝明天皇の勅許を得られないまま日米修好通商条約の調印に踏み切りました。 翌年，この条約に基づいて最初のアメリカ公使館が麻布の善福寺に設けられ，ハリスは初代アメリカ公使としてここに駐在することになります。 善福寺境内にあるハリスの肖像がレリーフされた記念碑の裏面には，「初代米国公使館跡」と刻まれています。善福寺に置かれた公使館は，その後1863（文久３）年の火災で焼失し横浜の外国人居留地に移されました。 記念碑は，日米修好通商100周年にあたる1960（昭和35）年に建てられたものです。