幕臣・勝海舟は1859（安政６）年から1868（明治元）年までこの地に自宅を置いていました。 長崎の海軍伝習所でオランダの士官から航海術を学んだ海舟は，ここに転居した年に幕府から渡米を命じられ，翌1860（安政７）年，艦長として幕府の軍艦・咸臨丸に乗船し，サンフランシスコに向けて出港しました。渡米の目的は，日米修好通商条約批准のために派遣される幕府の遣米使節団の護衛ということでしたが，日本人の航海術を向上させるというねらいもあったようです。実際，アメリカ人乗員の手を借りながらも主に日本人船員が操船して太平洋の横断に成功しサンフランシスコに到着しましたが，勝海舟自身は航海中船酔いに苦しんでいたという記録が残されています。 このときの咸臨丸には，福沢諭吉や通訳としてジョン万次郎も乗船していました。 帰国後，軍艦奉行並となった海舟の建言により，1864（元治元）年，神戸に海軍操練所が設立されましたが，年末に海舟は免職となり翌年には海軍操練所も閉鎖されてしまいます。