切支丹屋敷は，改宗したキリスト教宣教師（「転びバテレン」と呼ばれました）の収容所で，宗門改役として辣腕を振るった井上政重の下屋敷に1646（正保3）年に設けられました。 1724（享保９）年に焼失し，その後再建されないまま1792（寛政４）年に廃止されています。 収容者としては，イタリア人宣教師ジュゼッペ・キアラや同ヨハン・シドッチが知られています。 1646（正保3）年に収容されたキアラは，棄教して岡本三右衛門と名乗りました。遠藤周作の小説『沈黙』のモデルになった人物です。 シドッチは1708（宝永5）年に屋久島に潜入しましたが，すぐに捕らえられ切支丹屋敷に収容されました。新井白石はここでシドッチを審問し，その内容を『西洋紀聞』などに記しています。 2014（平成26）年の発掘調査でここから3体の人骨が出土しましたが，そのうちの１体はシドッチの可能性が高いとされています。 碑の左側には「八兵衛の夜泣石」が置かれています。この石には，改宗を拒んだ八兵衛を生き埋めにした場所に魂が昇天しないよう石を置いたが，夜になるとそこから泣き声が聞こえ，「八兵衛さん悲しかろう」と言うと返事をしたという言い伝えがあります。