這座有鐘塔的大宅是德川時代末期，九州數一數二的大富翁渡海屋市郎兵衛蓋來作為別墅的，至於鐘塔本身，據說是渡海屋委託當時來到長崎的英國人，採用特地自英國訂購的機器與材料，由英國人與渡海屋精心設計打造而成。
 
渡海屋市郎兵衛是個特別愛玩機器的男人，其中尤其對鐘錶有著近乎狂熱的喜好。他與當時玩鐘錶的大師松平出羽守、井伊、有馬、土井、堀田等大名領主分庭抗禮，砸下大錢蒐集各式鐘錶，本宅那邊也打造了壁鐘室、塔鐘室、鬧鐘室、尺鐘室等等模仿大名領主的鐘錶室，並以此為樂。
 
大概是越玩越沉迷，最後就想建造大名領主家中都找不到前例的鐘塔。在製作鐘塔方面，西方更早開始就已經很發達，因此只要肯花大錢進口材料，建築本身並不會太困難。
 
不料，就在這座鐘塔竣工的同時，發生了一樁怪事。屋主渡海屋市郎兵衛居然失蹤了。後來渡海屋家族接連發生不幸，轉眼之間凋零破敗，到了明治中期已無後代子孫，說來實在淒涼。
 
那麼，這位奇人富豪市郎兵衛到底躲在哪裡呢？關於這個，成了本地傳說，大家流傳一個奇妙的說法。
 
據說渡海屋之所以在這偏僻的深山建造別墅，自有其不可告人的祕密。不信且看那建築之堅固。簡直和大型倉庫沒兩樣。渡海屋為了不讓世人發現他名下數量驚人的金銀財寶，所以才蓋了如此堅固的倉庫。只是表面上佯裝成鐘錶迷罷了。
 
當時正好是明治維新前夕社會騷動不安的時代，鄉下的大富豪若因為害怕大名領主及流浪武士的徵歛勒索，特地建造藏寶之處實不足為奇。
 
根據傳說，這座鐘屋可不是普通倉庫，據說還建造了任何人都找不到的祕密地窖，就算領主帶人來抄家都不可能發現。換言之就像箱根傳統拼木工藝做成的祕密寶盒，是連出口和入口都看不出來的魔法密室。這的確很像愛玩機器的渡海屋會想到的點子。
 
問題是，那個密室設計得太精巧了。出入的方法也太複雜了。說來可笑，渡海屋市郎兵衛背著人偷偷把寶藏搬進自己打造的密室倒還好，但是當他要離開時，竟然迷路了。
 
傳說的內容相當詳細具體，據說鐘屋的地底有宛如迷宮般的地窖。渡海屋就在自己打造的迷宮中迷了路，怎麼走都走不出來。於是，他拚命放聲吶喊，從地窖中求救。