留客村约有400年的历史，共有176户，居住着蔡、莫、余、朱、陈、韩、王、卢、周、覃十个姓氏。其中旅居印尼、新加坡、马来西亚、泰国、香港、澳门等地的华侨就有1000多人。清末，留客村的青壮年男子大都从村口的古渡口乘船，经万泉河漂洋过海当“番客”出外谋生创业。

    蔡家宅的主人蔡家森有四兄弟，父亲早逝，家境贫寒，蔡家森带着两个弟弟跟随“去番”的热潮，前往印度尼西亚谋生。他们历尽千辛万苦从事橡胶种植和船务航运，经过多年奋力打拼，蔡家兄弟成为当地赫赫有名的富商和印尼“番客”中的侨领。

    像很多从海南出去的“番客”一样，发家致富的蔡家兄弟心中牵挂的第一件事就是回到家园盖祖屋，衣锦还乡，耀祖光宗。1934年，蔡家森回到琼海留客村，和兄弟们一起盖起了蔡宅。蔡家宅每幢宅院的厅堂都设置了供奉祖先牌位的“公阁”。蔡家宅的“公阁”很高，每次烧香祭祖时要用梯子上下。

    豪华富丽的蔡家大院只热闹了几年。1939年日军侵琼时，蔡家兄弟又撤回印尼，家屋只剩下不肯离开故园的老母亲和照顾她的仆人。蔡家森的母亲去世后，这座豪门宅院在孤寂中开始了无尽的守望，成为一座空宅。直至上世纪八十年代，在海外的蔡家后人才从国外回到故园的大宅中拜祭先人。

    蔡家森在筹划建这个宅院时，把“安全和坚固”想得很到位，这就是为什么经历70年风雨，许多老房子都被台风毁坏，惟独蔡家大宅屹立如初的原因所在。

    蔡家宅的建筑装饰以中国传统风格为主，融入了东南亚的艺术元素，同时兼具西方设计理念，是海南侨乡中西建筑相结合的优秀典范，更是中国近现代华人华侨创业的重要史迹之一。

    1937年，日军侵占海南，蔡氏兄弟回印尼经商逃避战乱。在上世纪的四五十年代，蔡家宅曾经是抗日游击队的交通站，也曾用作国民党一团部驻地，还先后成为乐会县朝阳人民政府办公室兼朝阳乡粮所、公社公共食堂等。2006年5月，蔡家宅被国务院公布为第六批全国重点文物保护单位。