于是，他开始推着独轮车送信，只要发现中意的石头，就会将它们装上独轮车。
此后，他再也没有过上一天安闲的日子。白天他是一个邮差和一个运输石头的苦力，晚上他就变成了一位建筑师。他按照自己天马行空的想象来构造自己的城堡。
所有人都感到不可思议，认为他的大脑出了问题，而他却几十年如一日坚持不懈地进行着这项浩大的工程。
二十多年之后，在他偏僻的住处，出现了许多错落有致的城堡，有清真寺式的、有印度神教式的、有基督教式的……当地人都知道有这样一个性格偏执、沉默不语的邮差，在干一些如同小孩建筑沙堡的游戏。
1905年，法国一家报社的记者偶然发现了这群城堡，这里的风景和城堡的建造格局令他慨叹不已，为此，这位记者写了一篇专栏用以介绍希瓦勒和他的城堡。文章刊出后，希瓦勒迅速成为新闻人物，许多人都慕名前来参观，连当时很有声望的大师级人物毕加索也专程赶来参观他的建筑。
现在，这个城堡已成为法国最著名的风景旅游点，它的名字就叫做“邮递员希瓦勒之理想官”。在城堡的石块上，希瓦勒当年刻下的一些话还清晰可见，有一句就刻在人口处的一块石头上：“我想知道一块有了愿望的石头能走多远。”据说，这就是当年绊倒过希瓦勒的第一块石头。