关于杜神父与冯日升的关系说来话长。这得从冯日升的身世说起，我查找了有关史料，冯日升生于咸丰六年（1856），月份不详。他四岁时逃荒至五湖。从有关记载看，他很可能是皖北一带人，因为在他逃荒那年，皖北大灾。史料记载：“淮水出槽，淹没麦苗，冲毙饥民，不可胜数。凤阳、颍州、泗州、盱眙等二十余州县，村庄庐舍，皆荡为墟，流者触目，罕见人烟，夫弃其妇，母弃其子，人之相食，孑遗无存，其惨切情状，不忍目睹。”这段史料见于当年安徽巡抚的奏章。相比之下，南方的情况略好。奏章中有“皖南等地亦有偏灾，轻于皖北”等语。
冯日升跟随家人一路向南来到五湖。当时他还年幼，许多记忆早已模糊，只记得家里人越走越少，父母兄妹都先后离他而去。到了五湖地界，身边只剩爷爷一人。后来的事，他完全不记得了。听说，爷爷后来也饿死了，他一个人倒在路上，哇哇地哭叫；再后来，连哭的气力也没有了，便昏死在路旁。傍晚时分，有人路过这里，这才救了他。