赶尸家族并不像其他地方的家族，有一片领地，在领地上开枝散叶自成一派。因为赶尸人的特殊性，很多时候需要东奔西跑，不会有固定的住所，而且赶尸人大多都不会人丁兴旺，哪怕是上面的这三大家，很多时候都是一脉单传的。
这三家的赶尸人都在历史上出过名，甚至还有在青史上也留下过痕迹。
黔中杨氏是先秦就兴盛的赶尸一脉，和现今大家所熟知的赶尸人区别最大，是头戴青铜面，身穿兽皮，撒米祭神来驱赶尸体，以巫术见长。据说现在土家族还有瑶族这些湘西的少数民族只接受的就是这类赶尸匠，杨氏也在少数民族中最受欢迎。
武陵顾氏是西汉时兴起的赶尸人，甚至还觐见过汉高祖刘邦，当初垓下之战的敛尸工作就是由武陵顾氏来的。
而武陵顾氏也一度成为湘西赶尸人的代名词，顾氏的赶尸多从于阴阳学，本事正统强大，甚至来历比起道家还要更深远一些，只不过由于各方面原因，顾氏人丁稀少，历来只有一脉单传，也正是因为如此，在阴圈之中反而不如吕氏活跃。
唐代的辰州吕氏，就是现今最熟知的赶尸人了，就像电影那样，穿着道袍手持摄魂铃，边走还边撒纸钱。