他们相约一齐来找父亲，要他下令，像别的王府一样，关起大门，不让闲杂人等出入。郭子仪听了哈哈一笑，几个儿子哭着跪下来求他，一个儿子说：“父王您功业显赫，普天下的人都尊敬您，可是您自己却不尊重自己，不管什么人，您都让他们随意进入内宅。孩儿们认为，即使商朝的贤相伊尹、汉朝的大将霍光也无法做到您这样。” 郭子仪听了这些话，收敛了笑容，对他的儿子们语重心长地说：“我敞开府门，任人进出，不是为了追求浮名虚誉，而是为了自保，为了保全我们全家人的性命。”
儿子们感到十分惊讶，忙问其中的道理。
郭子仪叹了一口气，说道：“你们光看到郭家显赫的声势，而没有看到这声势有被丧失的危险。我爵封汾阳王，往前走，再没有更大的富贵可求了。月盈而蚀，盛极而衰，这是必然的道理。所以，人们常说要急流勇退。可是眼下朝廷尚要用我，怎肯让我归隐；再说，即使归隐，也找不到一块能够容纳我郭府一千余口人的隐居地呀。可以说，我现在是进不得也退不得。在这种情况下，如果我们紧闭大门，不与外面来往，只要有一个人与我郭家结下仇怨，诬陷我们对朝廷怀有二心，就必然会有专门落井下石、陷害贤能的小人从中添油加醋，制造冤案。那时，我们郭家的九族老小都要死无葬身之地了。”