《呻吟语》的作者吕新吾说： “处小人，在不远不近之间。”过分地接近小人，对自己而言是一种负担；冷落了他，又会招致嫉恨，不知其心怀何鬼胎。所以，保持适当的距离才是上策。
吕新吾又说： “由于喜欢蛇，而贸然出手去抚摸它，往往会被它咬噬而中毒；倘若因为不喜欢老虎，而动手击打它，同样也会被老虎吞噬。”因此，必须远离老虎和蛇，即所谓“敬鬼神而远之”，这里的老虎和蛇就是指小人。现实中每个人身边都可能有小人，对这种人一定要提防。不要笨拙地出手，以免招致不必要的伤害。
交往中，与“小人”对立的是“君子”。孟子说：君子之所以异于常人，便是在于其能时时自我反省。即使受到他人不合理的对待，也必定先反省自己本身。自问，我是否做到仁的境界？是否欠缺礼？否则别人为何如此对我呢？等到自我反省的结果合乎仁也合乎礼了，而对方强横的态度却仍然不改，那么，君子又必须反问自己：我一定还有不够真诚的地方，再反省的结果是自己没有不够真诚的地方，而对方强横的态度依然故我。君子这时才感慨地说： “他不过是个荒诞的人罢了。这种人和禽兽又有何差别呢？对于禽兽根本不需要斤斤计较。”