但吕布并不满足，其部下在邺城横行霸道，而吕布几乎从不约束自己的部下，任其所为。
袁绍的脸色也越来越难看，他将自己对吕布的不满全都写在了脸上。
既然人家讨厌，那就知趣地走开吧，别在这讨人烦。但吕布来得容易，想走却没那么轻松。吕布给袁绍写了封信，意思自己要回洛阳，请袁绍批准自己离开，袁绍假装挽留了一阵，然后顺水推舟说要表奏朝廷让吕布当司隶校尉。
袁绍说得好听，实际上，他是想杀掉吕布。就在吕布来向袁绍辞行时，袁绍趁着吕布孤身前来将吕布给控制起来，就在吕布临走的前一天，袁绍派了三十名全副武装的甲士给吕布做护卫，说是第二天让这些人护送吕布上路。
吕布看着眼前这几十个彪形大汉，看出来了，这帮人的确是来送自己“上路”的，只不过，这是一条不归路，跟自己想去的并不是一个地方。
吕布对袁绍的“热情”很是客气了一番，百般推辞，表示自己在这里这么久了，实在不好意思再添麻烦，送行的警卫就免了吧，一切从简。袁绍哪里肯听，说兄弟你别客气，这些人就是专门安排送你“上路”的，你就不要推辞了。