堂堂的冲天大将军，到朝廷做四品闲官，还有可能被朝廷秋后算账，这不是亏了血本的买卖吗？乾符六年（879）九月，黄巢接到委任书，大骂朝廷狡猾，随后对广州发动进攻，活捉了岭南东道节度使李迢。谁料想，黄巢竟然让李迢再次给朝廷发文，传达他希望担任广州节度使的愿望。李迢宁死不从，命丧当场。
此时的黄巢，就像没头苍蝇似的，到处乱闯。就在此时，军医告诉他，因为岭南的瘴气，将士们开始染病，最好的选择就是离开岭南。
乾符五年（878）十月，黄巢在桂林建造了一批竹筏，借着洪水沿湘江顺流而下，抵达潭州。鉴于潭州守将顽强抵抗，黄巢攻下城池后，将城中的守军如猪狗一样全部屠杀，抛尸湘江（巢尽杀戍兵，流尸蔽江而下）。与此同时，尚让带领的起义军攻下江陵城。官军在潭州和江陵的失败，诗人韦庄的诗作《又闻湖南荆渚相次陷没》可以得窥一见：