Tras su incursión, Jackson se retiró hacia el noroeste, tomando posiciones defensivas en Stony Ridge y esperando al resto de tropas confederadas.

King no estaba en esos momentos con su división, ya que había sufrido un grave ataque epiléctico ese mismo día.

Hacia las 18:30 horas, la artillería confederada comenzó a disparar sobre la unidad que tenía enfrente en la carretera, la Brigada Black Hat de John Gibbon (llamada después Iron Brigade).

Esta unidad , que pronto se haría famosa, no había entrado aún en combate, si bien participó en la Campaña Peninsular pero solo en reserva.

En su flanco derecho se desplegó la Brigada Stonewall de unos 800 hombres, comandada por el coronel William S. Baylor, la cual concentró sobre la unidad federal una fuerte descarga.

Estos soldados llegaron al combate después del anochecer y tanto Trimble como Lawton lanzaron un ataque descoordinado contra ellos.

El general de brigada confederado William B. Taliaferro escribió: “En esta lucha no hubo maniobra y muy poca táctica.

Taliaferro fue herido, así como Ewell cuya pierna izquierda fue alcanzada por una bala Minié y tuvo que ser amputada, retirándose de la acción para su recuperación durante 10 meses.

Ordenó a Sigel atacar el ala izquierda de Jackson al amanecer.

Aunque la elevación sobre la que iba la línea férrea inacabada proporcionó una ventaja defensiva en algunas zonas, los confederados evitaron realizar una defensa estática, respondiendo a las descargas federales con vigorosos contraataques (esta sería la misma táctica que Jackson utilizaría en la Batalla de Antietam unas semanas después).

Schenck y Reynolds, sometidos a una fuerte bombardeo artillero, respondieron con sus baterías, pero no avanzaron hacia la infantería enemiga.

La división del general de brigada Cadmus M. Wilcos llegó después y se situó en reserva.

Llegó luego un correo con un mensaje para Porter y McDowell, un polémico documento de Pope conocido como la “Orden conjunta” ("Joint Order").

En lugar de avanzar “hasta” Gainesville y atacar al supuestamente desprotegido flaco izquierdo de Jackson, ordena hacerlo “en dirección a” Gainesville y “tan pronto como la comunicación sea establecida (con otras divisiones) el mando conjunto detendrá la marcha.

Nada en la orden dada por Pope indica claramente a Porter y a McDowell que deben de atacar y concluye el documento con un “Si cualquier considerable ventaja se consigue desde el envío de esta orden no será necesario cumplirla estrictamente”, convirtiendo de esta manera el documento en una inservible orden militar.

Por alguna razón desconocida, McDowell olvidó enviar el informe de Buford a Pope hasta aproximadamente las 19:00 horas, así que el jefe del ejército estaba actuando dando por cierto dos hechos falsos: que Longstreet no estaba cerca del campo de batalla y que Porter y McDowell estaban avanzando para atacar el flanco derecho de Jackson.

[21]​ Mientras los hombres de Longstreet se fueron colocando en sus puestos, el general Lee ordenó un ataque contra la izquierda de la Unión (Longstreet recordó después que Lee “estaba decidido a enfrentarse tan pronto como fuera posible, pero no dio la orden”).

De todas maneras, Porter no estaba en mejor situación para atacar que como lo había estado por la mañana.

Esta noticia hizo que Lee recuperara su plan de avanzar en dicho sector.

En ese momento, Pope, que seguía creyendo que los confederados se estaban retirando, envió a la división de John P. Hatch al oeste para perseguir a los confederados por la carretera de Warrenton.

El historiador A. Wilson Green piensa que esta fue la peor decisión de Pope durante la batalla.

Ya que no tenía superioridad numérica sobre los confederados y no estaba su ejército posicionado en una situación ventajosa, lo más prudente hubiera sido retirarse tras el Bull Run y unirse con el Ejército del Potomac de McClellan, que tenía unos 25.000 hombres cerca.

Cansados y sin conocer el terreno, se detuvieron en una cresta al este de Groveton.

La Brigada Stonewall se dirigió rápidamente al lugar para mantener la línea, sufriendo grandes pérdidas, incluido su comandante el coronel Baylor.

Esta puede haber sido la peor decisión táctica del día porque dejó solo a 2200 soldados de la Unión al sur de la carretera, los cuales pronto se tuvieron que enfrentar a un enemigo que les superaba 10 veces.

Justo antes del ataque, Lee informó a Jackson: “el General Longstreet está avanzando; estén atentos y protejan su flanco izquierdo”.

McLean defendía Chinn Ridge, Warren estaba cerca de Groveton, a unos 700 metros al oeste.

[35]​ Cuando Pope y McDowell comprendieron lo peligroso de la situación, ordenaron a sus unidades ocupar Henry House Hill, pero hasta que estas estuvieran preparadas, la brigada de McLean era el único obstáculo a la avalancha confederada.

Otras dos brigadas de la Unión, pertenecientes al I Cuerpo de Sigel y comandadas por el coronel John Koltes y el coronel Wlodzimierz Krzyżanowski, entraron también en batalla, pero corrieron la misma suerte que las anteriores.

De forma inexplicable Anderson no explotó la ventaja, quizás porque se acercaba ya la noche.