Dylan afirma que "With God on Our Side" es una composición enteramente original, sin embargo, su melodía se asemeja a "The Patriot Game", una canción escrita por Dominic Behan y con la melodía de la tradicional canción irlandesa "The Merry Month of May".
Una grabación en vivo de "With God on Our Side" interpretada junto a Joan Báez puede ser encontrada en el álbum The Bootleg Series Vol.
En el álbum MTV Unplugged Dylan omite el verso acerca de los alemanes y el Holocausto, por razones inespecíficas.
Más recientemente, la canción ha sido reversionada por la banda Straylight Run, así como por The Neville Brothers en su álbum de 1989 Yellow Moon.
Buddy Miller también toca la canción en su álbum Universal United House of Prayer en 2004, agregando un arreglo irlandés de estilo fúnebre.