Give Up the Ghost se formó de la mano de Tim Cossar y Wesley Eisold (el cual por aquél entonces era roadie de Ten Yard Fight), en 1998. Grabaron su primera demo en 1999, seguido de su album debut en 7" (en Bridge 9 Records) bajo su nombre original American Nightmare.
Después de tours y algunos cambios, la banda grabó su segundo 7", The Sun Isn't Getting Any Brighter. Póstumamente lanzaron Year One.
Su debut completo, Background Music, fue grabado por Equal Vision Records en 2001 y cambió...