Heavy Heavy Low Low nace en el área de San José, CA, EEUU, sus componentes con 19 años de edad de media, a principios de 2004, formado por los hermanos Christopher Fritter (batería) y Andrew Fritter (bajo), junto a Danny Rankin (guitarra, voz), Ryan Madden (guitarra) y Robbie Smith (voz). Inicialmente se definen como screamo hasta encontrar su propio sonido.

Es este tiempo el grupo ha participado en tres giras nacionales con bandas como The Fall Of Troy, The Number 12 Looks Like You, Ed...