Az együttes 1974-ben alakult, eredetileg Mammoth néven. Miután kiderült, hogy egy helyi együttes már létezik ezen a néven, Roth javaslatára a Van Halen név mellett döntöttek.
Kaliforniában hamar ismert klubzenészek lettek, a leghíresebb helyeken játszhattak. Egyik fellépésüket látta Gene Simmons, a KISS együttes basszusgitárosa 1977-ben, és úgy döntött, támogatja a demófelvételeiket. Simmons ajánlotta, hogy változtassák a nevüket Daddy Longlegs-re, de a tagok nem hajlottak erre.