Le premier disque des Crystal Fighters, ''Star of love'', s'inspirait d'un opéra écrit par un homme dont la santé mentale s'était détériorée avant qu'il ait pu le terminer et semblait tout autant influencé par la musique basque traditionnelle du 18ème siècle que par l'univers des clubs d'aujourd'hui. Mais si ce premier album était constitué de sons de boucles électroniques détraquées, ''Cave rave'' voit les Crystal Fighters étendre considérablement leur palette de son et s'extraire du chaos des clubs pour donner à leur musique la forme de chansons. Pour écrire l'album, Sebastian, Gilbert et Graham se sont retirés dans les collines basques qu'ils considèrent comme leur foyer spirituel. Immergés dans leur berceau créatif, ils voulaient puiser dans quelque chose qui aille au-delà de leur expérience immédiate pour écrire des chansons intemporelles. L'enregistrement s'est déroulé à Los Angeles, sous la direction du célèbre producteur et musicien Justin Meldal-Johnsen (Beck, Air, M83, Paramore).