Le groupe est fondé à Los Angeles par Jeffrey Lee Pierce en 1979. D’abord baptisé The Creeping Ritual par Jeffrey et Kid Congo Powers, le Gun Club, au moment du premier album en 1981, est alors composé de Jeffrey, Ward Dotson, Rob Ritter, Terry Graham et partagera l’étroite scène psychobilly avec le groupe de Kid Congo, The Cramps. En 1983, le bassiste Ritter se voit remplacer par Patricia Morrison, le line-up subissant par la suite de nombreux changements qui trouvent essentiellement leurs causes dans l’addiction excessive de Jeffrey à l’alcool et aux drogues. Le chanteur s’avère être une figure hors-norme et hanté par le blues qu’il veut réhabiliter de façon punk et singulière. Il composera sept albums (et un EP, Death Party, 1983) dont les imparables Fire Of Love (1981), Miami (sorti sur le label de Blondie en 1982 et qualifié d’ "hymne funèbre" par son auteur) et The Las Vegas Story (1984), retraçant l’Amérique selon Jeffrey, ainsi que deux albums solo, Wildweed (1985) et Ramblin’ Jeffrey Lee And Cyprus Grove With Willie Love (1992). Observant le Salvador, la Jamaïque ainsi que la diversité lugubre des Etats-Unis avec autant de fascination que de répulsion, Jeffrey avoue être plus attiré par l’Europe, continent où le Gun Club est le plus apprécié et par l’Asie (il vivra par ailleurs à Londres et au Japon). Il s’inspire alors de ses expériences vagabondes et lourdes en substances destructrices, pour écrire des chansons visionnaires, profondément possédées, marquées par la tristesse qu’il cherche à exorciser au travers d’allégories vaudou et diaboliques. Petit à petit la musique du Gun Club ira vers une pop mélancolique. Le dernier album paraît en 1994 et s’intitule Lucky Jim, avant que Jeffrey Lee Pierce ne meurt chez son père en 1996, d’une hémorragie cérébrale (alors atteint de plusieurs hépatites).