Le groupe est formé aux alentours d'avril 1998 ; à cette époque, ils répètent entre eux seulement dans leurs villages reculés puis les membres de départ décidèrent de quitter leurs campagnes natales pour rejoindre Tôkyô, pour diverses raisons. Ils fondent par la suite un groupe appelé Gyorai, mais qu'ils renomment rapidement pour The Back Horn. Leur premier concert aura lieu au Fuji Rock Festival en 1999. La même année, ils enregistrent un mini-album Doko e Yuku sous le label Kando Records pour, quelques mois plus tard, enregistrer un album complet : Yomigaeru Hi.
En 2001, ils signent chez Speedstar Records, label qu'ils ont toujours conservé depuis. Dès leur signature, Naoki (le bassiste) quitte le groupe. Ils le remplacent par Okamine Kohshu durant l'enregistrement de Ningen Program. Celui-ci ne sera considéré comme membre officiel qu'après la sortie du second album Shinzou Orchestra. Peu après, le groupe sera choisi pour le générique de deux films. L'un de Kiyoshi Kurosawa qui s'intitule Jellyfish (Bright Future) et l'autre de Kazuaki Kiriya, Casshern.
Après une tournée incluant un concert au Rock in Japan Festival, ils sortiront plusieurs singles ainsi qu'un DVD live. Vient ensuite le quatrième album, Headphone Children. Une des chansons de l'album (Kiseki) sera utilisé pour la série de films d'horreur Zoo. La tournée Headphone Children donnera lieu à un album live, Ubugoe Chainsaw. En 2005, le groupe joue son premier concert en Europe à l'occasion du FESTIVAL ASIA 2005 à Barcelone, en Espagne. En avril 2006, le 6ealbumTaiyou no Naka no Seikatsu sort. La même année, ils sortent le single Wana qui sera utilisé pour le générique de fin de l'animeMobile Suit Gundam 00. À l'occasion des 10 ans du groupe, une compilation parait en janvier 2008 : Best The Back Horn, suivi à la rentrée 2008 par le huitième album, Pulse.
Le single Tatakau Kimi Yo sort le , puis le apparait le second single Tozasareta Sekai, et enfin le sort leur nouvel album, intitulé Asylum.
Japon