Deuse a coñecer a finais de 2004 cando só contaba con 23 anos co seu primeiro álbum titulado Micah P. Hinson and the Gospel of Progress. O disco obtivo o beneplácito da crítica e foi incluído nos primeiros postos das listas de «os mellores discos do ano» por varios medios de comunicación.

Musicalmente foi comparado con artistas como Johnny Cash, Leonard Cohen, Tom Waits e Nick Cave, e con outros grupos de folk e country rock alternativo como Wilco, Lambchop e Bright Eyes. Hinson pola súa banda afirmou que sente próximo a cantautores próximos ao pop como Elliott Smith ou Iron & Wine e que non creceu escoitando country, se non grupos de rock alternativo como My Bloody Valentine ou Pixies. As súas letras adoitan ser autobiográficas e conteñen referencias ao seu precoz e problemática vida persoal, da que a prensa musical adoita facerse eco habitualmente. Hinson recoñeceu que esta constante vinculación por parte dos xornalistas da súa persoa á mala vida fíxolle sentir arrinconado, perpetuando ese personaxe aínda que xa pechase esa etapa.