Se dio a conocer a finales de 2004 cuando sólo contaba con 23 años con su primer álbum titulado Micah P. Hinson and the Gospel of Progress. El disco obtuvo el beneplácito de la crítica y fue incluido en los primeros puestos de las listas de «los mejores discos del año» por varios medios de comunicación.

Musicalmente ha sido comparado con artistas como Johnny Cash, Leonard Cohen, Tom Waits y Nick Cave, y con otros grupos de folk y country rock alternativo como Wilco, Lambchop y Bright Eyes. Hinson por su parte ha afirmado que se siente próximo a cantautores cercanos al pop como Elliott Smith o Iron & Wine y que no creció escuchando country, si no grupos de rock alternativo como My Bloody Valentine o Pixies. Sus letras suelen ser autobiográficas y contienen referencias a su precoz y problemática vida personal, de la que la prensa musical suele hacerse eco habitualmente. Hinson ha reconocido que esta constante vinculación por parte de los periodistas de su persona a la mala vida le ha hecho sentir arrinconado, perpetuando ese personaje aunque ya hubiera cerrado esa etapa.