De sa splendeur passée, Usson conserve quelques vestiges de la triple enceinte de l'ancienne forteresse, mais également des demeures des XV^e et XVI^e siècles, ainsi qu'une église romane.

La butte d'Usson culmine à 639 mètres. Une statue de la Vierge a été érigée au sommet, avec pour mission de protéger les aviateurs. De cet endroit s'offre un panorama sur la chaîne des Puys, le massif du Sancy et les monts du Livradois-Forez.

En chemin vers le sommet, on peut observer des orgues basaltiques.

Le château d'Usson, démoli sur l'ordre du cardinal de Richelieu, avait été auparavant, de 1585 à 1605, lieu de résidence surveillée de Marguerite de Valois (1553-1615), dite la Reine Margot, première épouse (1572-1599) du roi de France Henri IV.

D'après le dessin que Revel en a fait au XV^e siècle, la forteresse devait être imposante (triple enceinte, vingt tours) et redoutable. On comprend que Richelieu ait pu y voir une menace pour l'autorité centrale.

La devise du château, dit-on, était : Garde le traître et la dent. Autrement dit, une forteresse aussi imprenable n'avait d'autres dangers à redouter qu'un traître ou la famine.