Le nom de Saint-Germain-les-Belles-Filles que porta le bourg jusqu'au XIXe siècle ne viendrait pas (comme l'indique la légende) d'Henri IV qui y aurait été bien accueilli, mais du nom d'un hameau proche, la Beylie ! L'église fortifiée semble avoir été érigée à la fin du XIVe siècle en exécution du testament du cardinal Hugues Roger, frère du pape d'Avignon Clément VI d'origine limousine. Son donjon avec salles de guet et chemin de ronde d'où l'on a une superbe vue, en fait l'originalité. A proximité siège un donjon carré, vestige du château du XIIe siècle. C'est à l'ancien hôtel de la Boule d'Or que Jean-Paul Sartre séjourna quand il vint voir Simone de Beauvoir en vacances dans sa famille au château de la Grillère !