Le site foritifié (castrum) dispose, comme il est d'usage, d'une chapelle, qui épargne aux seigneurs châtelains et à leur famille la fatigue de se rendre à l'église paroissiale du village le plus proche. C'est ce que devaient faire en revanche les habitants du village installé en contrebas des tours, au bord de l'eau, pour recevoir les sacrements (baptême, mariage, communion, confession et pénitence...), puisque la chapelle était réservée au seigneur qui adressait à Saint Léger prières et serments.
La présence d'une chapelle "privée" sur le castrum rappelle que dans cette France entre XIIIème et XIVème siècles, l'Eglise imprégnait tout : l'espace, les paysages, la société, la famille l'individu... Rien ni personne n'y échappait. De nombreux prêtres habitaient d'ailleurs le village de Merle, parmi lesquels le chapelain, chargé d'y célébrer surtout la messe, en concurrence avec l'église paroissiale.

Le site de Merle correspond à l'endroit où le chemin traversant le plateau de la Xaintrie, de Lapleau à Gramat, franchissait la Maronne. Sa fréquentation fut assez importante pour imposer, dès le Moyen Âge, la construction d'un pont, assorti d'un péage. Son existence est attestée au XIVème siècle : le seigneur Hugues (né entre 1327 et 1334 - mort en 1362) partage les revenus de ce "pontonnage" avec les autres coseigneurs.

Trois moulins à eau appartenant aux coseigneurs existaient dans l'environnement de Merle : deux dits "de Lollet" appartenant à la famille des Pesteils, et un à Fulcon de Merle, un autre coseigneur.
L'utilisation systématique de l'énergie hydraulique, connue dès l'antiquité mais peu diffusée avant le XIIe siècle, fut un progrès décisif pour accroître la transformation des produits agricoles. Ils étaient essentiellement destinés à la meunerie car les céréales, dont on fait le pain mais surtout, pour les plus humbles, les galettes ou les bouillies, sont alors la base de l'alimentation, chez les nobles aussi bien que chez les paysans.
Seuls les seigneurs châtelains du lieu étaient cependant assez fortunés pour assumer le lourd investissement d'un tel bâtiment, ainsi que les frais d'entretien. Aussi, en échange des services du moulin (monopole du seigneur avec le pressoir et le four), les seigneurs percevaient de la part des villageois une redevance, les "banalités".

Cette tour-donjon a été dressée à la fin du XIIe ou au début du XIIIe siècle pour, probablement, servir de point d'observation, de poste de tir et de dernier refuge (si le reste de la fortification vient à être prise par un ennemi) à un certain Aymeric, seigneur de la famille des Pesteils, marié à la fille d'un seigneur de Merle, Hélis. Avec ce bâtiment, c'est une troisième lignée de coseigneurs qui s'installent à Merle.
Au milieu du XIIIe siècle, suite à une série de mariages favorables, un certain Rigal, seigneur de la famille des Carbonnières, parvient à s'imposer en qualité de suzerain sur le rocher de Merle, où se trouve déjà installé le descendant de la famille des Pesteils, Guy. En 1270, un accord va être négocié entre les deux seigneurs : Rigal de Carbonnières s'empare de la tour des Pesteils et leur concède le corps de logis ainsi que la cour (ou salle) fortifiée.
Rigal de Carbonnières, en s'emparant ainsi de la tour des Pesteils, construite sur le point le plus élevé du Puy, affirme symboliquement sa supériorité de suzerain : par "hommage et serment de fidélité" à Rigal de Carbonnières, les seigneurs de la famille des Pesteils puis, après un accord en 1294, l'ensemble des seigneurs de la châtellenie de Merle sont ses "vassaux" pour les possessions qu'ils tiennent de lui.

Cette nouvelle tour carrée a sans doute été dressée dans le dernier tiers du XIVe siècle par Guy de Pesteils, dont la famille avait été écartée un siècle auparavant par celle de Carbonnières.

Ce « château » a été construit en plusieurs étapes par la famille du seigneur de Merle :
- une première tour (défensive, de guet) est bâtie aux environs des XIème - XIIème siècles, mais il n’en reste rien ou presque aujourd'hui ;
- au tournant des XIIIème - XIVème siècles, une nouvelle tour-château résidentielle est bâtie (tour « de Fulcon de Merle ») ;
- dans la première moitié du XIVème siècle, les derniers corps de logis sont ajoutés (tour « des filles d'Hugues de Merle » et son agrandissement).
Au XIVème siècle, l’ensemble forme un véritable « château » avec salles voûtées, terrasse à créneaux, escalier maçonné et tout le confort de l'époque (vastes cheminées à arcades, armoires murales, éviers, placards, fenêtres à meneaux et même latrines). Il domine (en partie) le site de Merle, car il s'agit de montrer qu'il est le lieu principal du pouvoir d’un coseigneur où s'exercent la justice et l’administration. C’est un certain Hugues, devenu seigneur de Merle à la mort de son père en 1351, qui loge dans ce château. Il le tient cependant en propriété « utile » d’un coseigneur, Rigal de Carbonnières, depuis un accord en 1294, par « hommage et serment de fidélité ». Ainsi les seigneurs de la famille des Merle, mais ceux de Pesteils et Veyrac, sont les « vassaux » du seigneur de Carbonnières pour les possessions qu'ils tiennent de lui.Le seigneur assurait aux habitants de la châtellenie qui relevaient de lui un certain nombre de services : aide aux plus démunis, justice, et surtout sécurité (construction et fortification des châteaux, entretien de la milice castrale...).
Le testament d'Hugues de Merle (voir texte et illustrations : « le village ») permet de de savoir d'où il tirait les ressources pour financer ces coûteuses dépenses. Les habitants de la châtellenie, principalement des paysans, devaient s'acquitter de redevances (taxes en argent ou en nature versées au seigneur par les villageois), en particulier :
- le cens : une redevance (sorte de loyer) payée par les villageois « tenanciers » qui occupent une « tenure » appartenant au seigneur, qui porte à la fois sur des maisons (le cens est alors souvent payé en argent), et sur les terres labourables (le cens est alors souvent payé en nature, essentiellement sur les céréales, parfois les châtaignes, certains légumes secs, des moutons, des volailles et leurs œufs, de la laine, du chanvre, souvent de la cire) ;
- les corvées : des journées de travail dues au seigneur, pour le travail de la terre surtout, en fonction du calendrier agricole, ou d'autres tâches comme l'entretien des fossés et du château ;
- la « taille » seigneuriale : un impôt payé lorsque survient un évènement exceptionnel dans la vie du seigneur, comme son entrée à la chevalerie, sa participation à la croisade, le mariage d'une de ses filles... ;
- la justice : comme coseigneur chargé du droit et du devoir de la rendre, Hugues de Merle perçoit les amendes et peut s'approprier les biens confisqués aux délinquants condamnés à mort ou expulsés de la châtellenie ;
- d'autres ressources : les revenus du péage pour la traversée de la Maronne, le « forestage » (voir texte et illustrations : « la forêt »), les banalités (voir texte et illustrations : « les moulins »)...

Ce "château ancien", en fait un corps de logis, est sans doute construit à la fin du XIIe ou au début du XIIIe siècle par une seconde famille de seigneurs, les Veyrac.

Cette extension, datée de la première moitié du XVe siècle, visait a adjoindre un nouveau logis de trois niveaux au château ancien.

Dans la première moitié du XIIIe siècle, on décida d'adjoindre à la tour un corps de logis en pierre, relié à cette dernière par un mur d'enceinte. L'espace délimité par ce mur et le rocher en face constituait une cour fortifiée, à ciel ouvert ou couverte pour former une salle fermée.
L'occupant de ce logis, Guy de Pesteils, reconnaît en qualité de vassal, par un acte de 1270, tenir ce bien (tenir "en fief") du seigneur Rigal de Carbonnières, son suzerain, qui s'est lui-même approprié la première tour romane pour asseoir son pouvoir de commandement.
Une cérémonie a lieu alors par laquelle le seigneur accepte de se soumettre à l'autorité du suzerain qui, à son tour, promet de protéger son vassal : c'est l'hommage.
"Le vassal se présente devant le suzerain dans le château de Carbonnières (...) sans ceinture ni éperon, tête découverte. Il s'agenouille devant lui, place ses mains entre les siennes et, sur un bréviaire [livre de prières] tenu par le suzerain, prononce un serment qui manifeste sa volonté de se mettre sous sa dépendance. Vient ensuite le baiser de paix et l'engagement du vassal de fournir (...) sa déclaration (...) des fiefs qu'il tient du suzerain. En réponse, le suzerain promet au vassal de lui être bon et fidèle seigneur, de l'aider et le défendre."
D'après G. d'Alboy, P. Gire & M.-F. Houdart, "Tours de Merle, joyau du Limousin médiéval", 2014.

Depuis la première tour des XIe - XIIe s., le castrum de Merle s'est aggrandi avec le développement d'un village au pied de l'escarpement rocheux. Au XIV° siècle, il compte une vingtaine de maisons.
Ce village est constitué des "tenures", les parcelles avec maisons et terres cultivables que le "tenancier" et sa famille "tiennent" du seigneur en échange d'une redevance, le "cens".
Cependant, les terres cultivables sont peu nombreuses sur le site de Merle car la place manque. Ainsi les paysans avaient l'essentiel de leurs tenures plus haut, sur les bonnes terres du plateau, dans les villages de la châtellenie.
Aussi le village était-il plutôt constitué d'artisans, de maçons, de charpentiers, de tisserands, de forgerons, de prêtres, de notaires, vivant dans une dépendance plus ou moins étroite avec leurs seigneurs, résidant au-dessus dans leur château, lieu de justice et d’administration de la seigneurie.
Un document exceptionnel, le testament daté du 8 mai 1361 d'Hugues II de Merle (mort en 1362), permet d'établir l'inventaire précis des biens de ce seigneur et de comprendre la vie au XIVe siècle d'une famille de petite noblesse de la Xaintrie (dans la tour "des filles d'Hugues de Merle" et son aggrandissement).

De manière générale en Europe, la forêt a été largement détruite entre les XIe et XIIIe siècles pour faire face à l'importante augmentation de la population : sous le contrôle des seigneurs, de grands défrichements sont organisés, c'est-à-dire l'extension du sol cultivable au détriment des forêts ou des friches.
Sur le site de Merle, très abrupt et difficile à cultiver, la forêt de pente a sans doute mieux résisté qu'ailleurs. Il est vrai que le maintien de cette forêt était un enjeu majeur dans l'économie médiévale, en effet :
- elle alimentait les communautés villageoises en bois de construction et bois de chauffe, tant pour les habitations que pour les artisanats de type pré-industriel (forges, poteries, verreries) ;
- associée au château, elle constituait un domaine réservé de chasse pour le seigneur et lui seul, que l'on appellait "garenne" ;
- de nombreuses essences d'arbres à fruits offraient une nourriture d'appoint non négligeable pour la communauté villageoise : en particulier les noyers, dont les fruits servaient d'alimentation hivernale et l'huile pour la cuisine, et les châtaigniers, extrêmement appréciés pour leur production abondante et la qualité nutritive de leurs fruits ;
- une partie du bétail aussi trouvait de quoi se nourrir en forêt : les porcs étaient menés dans les chênaies-hêtraies qui peuplaient les pentes les plus abruptes, impossibles à cultiver, pour s'y nourrir de glands, de faines, et surtout de racines.
Le seigneur pouvait y accorder des droits particuliers moyennant le paiement d'une redevance, le "forestage" : le droit de ramasser du bois mais aussi le droit de pacage en forêt, de coupe de bois de chauffage et parfois de bois d'oeuvre pour ses besoins personnels, sans vente possible.

Ces terrains, à proximité du village, paraissent inexploités. Il s'agit vraisemblablement de champs laissés en jachère (terre labourable qu'on laisse reposer temporairement) pour ne pas épuiser le sol, à une époque où l'on ne connaît que les engrais naturels.
Cette technique dite ""assolement triennal", surtout diffusée du XIe au XIIIe siècle, consiste à pratiquer une rotation des cultures, les terres étant cultivées un an ou deux, puis laissées au repos (jachère) la troisième année. Parce qu'il assure de meilleures récoltes, l'assolement triennal est un important progrès pour l'agriculture.
Ces terrains non cultivés, sur lesquels les habitants peuvent librement chercher du bois ou mener leur bétail, sont nommés "communaux".

Un champ cultivé est reconnaissable, au pied de la tour "donjon" de la famille de Pesteils, grâce aux traces des sillons rectilignes laissées par la charrue.
Du IXe au XIe siècle, l'agriculture connaît en effet un important progrès avec la diffusion de l'usage de la charrue à versoir qui retourne et aère la terre, remplace l'araire et son maigre sillon droit. Cette innovation technique a permis de conquérir sur la forêt des espaces pour la mise en culture.
Cette parcelle cultivée située au pied de la tour "donjon" de la famille de Pesteils pourrait être une partie de la "réserve", ces terres que le seigneur garde pour lui-même, qu'il fait cultiver par des paysans salariés et d'autres soumis à la corvée (travail gratuit et obligatoire effectué par les paysans pour le seigneur).

L’eau conditionne l’irrigation des champs. Elle permet la transformation des produits agricoles comme les moulins à blé ou à noix.Elle est source d’approvisionnement en boisson pour les animaux et est indispensable aux hommes.Elle assure enfin l’approvisionnement en poisson nécessaire au régime chrétien. La Maronne était très poissonneuse : truites, anguilles, saumons, cabots, mulets, barbots en abondance complétaient le menu et fournissaient la nourriture des 150 jours maigres que comptait l'année au XIVe siècle.

Sur ces versants à bruyères paissent les chèvres et les moutons.