képét, hangulatát meghatározza a falut átszelő Szécsényfelfalui-patak, s a vízmeder partján, a központban lévő templom szoborparkja, mely párját ritkítja a környező települések között. 
Nem csupán szobrai szépek, de a templomkert egésze is, hatalmas fáival. Helyén valamikor, a szájhagyomány szerint, egy II. András alapította templom állt. Egy vadászat alkalmával a király az akkor még meglévő tóba ejtette gyűrűjét, amit nagyon sajnált, mert a feleségétől kapta ajándékba, s hálából építtetett templomot, mikor az ékszert napok múltán előhozták a víz fenekéről. A tó azóta kiszáradt, megmaradt azonban a falu nevében a király emléke. A falu egy 1332-es tizedjegyzékben már szerepel, igaz ekkor még Alsó-, és Felső-Pog néven, mivel a Poghi család birtoka volt. A Károly Róbertet támogató Szécsényi Tamás koncolta fel a família urát, Poghi Endrét, mondván, Csák Mátét támogatta a királlyal szemben. Persze övé lett a két Pog. Később, ifjabb Poghi Endrének talán apja iránti tiszteletből sikerült kieszközölnie nem csak a kártérítést, de a település nevének megváltoztatását is, mindenesetre először ekkor használják az Endrefalva nevet. Persze a település 
már az ezt megelőző időkben lakott volt: „Sírmány dűlőben” bronzkori leleteket találtak, de a község központjában olyan középkori falurészletet találtak a régészek, amelyek egyelőre feltárásra várnak.
A rég alapított templom azóta elpusztult. Védtelen maradt a vidék, miután bevette az Ipoly-menti végvárakat a török, itt is megsarcolta a helyieket, majd fölperzselte templomukat. Nem csupán az oszmán, de utána a kuruc-labanc harcok is tizedelték a lakosságot, aztán pestisjárvány is végigsöpört erre 1709 és 1711 között. Ennek ellenére 1771-ben 46 családot írtak össze Endrefalván, s noha a kolera sem kímélte az itt élőket, hogy megindult a településen a kőbányászat, jótékonyan hatott a lélekszámra, a XX. század elejére több mint ezren éltek a faluban. Az sem elhanyagolható szempont, hogy a mezőgazdaság mellett a környező ipar is sokaknak 
ad munkát, félúton van Szécsény és Salgótarján között a falu, erre is, arra is sokan járnak dolgozni. Mindezek ellenére sok az üres ház a településen, kihasználatlanok, noha a tetszetős falu és vidéke alkalmas a kikapcsolódásra, pihenésre.
Központjának neogótikus temploma gyönyörűen felújított, szépek parkjának barokk szobrai is. S alig kell néhány kilométert utaznunk, számtalan látnivaló akad a környéken az Ipolytarnóci ősleletektől kezdve Szécsény, Balassagyarmat és Salgótarján múzeumain át a környező Karancs és Cserhát tájaiig. Horgászni lehet az Ipolyon, a Ludányhalászi tavakon, a Mihálygergei tározón, a közelben lovagolni is nyílik lehetőség, sőt, lovastúrákra is, és várak sorához, Somoskőre, Salgóra, Hollókőre kirándulhatunk innen. Ha pedig kedvtelésünk telik a vadászatban, a falut körülvevő tölgy-, bükk- és fenyőerdők nagyvadban és apróvadban igen gazdagok, több társaság is működik a környéken. S ha mindez nem lenne elég, ellátogathatunk könnyedén a határon túlra is, a szomszédos Fülekre, vagy épp Losoncra.