Das aus der Oberpfalz stammende niedere Adelsgeschlecht der Kapfelberger errichtete hier in der Zeit um 1200 eine Burg. An dieser Stelle befindet sich noch heute das ehemalige Schloss Kapfelberg, ein imposantes Baudenkmal in Gestalt eines dreigeschossigen Steilgiebelbaues des frühen 18. Jahrhunderts mit Resten der ehemaligen Ecktürme und einem Wirtschaftshof.
Die weithin über das Donautal sichtbare katholische Pfarrkirche St. Maria Immaculata ist eine Chorturmkirche der der Zeit um 1600, die im Kern noch frühgotische Bausubstanz enthält. Die qualitätsvolle barocke Innenausstattung des Gotteshauses stammt großenteils aus den Jahren um 1720/30.
Die Geschichte des Ortes Kapfelberg ist untrennbar mit dem Abbau von hochwertigem Gestein verbunden. Aus dem sogenannten "Römerbruch" wurden zumindest seit ersten Jahrhundert n. Chr. bis in das 19. Jahrhundert Hausteine gewonnen, die auf Schiffen Donauabwärts bis nach Regensburg, Passau und Wien transportiert wurden. Erst 1927 wurde die Nutzung des Steinbruchs endgültig eingestellt.
