Die Geschichte der Burg von Natternberg beginnt mit dem Jahr 1145 als Edelsitz eines Hartwig von Natternberg, der ein Angehöriger der Grafen von Bogen war. Nach dem Aussterben dieses Geschlechts (1242) ging der Besitz an die Wittelsbacher über. Diese machten die Burg zum Sitz eines Pflegers. Hier wuchs der bayerische Herzog Heinrich der Natternberger auf und fand 21-jährig im Jahr 1333 hier auch den Tod. Die Wittelsbacher belehnten nun Peter von Egg, Feldhauptmann Kaiser Ludwigs des Bayern, mit dem Natternberg. Nachdem Peter von Egg in Ungnade gefallen war, wurde er 1337 ein Jahr lang belagert, bis er Natternberg an den Herzog zurückgab.

Der Natternberg hat seinen Namen vermutlich nicht - was nahe liegt - von einem Berg voller Nattern. 

Wilhelm Fink OSB, gestorben 1965 in Metten, vermutet jedoch, dass sich der Name aus der Römerzeit ableitet, nämlich aus dem Lateinischen „nautaris“ (Schiffer bzw. Schifferberg). Der Natternberg wäre demnach ein markanter Orientierungspunkt für die damalige Donauschifffahrt gewesen, und erst im Laufe späterer Jahrhunderte hätte sich dann die Assoziation mit den Schlangen entwickelt.
Über die Entstehung des Natternbergs in der Landschaft gibt es eine Legende, welche sich die Menschen im Landkreis Deggendorf seit Urzeiten erzählen. Sie behauptet, dass der Teufel eines Tages zur Mittagszeit einen riesigen Fels in die Donau werfen wollte, um dadurch Deggendorf zu überschwemmen. Doch als er die Glocken vom nahegelegenen Kloster Metten hörte, habe er diesen vor Schreck kurz vor der Donau einfach fallen lassen. Daraus sei dann der Natternberg entstanden. Eine andere Sage bildet sich um den Grafen und die Gräfin von Natternberg. Diese sollen während ihrer Jagden die Felder der Umgebung böse verwüstet haben und zur Strafe sollen sie noch heute ruhelos herumgeistern. Eine weitere Sage berichtet, dass Karl der Große im Jahr 791 bei seinem Zug gegen die Awaren eine Donau-Brücke zwischen Metten und dem vor dem Natternberg liegenden „Mettenufer“ bauen ließ. Diese Brücke müsste ziemlich genau an der heutigen Stelle der Autobahnbrücke der A3 gelegen haben. (Wikipedia)