Gegründet wurde der Gesamtverein auf zwei Tagungen im Jahre 1852, wobei der Gründer des Germanischen Nationalmuseums, Hans Freiherr von Aufseß, und Prinz Johann von Sachsen eine wichtige Rolle spielten. Gründungszweck des Gesamtvereins war es, durch Zusammenschluss der Geschichtsträger vieler Territorien, Landschaften und Städte die Einheit der deutschen Geschichte in der Vielheit zu betonen und damit die landes- und regionalgeschichtliche Forschung anzuregen. 

Die vom Gesamtverein herausgegebene, einmal jährlich im Umfang von 500 – 600 Seiten erscheinende Zeitschrift „Blätter für deutsche Landesgeschichte“ veröffentlicht schwerpunktmäßig in ihrem Aufsatzteil landesgeschichtliche Untersuchungen zum gesamten deutschsprachigen Geschichtsraum, in denen sich die Vielfalt der deutschen Landesgeschichtsforschung in regionaler, zeitlicher, sachlicher und methodischer Hinsicht in großer Breite widerspiegelt. Neben kürzeren, längeren oder gar sehr langen Einzelbeiträgen werden hier auch kleinere Tagungen dokumentiert. Das  „Landesgeschichtlichen Forum“ vereinigt Literaturbesprechungen und Berichte wissenschaftlicher Vereine, Institute und Unternehmungen.   

Seit 1968 veranstaltet der Gesamtverein außerdem den Tag der Landesgeschichte, der sich jeweils speziellen Forschungsfragen widmet und darüber hinaus dem Erfahrungsaustausch der Landeshistoriker in den Mitgliedsvereinen und aus den Universitäten gilt. Im Bereich der Quelleneditionen hat der Gesamtverein sich auch mit Erfolg um die notwendige Vereinheitlichung bemüht. So sind die von Walter Heinemeyer im Auftrag des Gesamtvereins erarbeiteten Editionsgrundsätze für Urkunden, mittelalterliche Amtsbücher und Quellen zur neueren deutschen Ge­schichte heute fester Bestandteil der geschichtswissenschaftlichen Praxis. 

Daneben erhält die Popularisierung von Forschungsergebnissen und die Vermittlung an eine breitere Bevölkerung zunehmend stärkeres Gewicht, um damit das Bewusstsein der Bürger für landes- und regionalgeschichtliche Bezüge zu fördern und damit die geistige Grundlage für das föderalistische System in Deutschland zu erhalten. 

Der Gesamtverein wirkte und wirkt auch als Sprecher seiner über 200 Mitgliedsvereine, so etwa bei der Begutachtung der Archivgesetze im Bund und in einzelnen Bundesländern. Er pflegt außerdem zahlreiche Kontakte zu staatlichen Organen und Institutionen auch des Auslands. So ist er insgesamt als Koordinator landesgeschichtlicher Forschung und Vereinsarbeit tätig, bildet ein Forum des fachlichen Austausches, regt Projekte an und vertritt als Kulturlobbyist die Interessen seiner Mitglieder gegenüber der Politik und der Öffentlichkeit.