Powstanie Archiwum Państwowego w Poznaniu związane jest z dziejami wielkopolskich kancelarii grodzkich i ziemskich, których akta uległy archiwizacji na skutek rozbiorów i upadku państwa. W 1772 r. władze pruskie opieczętowały kancelarie grodów: inowrocławskiego, kruszwickiego, bydgoskiego, nakielskiego, kcyńskiego i wałeckiego. W 1775 r. znajdujące się tam akta zostały przewiezione do Piły i Bydgoszczy, natomiast w roku 1808 wszystkie scalono
w Bydgoszczy, w tamtejszym klasztorze bernardyńskim, z którego w 1825 r. przeniesiono je do budynku sądu. W 1860 r. cały ten zbiór przewieziono do Poznania i włączono do archiwum grodzkiego poznańskiego. Powstało ono z akt grodów: poznańskiego, kościańskiego, wschowskiego, gnieźnieńskiego, pyzdrskiego, konińskiego i kaliskiego, które w początku 1793 r. również zostały przez władze zaborcze zamknięte. Odpieczętowano je wszystkie w czerwcu tego roku, w czasie terminów świętojańskich, aby szlachta mogła jeszcze wpisać swoje transakcje. Wezwani przez władze dawni polscy funkcjonariusze grodowi, pod nadzorem pruskich komisarzy, po raz ostatni wykonali wówczas swoje czynności urzędowe. Zaraz potem akta z wszystkich tych grodów zostały zwiezione do Poznania i złożone w gmachu pojezuickim,
a w 1795 r. przeniesione do klasztoru franciszkanów. W 1799 r. zbiór ten został uszczuplony,
na skutek wywiezienia do Kalisza akt kaliskich i konińskich. W 1832 r., gdy król pruski podarował miastu zabudowania franciszkańskie w Poznaniu, archiwum przeniesiono do klasztoru dominikanów. W roku 1842 z kolei, klasztor dominikański został oddany wojsku na szkołę - wtedy archiwum przeniesiono do budynku Sądu Ziemiańskiego. W roku 1849 archiwalia grodzkie i ziemskie przeniesiono do dawnego zamku i siedziby starosty generalnego Wielkopolski oraz dawnego sądu grodzkiego i ziemskiego, a w tym czasie Wyższego Sądu Apelacyjnego, na Górze Przemysła.

Na przełomie XVIII i XIX w. księgami ziemskimi i grodzkimi zgromadzonymi w Poznaniu zajmował się Atanazy Ptaszycki. W I połowie XIX w. do archiwum przychodziło bowiem wielu interesantów, poszukujących dowodów szlachectwa i potwierdzenia swego stanu posiadania.
Z tego powodu, w 1836 r. archiwista Zdanowski spisał księgi przydatne do kwerend.
W tym samym roku ukazał się artykuł dyrektora Biblioteki Raczyńskich Józefa Łukaszewicza, który zwrócił uwagę pruskich kół urzędowych na wielkie znaczenie tych akt. Od 1850 r.
w sprawie utworzenia w Poznaniu państwowego archiwum, które zabezpieczyłoby cenne materiały, przechowywane dotąd w złych warunkach, interpelowali posłowie polscy do parlamentu pruskiego. Dzięki tym zabiegom, w 1857 r. rząd pruski przeznaczył fundusze na opłacenie posady archiwariusza zbioru ksiąg ziemskich i grodzkich, i nadał ją nauczycielowi gimnazjum Marii Magdaleny Józefowi Przyborowskiemu, którego w 1863 r. zastąpił jego pomocnik Józef Lekszycki. Wnioski polskie o utworzenie archiwum w Poznaniu akceptował nowy dyrektor archiwów pruskich Max von Duncker, który opracował odpowiedni projekt, skierowany przez premiera Otto von Bismarcka na posiedzenie Rady Ministrów w dniu 24 sierpnia 1868 r. i zaakceptowany jednomyślnie. Fakt powołania do życia Archiwum Państwowego w Poznaniu podał do wiadomości prezes naczelny prowincji poznańskiej w dniu 8 marca 1869 r. Archiwum powołano jako nową placówkę w sieci pruskich archiwów państwowych, którą zaczęto tworzyć po Kongresie Wiedeńskim. Sieć ta obejmowała archiwa prowincjonalne, od 1867 r. noszące nazwę archiwów państwowych (Staatsarchiv), i podlegała Dyrekcji Archiwów Państwowych, zależnej od Prezydium Rady Ministrów. Działalność archiwum poznańskiego rozciągała się na obszar prowincji poznańskiej.
Tymczasem już 1 lutego 1869 r. do Poznania przybył nowo mianowany kierownik Archiwum Carl Schuchard, i zaczął organizować je przy pomocy Józefa Lekszyckiego, w budynku pojezuickim użytkowanym przez Rejencję Poznańską, gdzie od początku XIX w. przechowywano dokumenty
i akta po skasowanych przez władze pruskie klasztorach wielkopolskich. W 1874 r. dołączono do nich archiwalia grodzkie i ziemskie, które tym samym dostały się pod zarząd archiwum państwowego. W 1884 r. natomiast, gdy Sąd Apelacyjny opuścił pomieszczenia w dawnym zamku starosty na Górze Przemysła, tam ulokowano całe Archiwum.
Jego zasób składał się początkowo z około 800 dokumentów pergaminowych klasztornych wraz z księgami i aktami klasztornymi oraz z około 4000 ksiąg ziemskich i grodzkich. Jednak już wkrótce, po zwróceniu się dyrektora Archiwum do władz miast na terenie prowincji poznańskiej, zaczęły napływać akta miast wytworzone w okresie Rzeczypospolitej Szlacheckiej. Przejęto wówczas w depozyt akta 109 miast i 110 cechów i organizacji kupieckich. Wśród nich najcenniejsze materiały zawierał depozyt miasta Poznania, obejmujący pergaminowe dokumenty od połowy XIII w. i księgi od końca XIV w. Ponadto akta swoje przekazały gminy ewangelickie, gmina braci czeskich w Lesznie i gminy żydowskie. W latach 80 - tych XIX w.
w skład zasobu Archiwum weszły także najstarsze partie akt wytworzonych przez urzędy Naczelnego Prezesa Prowincji Poznańskiej i Prezesa Rejencji w Poznaniu i w Bydgoszczy
oraz innych urzędów administracji państwowej.
Następcą Carla Schucharda na stanowisku kierownika Archiwum był dr Paul Clauswitz
w latach 1875-1878. Dr Carl Sattler stał na czele Archiwum w latach 1878-1880, dr Christian Meyer w latach 1880-1884, Bernard Endrulat w latach 1884-1886 i dr Rodgero Prümers
w latach 1889-1919. Był on przewodniczącym, mającego siedzibę w Archiwum, Historische Gesellschaft für die Provinz Posen, w ramach którego powstawały prace historyczne z dziejów Wielkopolski, omawiające działalność Niemców na tym terenie i podkreślające niemiecki charakter tej prowincji. Zajmowano się także edycją źródeł; Adolf Warschauer zatrudniony
w latach 1882-1912, wydał drukiem najstarsze akta miejskie poznańskie pt. "Stadtbuch von Posen". Jedynym polskim pracownikiem zatrudnionym w Archiwum w okresie pruskim był Józef Lekszycki, ceniony jako znawca ustroju przedrozbiorowej Polski i genealogii wielkopolskich rodzin szlacheckich. Wydał drukiem najstarsze księgi ziemskie wielkopolskie pt. "Die ältesten grosspolnischen Grodbücher".

Po klęsce Niemiec w I wojnie światowej, już w dniu 15 listopada 1918 r. Rada Robotniczo-Żołnierska w Poznaniu mianowała Józefa Kostrzewskiego swoim referentem do spraw Archiwum, a w dniu 27 grudnia tego roku decernentem archiwalnym Naczelnej Rady Ludowej został mianowany ks. Stanisław Kozierowski, mimo że zarząd Archiwum pozostawał nadal w rękach pruskich. Dopiero w dniu 5 kwietnia 1919 r. Komisariat Naczelnej Rady Ludowej wypowiedział pracę urzędnikom pruskim i mianował kierownikiem Archiwum Józefa Paczkowskiego, stojącego wówczas na czele Wydziału Archiwów Państwowych w Warszawie,
i którego na miejscu zastępował Bolesław Erzepki. Archiwum podlegało Zarządowi Archiwów działającemu w ramach Ministerstwa b. Dzielnicy Pruskiej, a po jego likwidacji z początkiem 1922 r. weszło do sieci archiwów podległych Wydziałowi Archiwów Państwowych w Warszawie.
Po ustąpieniu Józefa Paczkowskiego w 1925 r. kierownikiem Archiwum został Kazimierz Kaczmarczyk, były archiwista Archiwum Miejskiego w Krakowie, który pełnił tę funkcję w zastępstwie już od 1920 r. i pozostał na tym stanowisku - nie licząc okresu II wojny światowej - do 1953 r. Wydał on drukiem dalszy ciąg najstarszych akt miejskich pt. "Akta radzieckie poznańskie".

Archiwum Państwowe w Poznaniu w okresie międzywojennym obejmowało ówczesną Wielkopolskę i Pomorze, dlatego w 1923 r. podporządkowano mu w charakterze oddziału, Archiwum Komisji Generalnej dla Prus Zachodnich i Wielkopolski w Bydgoszczy. W roku 1926 natomiast przejęło ono zasób zlikwidowanego w tym czasie Archiwum Państwowego w Kaliszu, zaś w połowie lat 30tych XX w. przejęło z Archiwum w Gdańsku dokumenty, księgi i akta miast
i wsi pomorskich z lat 1323-1918.

W latach 1920-1924 archiwiści poznańscy wykonali kwerendę dla delegacji polskiej działającej przy Komisji Odszkodowawczej w Paryżu, która pozwoliła ustalić, że 45% majątków niemieckich przejętych przez Polskę po I wojnie światowej, stanowiło przed rozbiorami majątki królewskie, które stały się własnością rządu pruskiego w następstwie rozbiorów, i za które Polska nie musiała płacić Niemcom odszkodowania.

Po wybuchu II wojny światowej i zajęciu Poznania, Niemcy przejęli Archiwum w dniu 10 września 1939 r. Dyrektorem został dr Hermann Gollub z Wrocławia. W 1941 r. kierownikiem został dr Erich Sandow, a w 1942 r. dr Erich Weise. Dyrektor K. Kaczmarczyk został wywieziony do Generalnej Guberni, natomiast archiwistów polskich pochodzących z Wielkopolski pozostawiono w służbie. Archiwum przemianowano na Reichsarchiv Wartheland Posen, które zakresem swych kompetencji obejmowało cały Gau Wartheland. Administracyjnie podlegało
A. Greiserowi, Namiestnikowi Rzeszy w Kraju Warty, a merytorycznie Dyrektorowi Archiwów w Berlinie. Realizując politykę zmierzającą do zgromadzenia w Poznaniu wszystkich akt wytworzonych na terenie Gau Wartheland, przewieziono do Archiwum m. in. akta Archiwum Diecezjalnego we Włocławku, akta licznych parafii z terenów przyłączonych do Rzeszy, a także akta grodów: kaliskiego, konińskiego, kruszwickiego, łęczyckiego, wieluńskiego i pyzdrskiego, znajdujące się wtedy w Warszawie, oraz wiele innych zespołów akt, wytworzonych poza historyczną Wielkopolską. Natomiast wydzielono z zasobu Archiwum akta miasta Poznania powstałe do 1793 r. i utworzono dla nich odrębne Archiwum Miejskie.
W latach 1942-1944 najstarsze i najcenniejsze materiały archiwalne zostały wywiezione do Niemiec. W styczniu 1945 r. Archiwum znalazło się na linii frontu stanowiąc, wraz z innymi gmachami państwowymi, miejsce oporu. Skutkiem tego, w dniu 29 stycznia budynek archiwalny spłonął, a w nim zagładzie uległo około 320000 j.a. wśród których były dokumenty, księgi i akta miast wielkopolskich oraz cechów, a także wszystkie akta z okresu Księstwa Warszawskiego i wiele innych.

Z chwilą ustania okupacji hitlerowskiej, już w lutym 1945 r. polscy archiwiści zaczęli zwozić archiwalia ukryte przez Niemców na terenie Poznania i innych miejscowości Wielkopolski; odnaleziono m. in. księgi ziemskie i grodzkie wytworzone po 1500 r. Natomiast księgi sprzed 1500 r. oraz najstarsze dokumenty pergaminowe i inne cenne archiwalia wywiezione w 1942 r., wróciły z Goslar w Niemczech Zachodnich dopiero w 1947 r. Przywieziono także ogromny zbiór ksiąg metrykalnych utworzony przez Niemców w klasztorze w Gostyniu, Kartotekę Procesów o Czary i wiele akt zarchiwizowanych w 1945 r., a wśród nich akta urzędów pruskich z XIX-XX w. znajdujące się na terenie Ziemi Lubuskiej, która w tym okresie należała do województwa poznańskiego. Wszystkie te materiały lokowano w piwnicach wypalonego Archiwum oraz w należącym do niego budynku mieszkalnym, wkrótce także w byłym zamku cesarskim, a od 1947 r. także w budynku przy ulicy Stawnej 10, użytkowanym dotychczas przez Archiwum Miejskie.
Z dniem 22 lipca 1951 r. Archiwum przeniosło się do odbudowanego gmachu, należącego przed II wojną światową do Sądu Apelacyjnego w Poznaniu, gdzie mieści się do dnia dzisiejszego. W 1951 r. Archiwum Państwowe w Poznaniu przejęło zasób Archiwum Miejskiego (na podstawie rozporządzenia Prezesa Rady Ministrów), łącznie z magazynem przy ulicy Sierocej 10. W roku 1958 wróciły do Poznania najstarsze i najcenniejsze dokumenty wywiezione do Niemiec i stamtąd zabrane do Moskwy, wśród nich dokument Zbiluta dla cystersów w Łeknie z 1153 r.

W 1952 r. instytucja otrzymała nazwę: Wojewódzkie Archiwum Państwowe, którą w 1957 r. zmieniono na: Archiwum Państwowe Miasta Poznania i Województwa Poznańskiego. W roku 1976 powrócono do nazwy: Wojewódzkie Archiwum Państwowe, natomiast od roku 1983 do dziś placówka nosi nazwę: Archiwum Państwowe w Poznaniu i podlega Naczelnej Dyrekcji Archiwów Państwowych w Warszawie.
Do 1950 r. Archiwum działało na obszarze województwa poznańskiego, a w latach 1950-1953 także na obszarze nowego województwa zielonogórskiego. Do połowy lat 70 - tych XX w. Archiwum podlegały, utworzone na początku lat 50 - tych, archiwa powiatowe w Gnieźnie, Pile, Lesznie, Koninie i Kaliszu, a przejściowo także w Szamotułach i Poznaniu. Po reorganizacji administracji państwowej w 1975 r. archiwa w Kaliszu i Lesznie usamodzielniły się, natomiast archiwa w Koninie, Pile i Gnieźnie działają jako oddziały zamiejscowe Archiwum Państwowego w Poznaniu.

Na czele Archiwum do 1953 r. stał jego przedwojenny dyrektor prof. dr Kazimierz Kaczmarczyk. Do 1972 r. dyrektorem był dr Czesław Skopowski, po nim przez niecały rok funkcję tę pełnił dr Jan Szajbel, następnie również przez rok prof. Stanisław Nawrocki, a w latach 1974-1999 dyrektorem Archiwum był dr Stanisław Kłys. Od lutego 1999 r. obowiązki dyrektora pełnił dr Krzysztof Stryjkowski, a od połowy 2000 r. funkcję tę objął mgr Adam Bieniaszewski. Z dniem 1 stycznia 2005 r. dyrektorem Archiwum jest mgr Henryk Krystek.