Alumnat Diecezji Wrocławskiej czyli akademik dla kleryków (Collegium Clericorum) powstał w latach 1725-1729, zgodnie z projektem Johana Blasiusa Peintnera, niemieckiego architekta działającego na Śląsku, pomiędzy korytem Odry a katedrą św. Jana Chrzciciela na Ostrowie Tumskim. Budynek w typie pałacu miejskiego składał się z barokowego korpusu frontowego i skrzydła zachodniego. Na początku XX wieku dobudowano neogotycką kaplicę (do budynku głównego od strony wschodniej) oraz wschodnie skrzydło, przykryto też cegłę klinkierową tynkiem, usuwając detale architektoniczne w celu unowocześnienia formy i elewacji gmachu. W latach 1880-88 dokonano kolejnej przebudowy – od strony Odry powstało południowe skrzydło budynku, także w stylu neogotyckim.
W 1935 roku budynek stał się siedzibą Arcybiskupiego Konwiktu Teologicznego „Marianum”, alumnat zaś przeniesiono na wrocławskie Karłowice, przy obecnej ul. Przybyszewskiego. W czasach drugiej wojny światowej – 2 kwietnia 1945 roku – budynek niemal w całości zniszczono. Pozostały koszykowe, ozdobne kraty okienne (zamontowane w innym budynku) i barokowy portal kolumnowy (obecnie znajdujący się nad drzwiami Papieskiego Wydziału Teologicznego). Ocalałe fragmenty piwnic i parteru zasypano gruzem, tworząc niewielkie wzgórze.
W 2012 roku zadecydowano o odbudowie budynku – 21 czerwca 2012 roku wmurowano kamień węgielny, wiosną następnego roku ruszyły prace archeologiczne, a w listopadzie budowlane. Projekt dr. inż. arch. Jerzego Gomółki zakładał rekonstrukcje dwóch najstarszych skrzydeł barokowych z XVIII wieku, ale dostosowując je do nowego przeznaczenia na siedzibę Biblioteki Archidiecezjalnej. Przy zachowaniu kształtu, proporcji, podziałów elewacji i detalu architektonicznego na podstawie dostępnych materiałów ikonograficznych i wykopalisk, zdecydowano się na zastosowanie lekkiego betonu architektonicznego w odcieniach chłodnej bieli. Materiał ten umożliwił wierne oddanie detali, a jednocześnie, ze względu na wyróżniający kolor, miał sygnalizować, że nie jest to zakonserwowany zabytek, ale nowa kubatura. Jednocześnie postanowiono włączyć oryginalne fragmenty budowli do obecnej bryły na zasadzie anastylozy. Budowę zakończono w 2016 roku, a wiosną 2020 roku, po wykończeniu wnętrz, rozpoczęto przenoszenie zbiorów dwóch wrocławskich bibliotek kościelnych i archiwum. Uroczyste otwarcie i poświęcenie Biblioteki Archidiecezjalnej przez ks. abpa Józefa Kupnego miało miejsce 13 października 2020 roku.
Obecnie Biblioteka Archidiecezjalna jest siedzibą czterech instytucji: Biblioteki Papieskiego Wydziału Teologicznego, Biblioteki Kapitulnej, Archiwum Archidiecezji Wrocławskiej i Obserwatorium Społecznego. Budynek ma siedem kondygnacji o łącznej powierzchni ponad 4,5 tys. metrów kwadratowych. Mieszczą się tu strefa wolnego dostępu i czytelnia (otwarte dla czytelników) oraz sześć magazynów, pomieszczenia administracji, sala konferencyjna oraz kawiarnia.