Imponujący obiekt powstał jako siedziba dla dyrekcji Królewskich Kolei Prus Wschodnich, dla której w mieście zabrakło miejsca. W 1838 roku Prusy powzięły ustawę o stworzeniu linii kolejowych. Między innymi postanowiono połączyć Berlin z Królewcem, bardzo odległe miasta pruskie. W 1848 roku powołano Königlichen Kommission für die Ostbahn i ona zakładała, że trasa będzie przebiegała między innymi przez Bydgoszcz - mówi Marek Jeleniewski, znawca bydgoskich zabytków. Kolej ostatecznie dotarła do Bydgoszczy w 1851 roku. Otwarto połączenie m.in. z Berlinem, podróż trwała wtedy 12 godzin.

Trzydzieści lat później pracownikom Królewskich Kolei Prus Wschodnich zaczęła doskwierać ciasnota. Dyrekcja była usytuowana w 11 budynkach na terenie Bydgoszczy, wobec czego powzięto decyzję o budowie nowej siedziby - przypomina Jeleniewski. Tak powstał monumentalny gmach przy ówczesnej Bahnhofstrasse, czyli dzisiejszej ulicy Dworcowej. Jego twórcą był berliński architekt Martin Gropius. Pobudował szereg innych, imponujących gmachów w Berlinie i nie tylko, także było to bardzo wartościujące miasto. Niestety, budowy nie doczekał; zmarł w 1880 roku, jeszcze zanim prace na dobre ruszyły.

Imponujący projekt berlińskiego architekta szybko stanął kością w gardle pruskiemu parlamentowi. Koszt budowy, szacowany wówczas na 2,5 miliona marek, okazał się za wysoki. Przeróbek, po śmierci Gropiusa, podjął się krajowy inspektor budowlany. Roboty ruszyły latem 1886 roku i trwały trzy lata. Powstał imponujący jak na ówczesne czasy gmach, tym bardziej, że tamte tereny dopiero się zabudowywały - tłumaczy pasjonat bydgoskich zabytków. - To był czas powstawania tej dzielnicy, wcześniej była to podbydgoska wieś Bocianowo, a sama dzielnica zabudowała się dopiero, gdy podjęto decyzję o budowie dworca kolejowego. Budynek miał więc robić wrażenie, podkreślać znaczenie i powagę urzędu i nadać ton całej, kształtującej się dopiero części miasta. Wykończony został w stylu stosunkowo rzadkiego w pruskim budownictwie manieryzmu niderlandzkiego, z wieżami i dekoracyjnymi zwieńczeniami.

Gmach przy Dworcowej 63 służył pruskim kolejarzom do końca pierwszej wojny światowej. Kiedy Bydgoszcz znalazła się w granicach Rzeczypospolitej usytuowano tam jednostki Polskich Kolei Państwowej. Dyrekcja znajdowała się w Gdańsku, do Bydgoszczy trafiły więc tylko niektóre instytucje, m.in. Biuro Rozrachunków Międzynarodowych PKP. Marek Jeleniewski: ogromny budynek pozostawał w części pusty, wobec czego przeniesiono tu niektóre agendy kolei radomskich, bo w Radomiu nie było dla nich warunków. Tak miało być już do września 1939 roku.

Po II wojnie światowej budynek stał się częścią skarbu państwa, był jednak administrowany przez miasto. Do PKP wrócił dopiero w latach siedemdziesiątych. Znów umieszczono w nim Biuro Rozrachunków Międzynarodowych i Obwód Lecznictwa Kolejowego wraz z przychodnią. Obok Zakładu Przewozów Towarowych PKP Cargo i Regionalnej Dyrekcji Ochrony Środowiska służba zdrowia ma w nim swoje siedziby do dziś.