Der Vorgänger des Gare du Nord war der 1846 eingeweihte und von der Rothschild-Familie finanzierte Belgische Bahnhof. Dieser konnte allerdings bereits 1854 das ansteigende Verkehrsaufkommen nicht mehr bewältigen. Dies zeigte sich besonders, als der Besuch von Queen Victoria zum nahen Gare de l'Est (Paris Ostbahnhof) umgeleitet werden musste.
Deshalb wurde 1857 beschlossen, einen Bahnhof zu bauen, welcher dreimal so groß werden sollte. Gleichzeitig sollte auch die Umgebung um den Bahnhof modernisiert werden. Die Bauarbeiten begannen 1861 unter der Leitung von Jakob Ignaz Hittorff.
1864 wurde der Bahnhof in Betrieb genommen, obwohl das Gebäude erst zwei Jahre später fertig gestellt wurde. Der Bahnhof wurde, parallel zum Bau der LGV Nord umfassend umgebaut. Mit Inbetriebnahme der Strecke, insbesondere auch des Eurotunnels, war mit einer Steigerung der Reisendenzahlen von 21 auf 36 Millionen pro Jahr gerechnet worden. Unter anderem wurde ein unterirdisches Parkhaus mit Stellplätzen für 1300 Pkw errichtet.