不過，從長江到淮河，湖泊、沼澤和溪流共同構成了一個奇怪的迷宮。這一地區的地理似乎在過去的歲月裡經歷過無數次變化。古籍著作所提到的地形特徵，已經消失很長一段時期了。按照記載所說，這一地區至少有6條運河把長江和淮河連接起來。在這些運河中，最著名的是開鑿於西元前485年和西元587年的運河。今天，這幾條運河只能從地圖上找到，沒有明顯曾經存在的痕跡殘留。如果現在的大運河沿著與假想中它「祖先」的路線非常平行得前進，把它認為是一條從未乾枯、一直在奔騰的運河，那麼它的全部歷史就要另外延伸1000年。

過了淮河往北，大運河系統就進入了黃河流域。只有中國學者才非常熟悉黃河的特徵。黃河攜帶著大量沉積，不但要把自己的河床填滿，而且把它所接觸到的其他地方變成淤泥。最糟糕的是，黃河淹沒大面積的土地。一般認為，在1937年之前，黃河有6次改道。然而，這只是黃河的主要改道次數，那些規模較小的改道和地方性決堤並未考慮在內。近年來，學者們開始從各朝歷史中整理有關這種較小規模氾濫的記載，而重新建構的圖像看起來相當地令人吃驚。舉例來說，在明朝統治的277年時間裡，一項研究表明，在56年間，或是由於自然災害，或是政府所採取的水利控制措施，黃河改變其路線達到不同程度。另一項研究表明，黃河在同一時期裡僅僅是因為自然災害就改道58次。由於大運河河道必需穿越黃河流域，要維持其航行，一直是一個令人痛苦的難題。蓋達神父（Father Gander）就概括指出：

大運河的危險地段就在黃河流域。它很快就要在這裡消失。它的河床很容易被泥沙填滿。堤壩會被毀壞，航路可能會消失。整個大運河會因此而亂七八糟。

僅僅是一瞥此點，我們就足以認定大運河一直不是一個穩定的、持續不斷的並且統一的體系。它的一些組成部分一直是脆弱的。而且最重要的是，它的狀況每時每刻，從這段到那段，都在變化。

傳統上中國人認為隋煬帝是大運河的開鑿者。隋煬帝所設計和連接的大運河水道，與今天的大運河路線有所不同。人們常常認為此點無關緊要，可以不予考慮。不幸的是，隋朝大運河是在什麼環境下開鑿的，我們最不清楚。極為簡短的朝代歷史，留下一些記載以重新建構隋朝大運河圖像。比如，就大運河連接黃河和淮河的一段來說，我們知道它是在605年開通。隋政府投入了包括婦女在內、人數達100多萬的勞力。整個工程難以置信地在短短的5個月裡就完成了。除此之外，我們實際上再也找不到什麼有關記載了。由於隋朝大運河完工迅速，使得有的學者認為整個工程一定是採取了已有的渠道。然而，我們並無什麼證據可以證明它是如何完成的。據說，隋朝大運河水道寬度為100英尺到200英尺不等，但是至於深度和水位，我們知之甚少，也不能確定是否使用了閘門和船閘。《隋書》中記載隋煬帝下江南時說，船隊由6種不同等級的船隻組成，其中一些船隻是雙層的。我們只能從此點記載推斷，隋朝大運河是在短時期內快速開鑿而成，是一項相當大的巨大工程。《隋書》中屢次提到船夫，這表明他們可能是推動船隻前進的主要動力。

在隋朝大運河整個體系中，淮河和長江之間的一段是隋煬帝的父親於587年開始開鑿的，目的是為了征服江南土地。由於這是在軍事行動中臨時開鑿的工作，開鑿結果顯然不完全令人滿意。隋煬帝繼位以後，不得不進行大量整飭，其中一些河段的路線是重新設計的。

連接洛陽和今天北京的北方運河，是608年開始開鑿的。此段運河的完工，表明整個隋朝運河網就形成了。608年可以充分地被視為是中國歷史上重要的一年。從這年起，不僅隋煬帝統治下的每一個行省都可以利用水路到達，而且到上一個世紀，中國任何一個統治者都離不開利用運河所建立起來的漕運制度。

隋煬帝開鑿大運河的動機是什麼呢？古籍文獻的記載一致認為，隋煬帝對長江三角洲的富庶和魅力的嚮往，激發他決定開鑿大運河的計畫。但是，如果把所有事實都考慮到，「個人興趣」理論現在看來不再經得起批判。即使是《隋書》中的分散記載，顯然也反駁了這種解釋。

隋煬帝於604年繼位後，就馬上把首都從長安遷到洛陽，其遷都聖旨說：「（洛陽）控以三河，固以四塞，水陸通，貢賦等……。」很難相信，這些話會出自於一個認為個人享樂超越了政府需要的小人物腦袋。