605年，隋煬帝即命開鑿大運河，“發河南諸郡男女百余萬，開通濟梁，自西苑引谷、洛水達于河(黃河)，自板諸引河通于淮”，長1000多公里。

　　608年，隋煬帝沿洛陽東北方向開鑿永濟渠，溝通沁河、淇水、衛河，通航至天津，接著，溯永定河而上，通涿郡。

　　610年，隋煬帝繼續開鑿江南運河，使得鎮江至杭州段通航。

　　至此，以京都洛陽為中心，通過通濟渠、永濟渠兩大渠道，溝通了海河、黃河、淮河、長江、錢塘江五大水系，總長2700公里的中國南北大運河全線貫通。

　　大運河的主要功能是漕運。隋唐時期，洛河帆檣林立，泊船常有萬余艘，洛陽成為中國最大的商品集散地，也是世界上較為繁華的大都市之一。洛陽的糧倉規模宏大，著名的有回洛倉、含嘉倉、興洛倉、洛口倉等，其中僅洛口倉就存糧上千萬石。后來唐太宗攻下洛陽后估計，隋末的糧儲“得供五六十年”。

　　隋煬帝還把大運河作為巡幸江南的水路。他從洛陽出發，乘坐4層宮殿大龍舟，前呼后擁，船舸數百。因此，大運河兩岸建有平整的御道，以便數萬纖夫和士兵行走；沿途建有40余座離宮別院，可供他休息并尋歡作樂。

　　以洛陽為中心的大運河興盛了六七百年，直到元朝。元世祖忽必烈統一全國后，政治中心移到北京。為縮短北京至杭州的船程，忽必烈下令取直大運河，在山東等地新修渠道。這樣，大運河不再繞道洛陽，就是我們今天看到的京杭大運河。