Khu Quản lý Đường bộ II có tổ chức tiền thân từ Cục Công trình I - đơn vị làm công tác khai phá mở đường đảm bảo giao thông trong thời kỳ kháng chiến chống Mỹ cứu nước, quá trình hình thành Khu QLĐB II được tóm tắt như sau:
Ngày 27/12/1962 Bộ Giao thông vận tải quyết định thành lập Cục Công trình I để mở đường và đảm bảo giao thông trên địa bàn Khu 4 - nơi giáp ranh giữa hậu phương lớn và tiền tuyến lớn miền Nam.
Ngày 22/01/1975 Bộ trưởng Bộ GTVT có Quyết định số 163/QĐ-TC chuyển đổi nguyên trạng Cục Công trình I thành Xí nghiệp Liên hợp công trình I trực thuộc Bộ GTVT.
Ngày 13/11/1982, Bộ trưởng Bộ GTVT ban hành Quyết định số 1799/QĐ-TCCB chuyển Xí nghiệp Liên hợp công trình I thành Liên hiệp Các xí nghiệp XDGT Khu vực IV.
Ngày 22/5/1989, Bộ trưởng Bộ GTVT ban hành Quyết định số 932/QĐ-TCCB chuyển Liên hiệp các xí nghiệp XDGT Khu vực IV thành Liên hiệp Quản lý đường bộ IV.
Bước sang thời kỳ thực hiện đường lối đổi mới toàn diện đất nước, Hội đồng Bộ trưởng có Nghị quyết số 07 ngày 29/11/1991 nhất trí phương án tách nhiệm vụ XDCB và nhiệm vụ quản lý nhà nước về công trình giao thông thành 2 chuyên ngành riêng biệt; theo đó, ngày 17/12/1991 Bộ ra quyết định số 2657/QĐ-TCCB.LĐ tách các đơn vị XDCB và sản xuất công nghiệp của Liên hiệp Quản lý đường bộ IV thành lập Tổng công ty Xây dựng công trình giao thông miền Trung (nay là Tổng công ty XDCTGT 4), phần còn lại của tổ chức Liên hiệp Quản lý đường bộ IV được chuyển thành Khu Quản lý đường bộ IV trực thuộc Bộ GTVT theo Quyết định số 2775/QĐ-TCCB.LĐ ngày 25/12/1991.
Năm 1993, Cục ĐBVN được tái lập, Khu QLĐB IV chuyển về trực thuộc Cục ĐBVN.
Năm 2010 Cục ĐBVN đổi tên thành Tổng cục ĐBVN theo Quyết định số 107/2009/QĐ-TTg ngày 26/8/2009 của Thủ tướng Chính phủ về quy định chức năng, nhiệm vụ và cơ cấu tổ chức của Tổng cục Đường bộ thuộc Bộ Giao thông vận tải, ngày 21/9/2010 Tổng cục ĐBVN ban hành Quyết định số 1672/QĐ-TCĐBVN Quy định chức năng, nhiệm vụ, quyền hạn và cơ cấu tổ chức của Khu Quản lý đường bộ IV trực thuộc Tổng cục Đường bộ Việt Nam.
Do cơ cấu tổ chức của Tổng cục Đường bộ Việt Nam và mô hình Khu QLĐB không còn phù hợp với yêu cầu đổi mới về công tác quản lý bảo trì đường bộ, ngày 21/10/2013 Thủ tướng Chính phủ đã ban hành Quyết định số 60/2013/QĐ-TTg quy định chức năng, nhiệm vụ và cơ cấu tổ chức của Tổng cục Đường bộ thuộc Bộ Giao thông vận tải, theo đó Cục Quản lý Đường bộ II được hình thành trên cơ sở sáp nhập Khu QLĐB IV và Ban Thanh tra đường bộ II; ngày 10/12/2013, Tổng cục ĐBVN ban hành Quyết định số 2174/QĐ-TCĐBVN Quy định chức năng, nhiệm vụ, quyền hạn và cơ cấu tổ chức của Cục Quản lý đường bộ II thuộc Tổng cục Đường bộ Việt Nam; Quyết định số 132/QĐ-TCĐBVN ngày 15/01/2014 về sửa đổi bổ sung Điều 3 Quyết định số 2174/QĐ-TCĐBVN, Cục QLĐB II thực hiện chức năng quản lý nhà nước còn việc quản lý, bảo trì đường bộ được thực hiện thông qua đặt hàng, đấu thầu.
Thực hiện Đề án Tổ chức lại Tổng cục ĐBVN, Bộ Giao thông vận tải tách Tổng cục ĐBVN thành Cục đường bộ Việt Nam và Cục đường cao tốc Việt Nam. Theo đó, Cục Quản lý đường bộ II chuyển thành Khu Quản lý đường bộ II.
Khu Quản lý đường bộ II được thành lập theo quyết định số 1246/QĐ-BGTVT ngày 28/9/2022 của Bộ trưởng bộ Giao thông vận tải; là tổ chức hành chính trực thuộc Cục Đường bộ Việt Nam; thực hiện chức năng quản lý nhà nước về giao thông đường bộ trong phạm vi các tỉnh, thành phố khu vực Bắc Trung bộ gồm: Thanh Hóa, Nghệ An, Hà Tĩnh, Quảng Bình, Quảng Trị, Thừa Thiên Huế.
Khu Quản lý đường bộ II có tư cách pháp nhân, có con dấu, có tài khoản riêng tại Kho bạc Nhà nước, có trụ sở đóng tại số 58, đường Phan Đăng lưu thành phố Vinh, tỉnh Nghệ An, được kế thừa các nhiệm vụ, quyền hạn của Cục Quản lý đường bộ II.
Khu Quản lý đường bộ II có các Văn phòng Quản lý đường bộ là tổ chức hành chính trực thuộc, đóng trên địa bàn các tỉnh Thanh Hóa, Nghệ An, Hà Tĩnh, Quảng Bình và Thừa Thiên Huế. Khu Quản lý đường bộ II chính thức đi vào hoạt động kể từ ngày 01/10/2022.