Херман ван Ромпей родился 31 октября 1947 года в брюссельской коммуне Эттербеек. Фламандец, отец – профессор экономики.
Закончил Католический университет Левена, где получил диплом экономиста и философа.
Политическая жизнь начала интересовать ван Ромпейя еще в 16-летнем возрасте. В 1972 г. он стажируется при Нацбанке Бельгии, в 1973 – возглавляет молодежную партию SVP-Jongeren.
В 1975 году прекращает работу в Национальном банке и входит в состав кабинета министров Бельгии при премьере Лео Тиндемансе. В период 1978-80 гг. является членом кабинета министра финансов Гастона Геенса, возглавившего позже правительство Фландрии.
Затем Херман ван Ромпей посвящает себя экономическим и политическим исследованиям, преподаванию в вузах Бельгии. Но политическая стезя неразрывна с общественной в его жизни. В 1978 году ван Ромпей входит в бюро партии SVP, с 1988 по 1993 гг. – является ее лидером.