退役后禾拉于利华古逊担任教练，负责技术支援。2000年禾拉被德国足协委任为国家队临时教练。由于禾拉没有正式主教练资格，德国足协原本仅以禾拉作过渡人选，然后由另一名教练达姆（英语：Christoph Daum）（Christoph Daum）接掌。可惜达姆因卷入吸毒丑闻，未能上任，结果由禾拉继续出掌国家队。

禾拉上任后第一个考验乃2002年世界杯，当时国家队适逢交接期，球员中仅守门员奥利弗·卡恩和中场米夏埃尔·巴拉克具备素质，故在外围赛亦要通过附加赛，才得以进军决赛周。惟在进入决赛周后，国家队却有意外成绩，竟能凭简尼和波历克二人便打入世界杯决赛，仅败给当届冠军巴西。由于有意外成绩，当届禾拉支持者改编了一首歌曲歌颂禾拉，其中有句子为：“Es gibt nur ein' Rudi Völler!”（意译为：“世上只有一个禾拉！”），而他亦获德国足协续任两年。

不过禾拉与球迷的蜜月期始终未能持续。2004年欧洲国家杯，德国在分组赛三场不胜，虽然并不是排积分榜末，但首圈出局，禾拉惟有辞职。不久意大利球会罗马斟介了禾拉回巢作新教练，岂料仅执教一个月又辞职。禾拉解释除了是成绩不如人意外，还因为是球队中一些球星骄横跋扈，令他无法驾驭。外界纷纷揣测禾拉所指的跋扈球星，便是当时意大利国家队新秀卡斯辛奴，盖因卡斯辛奴素以骄横跋扈闻名，并不受罗马队友和球迷欢迎。

禾拉向来都跟利华古逊有缘。2005年9月禾拉又一次重返利华古逊，这次是临时教练，接替当时被辞退的教练奥根塔勒，直至同年10月球会找来了斯基贝（英语：Michael Skibbe）出任为止。