Находился на посту президента Олимпийского комитета Бельгии в 1989−1992 году и на посту президента Европейского олимпийского комитета в 1989−2001 году, совмещая, таким образом, в первые четыре года оба поста. Стал членом МОК в 1991 году и вошел в Исполнительный комитет МОК в 1998 году.

В 2001 году был избран президентом Международного олимпийского комитета на сессии комитета в Москве, став преемником Хуана Антонио Самаранча.

Под руководством Рогге МОК стремится создать больше возможностей для развивающихся стран участвовать в процессе выдвижения городов на конкурс за право проведения Олимпийских игр. Он уверен, что серьезные результаты в этом вопросе будут достигнуты уже в обозримом будущем посредством как государственной поддержки, так и политики самого МОК, уменьшающими стоимость принятия Олимпийских игр страной.

В ходе проведения зимней Олимпиады-2002 в Солт-Лейк-Сити Жак Рогге стал первым президентом в истории МОК, разместившимся в Олимпийской деревне вместо пребывания в пятизвездочном отеле, как это предпочитают другие члены МОК.