Rugova, zanim rozpoczął karierę polityczną, był dziennikarzem i nauczycielem. Pracował także w Instytucie Albanologii w Prisztinie, był również redaktorem naczelnym czasopisma „Studia albańskie”. W 1989 roku założył Demokratyczny Związek Kosowa, umiarkowaną partię niepodległościową. Od początku kryzysu w byłej Jugosławii domagał się wprowadzenia sił ONZ lub NATO do Kosowa.
Rugova był jedynym politykiem z Kosowa, który cieszył się tak wielkim międzynarodowym poważaniem. W przeciwieństwie do wielu swoich rodaków, nie nawoływał do zbrojnej walki o niepodległość.
Śmierć nazywanego często „Gandhim Bałkanów” Rugovy może doprowadzić do walki o władzę w Kosowie. Polityk nie wyznaczył bowiem swojego następcy – ani w kierownictwie partii, ani we władzach prowincji. Tymczasowo jego obowiązki przejmie przewodniczący kosowskiego parlamentu Nexad Daci.