Dopo un dottorato alla Columbia University, Rubbia è stato ricercatore al CERN di Ginevra dal 1961 ricoprendo la carica di direttore generale dal 1989 al 1993. Per diciotto anni ha poi svolto l'attività di professore di fisica presso la Harvard University.
Nel 1984 ha ottenuto il Premio Nobel insieme a Simon van der Meer per la scoperta dei particelle W e Z, responsabili delle "interazioni deboli". Membro delle più prestigiose accademie scientifiche, detiene 32 lauree honoris causa. Attualmente svolge le sue attività di ricerca fondamentale al CERN e ai Laboratori Nazionali del Gran Sasso.
Le ricerche di Rubbia coprono molti aspetti della fisica delle particelle elementari. Lo scienziato ha inoltre contribuito in maniera decisiva alle attività del Laboratorio del Gran Sasso, con le ricerche sui neutrini cosmici. Attualmente si interessa al problema della materia oscura. L'esperimento da lui proposto, WARP (Wimp ARgon Programme), si propone di rivelare la presenza di materia oscura sotto forma di WIMP (Weakly Interacting Massive Particles).
Per festeggiare i cinquant'anni dalla laurea, nel 2007 Rubbia ha partecipato insieme ad altri 700 laureati, alla tradizionale cerimonia delle "nozze d'oro" con la laurea organizzata annualmente dall'Ateneo pisano. Nel 1986 l'ALAP (Associazione Laureati Ateneo Pisano) gli ha assegnato il "Campano d'oro", una onorificenza assegnata ad altri illustri ex allievi dell'Università di Pisa come Carlo Azeglio, Giuliano Amato, Tiziano Terzani Antonio Cassese e Remo Bodei.