Nato il 21 aprile (1 maggio) 1668 a Basilea. È venuto da un antico clan Huber.
Ha ricevuto le sue prime lezioni di disegno all'età di dieci anni in famiglia. Quindi studiò nel laboratorio del ritrattista di Basilea Johann Caspar Meyer (1645-1705). Nel 1683, Johann Huber entrò nell'accademia di casa dell'artista e incisore Joseph Werner [de] a Berna. Nel 1685 studiò sotto il maestro tedesco Niklaus Dachselhofer (1634-1707). Nello stesso anno andò a Venezia. Qui nel 1686 trovò lavoro con un nativo dell'artista olandese Cavaliere Tempesta (1637-1701), dipinse molti ritratti. Nel 1689, Huber entrò all'Accademia romana di San Luca, dove divenne uno studente del famoso Carlo Maratta. Dopo sei anni in Italia, è arrivato a Parigi attraverso Ginevra e Lione.
Nella primavera del 1693 tornò a Basilea e fu presto arruolato nella gilda Zunft zum Himmel. L'anno seguente fu eletto nel consiglio della gilda e contemporaneamente al Gran Consiglio di Basilea. Nel 1694, Huber incontrò il Margrave di Baden-Durlach Federico VII e nel 1696 con il duca di Württemberg, Eberhard Ludwig. Ho ricevuto un ordine per un ritratto della sposa del duca - la Principessa Johanna Elisabetta di Baden-Durlakh. Nel giugno del 1697, Johann Rudolph andò a Stoccarda dal Duca, dove divenne il suo pittore di corte. Prese anche parte a dipingere parte dei locali del suo castello a Stoccarda nel 1698 (quasi tutti furono danneggiati durante l'incendio del 1931). Nel 1699, Huber lasciò la corte del Württemberg per motivi sconosciuti. A Stoccarda incontrò il poeta e traduttore tedesco Karl Drollinger [de], con il quale aveva sviluppato molti anni di amicizia.
Dall'autunno del 1702, Huber lavorò per la maggior parte a Berna, visitando spesso Basilea. Nel 1705, crearono un ritratto di Suzanne Stürler (tedesco: Susanna Margaretha Stürler, 1668-1740) nell'immagine di un mollusco. Suzanne e suo marito Johann Frisching erano uno dei migliori clienti di Huber a Berna. In quel momento, Johann Rudolf Huber prese parte agli affari politici, in particolare, fu parte del Trattato di Baden dopo la guerra per l'eredità spagnola. Ha lavorato nel registro di Berna, è stato eletto al Piccolo Consiglio di Basilea, ricoprendo questo incarico fino alla sua morte.
Morì il 28 febbraio 1748 a Basilea.