De Nijs werd geboren als zoon van een rijschoolhouder. Toen hij 6 jaar was, ging hij vanwege zijn astmatische bronchitis naar de openluchtschool in het Oosterpark. Toen hij 8 jaar was, kreeg hij zijn eerste accordeonles.

De Nijs won in 1962 op 19-jarige leeftijd een talentenjacht met zijn band Rob de Nijs & The Lords. De eerste prijs was een platencontract. De eerste (De liefste die ik ken) en tweede (Jenny) singles flopten, maar het nummer Ritme van de regen uit 1963 werd een grote hit, waarvan in totaal bijna 100.000 exemplaren verkocht werden. In 1963 deed hij mee aan het songfestival in Knokke.

In juni 1963 werd zijn eerste "Rob de Nijs en the Lords fanclub" opgericht. In november 1965 gingen De Nijs en The Lords uit elkaar. Hij ging werken bij Circus Boltini. In juli 1968 trouwde hij met Elly Hesseling, zij was zijn eerste vrouw en dochter van een clubeigenaar in Bergen op Zoom. Hesseling en De Nijs huwden op 30 juli 1968 en scheidden in 1981. Het huwelijk bleef kinderloos. De Nijs ging in 1968 werken in de clubs van haar vader (Jan Hesseling) t.w. "Rob de Nijs" en "Het Wapen Van Engeland" te Bergen op Zoom.

Eind '69 kreeg hij een rol in Oebele als Bello Billy Biggelaar. Dat leverde hem in 1971 de rol van Bertram Bierenbroodspot op in de t.v. serie Kunt u mij de weg naar Hamelen vertellen, mijnheer?. Deze serie liep tot 1976. In 1970 deed hij mee aan een musical 'Salvation', en kwam hij in contact met Lennaert Nijgh. Lennaert Nijgh besluit samen met Boudewijn de Groot een aantal nummers voor De Nijs te schrijven, om zo zijn carrière weer op gang te brengen.

In mei 1973 kwam de eerste vrucht van deze samenwerking, Jan Klaassen de trompetter, in de hitparade, in september gevolgd door Zuster Ursula. Hierna volgden mindere successen met Mirella en Hé speelman. Hierna komt zijn waarschijnlijk bekendste hit uit: Malle Babbe een nummer dat Boudewijn de Groot ook zelf regelmatig zal spelen tijdens concerten. Na de albums In de uren van de middag en Kijken hoe het morgen wordt, beiden ook geproduceerd door De Groot, beëindigen de twee de samenwerking. Lennaert Nijgh blijft wel betrokken bij de carrière van De Nijs als tekstschrijver.

In 1976 werd hij door het NIPO uitgeroepen tot populairste zanger van Nederland. In 1977 kreeg hij zijn eigen special bij de VARA. In 1980 werd hij door de Hitkrant uitgeroepen populairste Nederlandse zanger.

In december 1980 ontmoette hij Belinda Meuldijk die veel teksten voor hem zou gaan schrijven. In juli 1984 (inmiddels gescheiden van Elly) trouwde hij met haar. Dit huwelijk zou, gezien de aard hiervan, de jaren hierna een belangrijke rol gaan spelen in de roddelbladen.

In 1985 scoort hij zijn grootste hit tot dan toe. Het vredeslied Alles wat ademt, geschreven door Gerard Stellaard, Lennaert Nijgh en Belinda Meuldijk, stijgt tijdens de kersttijd naar de tweede plaats. In 1996 neemt hij revanche en scoorde hij zijn eerste en enige nummer 1 hit met Banger hart, dat 5 weken op de toppositie in de Mega Top 50 staat.

In 2001 wordt De Nijs onderscheiden met de Radio 2 Zendtijd Prijs. Deze prijs wordt toegekend door Conamus en Radio 2 aan een uitvoerend artiest die van blijvende betekenis is voor de Nederlandse radio. Diverse artiesten waaronder Boudewijn de Groot, Hans Vermeulen, Frédérique Spigt en Skik brengen daar live een eerbetoon aan De Nijs, door een van zijn nummers te vertolken. Enige smet is er als Freek de Jonge de carrière van De Nijs op de korrel neemt: "Welkom op het 60-jarig artiesten jubileum van Rob de Nijs. Hoewel het kan ook 70 jaar zijn".

Op 21 december 2005 werd bekend dat De Nijs en Meuldijk gaan scheiden. Volgens hun advocaat zien de twee geen toegevoegde waarde om deze samenlevingsvorm vanuit een huwelijkse staat voort te zetten.

Eind 2005 bereikt Boudewijn de Groot de eerste plaats van Radio 2's Top 2000 met het nummer Avond. Een nummer dat De Nijs in 1973 al opnam op de plaat In de uren van de middag.

In 2006 krijgt De Nijs een blessure aan zijn achillespees. Hierdoor is hij zes weken uit de roulatie.

De Nijs heeft inmiddels een nieuwe vriendin, zijn persoonlijk assistente Henriette Koetschruiter. In 2007 kondigen zij aan te gaan trouwen.

In mei 2007 neemt hij met Julien Clerc een duet op voor zijn nieuwe album Chansons. De release van het album met enkel Franse liedjes werd diverse keren uitgesteld vanwege de perikelen tussen Meuldijk en De Nijs. Het album lag vanaf 14 maart 2008 in de winkels.

Op 16 maart 2008 gaf De Nijs een jubileumconcert met het Metropole Orkest in een uitverkocht Carré. Het concert werd gegeven vanwege het 45 jarig artiestenjubileum van de zanger en het bereiken van de pensioengerechtigde leeftijd. Tijdens dit concert werd bekend dat er een tulp naar hem vernoemd zal worden. De burgemeester van Anna Paulowna (waar ook Wieringerwaard onder valt) maakte dit bekend. De tulp is begin mei, tijdens de Bloemendagen in die gemeente, gedoopt.

De Nijs' repertoire blijkt nog steeds volop gedraaid te worden op de diverse radiozenders getuige het feit dat hij nog steeds in de top 10 staat van meest gedraaide Nederlandstalige artiesten/groepen (8e in 2005).