Grofovski par s palačo v Ljubljani

Janez Andrej je bil star le nekaj mesecev, ko je izgubil mamo, dve leti kasneje pa še očeta. Očetove poteze so mu zagotovile napredovanje na družbeni lestvici. Skupaj s stricem Ditrihom iz Žužemberka je bil leta 1630 povzdignjen v grofovski stan.  

Janez Andrej je kot edini moški potomec v rodbini začel zgodaj misliti na poroko in potomstvo. Ženo Ano Elizabeto (1621–1668) je našel v kranjski rodbini Lambergov. Ker je bila Ana tudi njegova sestrična, sta za poroko potrebovala papeževo dovoljenje, ki ga je leta 1637 izdal Urban VIII. Poročila sta se leta 1639 in v zakonu se jima je rodilo 10 otrok.  

Grad Turjak je z Janezom Andrejem izgubil pomen glavne rezidence. Grof in deželni poverjenik se je bolje počutil v palači v Ljubljani in na gradu Dragomelj, ki ga je kot doto v zakon prinesla Ana Elizabeta.  

Vzpon na družbeni lestvici 

Janez Andrej, nadaljevalec glavne linije Turjaških, in njegov stric Ditrih iz Žužemberka sta po povzdignjenju v grofovski stan leta 1630 dobila pravico do uporabe predpone blagorodni, cesar pa jima je ob tem potrdil tudi izboljšani grb.  

V nasprotju s svojim bližnjim sorodstvom iz Žužemberka Janez Andrej ni bil pretirano ambiciozen. V kariernem oziru se je zadovoljil s položajem deželnega poverjenika, kar sicer ni bilo zanemarljivo, a je bilo v primerjavi z njegovimi bratranci skromno.  

Med brati iz Žužemberka izstopa Janez Vajkard, ki je bil rojen istega leta kot Janez Andrej. Kariera ga je vodila vse do cesarskega dvora, kjer ga je cesar septembra leta 1653 povzdignil med kneze Svetega rimskega cesarstva. 

Življenje v baročni palači namesto na gradu 

Zdi se, da se je Janez Andrej veliko raje zadrževal v družinski palači v Ljubljani in na ta način povsem sledil plemiškim trendom. Stari utrjeni gradovi so za sodobne plemiče postajali neudobni in oddaljeni tako od priložnosti za delo kot od družabnega življenja. Inventarji pričajo, da sta bila tako palača v Ljubljani kot grad Dragomelj, ki je prišel v rodbino z doto žene Ane Elizabete, neprimerno bogatejše in udobneje opremljena od gradu Turjak. Palača v Ljubljani je po obnovi in povečanju postala času in stanu primerna baročna palača.  

Grad Turjak je z Janezom Andrejem tako izgubil pomen glavne rezidence. Grofje Auersperg oz. Turjaški so se na domačem gradu Turjak stalno znova naselili šele v 19. stoletju.