Esposa / hijos: Isabel de Portugal / Felipe II, María  de Habsburgo, Fernando, Juana de Austria, y Juan. Fernando y Juan muertos prematuramente.
Amante 1º / hijos: Bárbara Blomberg / Juan de Austria.
Amante 2ª / hijos: Germana de Foix / Isabel de Castilla (no reconocida).

Biografía: Ya desde su nacimiento empezó a acumular títulos, el primero lo consiguió nada más ser bautizado, el de duque de Luxemburgo. Nueve años más tarde se le asignó un preceptor que indudablemente tuvo una ascedencia negativa sobre el infante, Guillermo de Croy, señor de Chièvres.

Este personaje le inculcó los juegos de destreza y de guerra, justo los juegos que más le gustaban al niño, desatendiendo, quizás por incapacidad, la cultura, excepto la lectura de libros de caballerías.

El 5 de enero de 1515 es nombrado duque de Borgoña, regentando desde este mismo momento los Países Bajos. Al año siguiente su abuelo Fernando de Aragón le nombra sucesor a la regencia de Castilla y Aragón.