Am 10. Juni 1493 wurde Anton Fugger als jüngster von drei Söhnen in die Familie der Fugger von der Lilie hineingeboren. Das langjährige Familienunternehmen war bereits zu diesem Zeitpunkt zu einem weit über Augsburg hinaus bekannten Handelshaus herangewachsen.
Nach dem Tod des Vaters Georg 1506 wurde der Onkel Jakob Fugger „der Reiche“ sein Vormund. Anton erhielt eine vielseitige und gleichzeitig anspruchsvolle Ausbildung zum Kaufmann in Niederlassungen (Faktoreien) in Venedig, Nürnberg, Breslau, Ofen (Budapest) und Rom. Dadurch lernte er auch verschiedene Fremdsprachen wie Latein oder Französisch. Die facettenreichen Erfahrungen, die er so in den verschiedenen europäischen Ländern machte, weckten in ihm neben Handelsgeist auch schon früh Kunstinteresse.
Jakob Fugger starb 1525 kinderlos und vermachte in seinem Testament neben Anton zwei weiteren Neffen, nämlich Hieronymus und Raymund, die Fuggerschen Geschäfte. Dabei sollte Anton als „fähigster“ Erbe das Handelsunternehmen leiten.
1527 heiratete er die Augsburger Patriziertochter Anna Rehlinger. Sie bekamen vier Söhne und sechs Töchter. Seine Ehefrau verstarb 1548 im Kindbett.
Anton Fugger war viel mehr den politischen Wechselspielen unterworfen als sein Onkel Jakob. Seine Lebensaufgabe sollte es werden, im Laufe der Zeit diese große, über Deutschland hinaus agierende Firma und die Familie durch eine krisenreiche Umbruchzeit zu steuern und für die Zukunft zu erhalten.