1976’da annesi ve babası boşandıktan sonra Jolie ve erkek kardeşi anneleri Marcheline Bertrand’la New York’a taşındılar. Küçüklüğünde yılan ve kertenkele toplayan ve Uzay Yolu dizisindeki Mr. Spock karakterine aşık olan Jolie, sık sık annesiyle birlikte sinemaya gidiyordu. Sinemayı sevmesinde ailesinin elbette büyük etkisi olmuştu. Zira Jolie, Lee Strasberg Theatre Institute’de 2 yıl oyunculuk eğitimi almaya karar verdi ve sahnelenen birçok oyunda rol aldı. Sonraları ailenin Los Angeles’a geri dönmesiyle Beverly Hills High School’a kaydolan Jolie, zengin aile çocuklarının arasında sadeliğiyle dikkat çekiyor ve ikinci el giysiler giyiyordu. İlk modellik deneyiminde başarısız olunca bileklerini kesen Jolie, daha sonra CNN’e verdiği röportajda konuyla ilgili olarak şunları söyleyecekti: “Bıçak biriktiriyordum ve kendimi kesip acıyı hissetmek benim için bir ritüel olmuştu. Bu benim için bir çeşit terapiydi, çünkü kendimi yaşıyor gibi hissettiriyordu.”

14 yaşında modellik yapmak üzere Finesse Model Management’la anlaşma imzalayan Jolie, Meat Loaf’un Rock'n'Roll Dreams Come Through, Antonello Venditti’nin Alta Marea ve Lenny Kravitz’in Stand by My Woman kliplerinde oynadı. Kardeşi James Haven USC School of Cinematic Arts’ta öğrenim görüyordu ve Jolie onun okul için hazırladığı projelerde de rol alıyordu.

16 yaşında mezun olduktan sonra annesinin evine oldukça yakın bir yerde ev tutan ve tiyatro çalışmalarına başlayan Jolie, babasının ailesine olan ilgisizliğinden dolayı ondan çok soğumuştu. Temmuz 2002’de babasının soyadını istemediğini mahkemeye bildiren Jolie’nin bu isteği kabul edilerek, soyadı değişikliği 12 Eylül 2002’de resmen gerçekleşti.