او فوتبال را در هفده سالگی در تیم پارما آغاز کرد و از همان ابتدا به عنوان هافبک به میدان میرفت. در سال ۱۹۷۹ به آ.اس.رم پیوست و با این تیم یک بار قهرمان لیگ و چهار بار قهرمان جام حذفی ایتالیا شد و در آنجا بود که تبدیل به بازیکنی ثابت شده و ملیپوش شد. بین سالهای ۱۹۸۴ تا ۱۹۸۷ به عنوان کاپیتان، تیمش را در میدان رهبری میکرد. بلافاصله پس از آن، از ۱۹۸۷ تا ۱۹۹۲ برای میلان بازی کرد. او متعلق به تیم اسطورههای میلان است که در سالهای ۱۹۸۹ و ۱۹۹۰ قهرمانی جام باشگاههای اروپا را کسب کردند.
آنچلوتی برای تیم ملی فوتبال ایتالیا نیز 26 بار به میدان رفت و تنها یک گل به ثمر رساند. کارلو اما در سال 1992 از فوتبال خداحافظی کرد و به دوران درخشانش در فوتبال پایان داد؛ اما هافبکی که در مستطیل سبز خیلی درخشان ظاهر شد در سالهای بعد نشان داد به عنوان مربی هم میتواند به همان اندازه درخشان باشد. یک سال بعد از این که آنچلوتی از فوتبال خداحافظی کرد، او مربیگری را با تیم ملی ایتالیا آغاز کرد. ایستگاه اول او به عنوان مربی، تیم ملی ایتالیا بود. او در آنجا بین سالهای ۱۹۹۲ و ۱۹۹۵ به عنوان دستیار آریگو ساکی کار کرد و توانست با این تیم به فینال جام جهانی ۱۹۹۴ در آمریکا برسد.در آنجا ایتالیا در ضربات پنالتی مغلوب تیم ملی فوتبال برزیل شد. پس از نایب قهرمانی درامگونه ایتالیاییها در جام جهانی، کارلو وارد دنیای مربیگری در عرصه باشگاهی شد و از آن زمان تاکنون در این عرصه مشغول به کار است.
او کار مربیگری در رده باشگاهی را با تیم دوم رجینا در فصل 1996ـ 1995 آغاز کرد و یک فصل بعد سرمربی تیم پارما شد.
یوونتوس، میلان، چلسی، پاریسنژرمن و رئالمادرید تیمهای دیگری بودند که او مربیگری در آنها را تجربه کرد. او که اکنون هدایت سفیدپوشان مادریدی را برعهده دارد در دوران مربیگری خود علاوه بر نایب قهرمانی به همراه تیم ایتالیا در جام جهانی 1994 کوهی از افتخارات به دست آورد، از قهرمانی در سری آ ایتالیا و جامحذفی ایتالیا گرفته تا قهرمانی در لیگ قهرمانان اروپا و قهرمان لیگ برتر انگلیس. او سال 2007 مربی برتر جهان در رده باشگاهی شد و دو بار(در سالهای 2001 و 2004 ) مربی سال ایتالیا شد.
کارلو آنچلوتی از دیگر مربیانی است که علاوه بر موفقیت در عرصه مربیگری در زمانی که بازیکن بود نیز موفقیتهای بسیار زیادی به دست آورد.