Выйдя из футбольной Академии "Пармы", Анчелотти раскрылся как игрок в "Роме"(стал капитаном и выиграл скудетто в 1983 году, а в довесок к нему и 4 Кубка Италии), а свои основные награды завоевал в составе "Милана" - два скудетто, два Кубка Чемпионов, два СуперКубка Европы, два Межконтинентальных кубка и СуперКубок Италии.
Вспоминая Анчелотти-футболиста, всегда рисуешь перед собой такую картинку: Рууд Гуллит пасует поперёк поля, Анчелотти принимает мяч, обводит двух игроков и пушечным ударом вколачивает со средней дистанции мяч в девятку. Это был триумфальный полуфинал ЛЧ 1989 года, в котором красно-чёрная машина Ариго Сакки просто убила мадридский "Реал" 5:0. В финале того же сезона румынский "Стяуа" был повержен "Миланом" со счётом 4:0. Анчелотти провёл на поле все 90 минут.