Le nom chose est ici C.O.D. du verbe faire et non de apprendre. Comparez :
– C’est la toute première chose que j’ai apprise ;
– C’est la toute première chose que j’ai appris à faire (= j’ai appris à faire cette chose en premier).
Dans le second cas, le verbe apprendre est un semi-auxiliaire et ne s’accorde donc pas avec le C.O.D. du verbe à l’infinitif qui suit.
Voir d’autres exemples dans la question récente ICI.

Ça dépend COD de quoi : du participe passé, ou de l’infinitif ?
Les deux constructions existent :
— les vidéos que je vous ai apportées à regarder pour demain
— les vidéos que je vous ai appris à regarder d’un œil critique
C’est à vous de trouver de quoi le COD est COD, par exemple en remettant la phrase à l’endroit :
— je vous ai apporté des vidéos à regarder pour demain
— je vous ai appris à regarder les vidéos d’un œil critique
Vous voyez qu’il ne s’agit évidemment pas là d’une question d’auxiliaire. Il faut seulement chercher si le pronom « que » mis pour « vidéos » est COD du participe passé ou de l’infinitif.

Dans l’absolu, il pourrait parfois y avoir une double interprétation possible, surtout avec un contexte très vague (« choses » et « faire »).
— J’ai appris deux choses à répondre. J’ai appris deux réponses à faire…
–> Les deux choses que j’ai apprises (à répondre). Les deux réponses que j’ai apprises (à faire)…
— J’ai appris à répondre deux choses. J’ai appris à faire deux réponses…
–> Les deux choses que j’ai appris à répondre. Les deux réponses que j’ai appris à faire…
Syntaxiquement, il y aurait là quelque chose de défendable, mais dans la pratique, dès qu’on fait suivre le participe passé « appris » d’un infinitif, le COD antéposé est toujours le COD de l’infinitif, et donc le participe passé « appris » suivi d’un infinitif est toujours invariable.
Avec un participe passé comme « trouvé », on aurait le choix :
–> La chose que j’ai trouvé(e) à répondre. La réponse que j’ai trouvé(e) à faire…