Dans les constructions verbe conjugué avec auxiliaire avoir + infinitif, il faut examiner de quel verbe le nom antéposé est C.O.D.
Ici vidéos est complément de regarder et non de commencer. Il n’y a donc pas d’accord : « les vidéos que j’ai commencé à regarder ».

Un certain nombre de verbes sont parfois des semi-auxiliaire :  faire, pouvoir, devoir, aller, commencer à, venir de, se mettre, à finir de, être su le point de, etc.
C’est le cas de commencer à ici

Les semi-auxiliaires sont des verbes qui, sans être des auxiliaires à part entière, accompagnent un verbe principal pour en nuancer le sens ou la modalité.
Dans la phrase, c’est lui qui est conjugué, mais, selon le sens,  le vrai noyau de la phrase est le verbe à l’infinitif qui suit. la locution verbale ainsi obtenue (semi-auxiliaire + verbe à l’infinitif) exprime notamment une modalité : il semble trembler – une temporalité : il va partir –  un aspect : il se met à pleuvoir….
Comparez avec : Il tremble – il part – il pleut

Merci pour cette explication très claire !