C’est la locution un peu de qu’il faut considérer; et non « de » seulement :

Un peu de est prédéterminant du substantif, il évoque une quantité faible, mais déjà appréciable
Prédéterminant : Déterminant se plaçant avant l’article et ne pouvant être précédé de l’article (par exemple tous les enfants et non : °les tous enfants – un peu de la tarte et non °la un peu de tarte).
Et :
« de » est une préposition et non un article partitif : comparez :
Je veux un peu de tarte et je veux un peu de la/cette/une tarte – un peu de ces tartes

Il se passe seulement qu’ici le nom n’a pas d’article (effet généralisant). Il n’a d’ailleurs généralement pas d’article devant un nom abstrait :
Un peu de tranquillité. Mais : un peu de la tranquillité qui m’est due.

L’analyse de ce de est compliquée et ne fait pas l’unanimité, néanmoins je pense qu’il sera actuellement plutôt analysé comme un partitif (c’est le cas du Tlfi – voir ci-dessous-, de Grevisse, de Wilmet, entre autres).

Rem. L’art. prend la forme de a) après une loc. adv. de quantité indéf. Peu de, un peu de, beaucoup de. Verse-moi un peu de sherry (H. Bataille, Maman Colibri, 1904, I, 2, p. 3).

Peu importe que le nom soit concret ou abstrait, ce qui importe, c’est qu’il soit non comptable (pour ces derniers, c’est le quantifieur quelques qui convient) :
Je veux du pain / du silence / de la tranquillité / des chaises >>> Je veux un peu de pain / un peu de silence / un peu de tranquillité / un peu de chaises / quelques chaises.