L’élision est l’effacement de la voyelle finale d’un mot lorsque celui-ci est suivi d’un mot commençant par une voyelle ou un h muet. L’élision est marquée à l’écrit par l’apostrophe, qui remplace la voyelle élidée. L’élision ne touche que des mots grammaticaux, habituellement courts, et que les voyelles a, e et i.
L’apostrophe est le signe graphique de l’élision :

Les noms des lettres grecques (ou de beaucoup d’autres langues anciennes ou modernes) sont des noms francisés et lexicalisés depuis longtemps. On leur applique donc les mêmes règles qu’à tous les autres mots et l’élision se fait régulièrement devant ceux qui commencent par une voyelle (il n’y a pas de h muet à ma connaissance, c’est une invention tardive) : l’aleph (hébreu), l’iota, l’êta, l’omicron, etc.
« Vous relevez, dis-je, de l’epsilon minuscule. » (Jules Romains)
Remarque : se méfier de cas tordus comme le eszett allemand (ß) qui  malgré la voyelle initiale, purement graphique, correspond à un s. Il n’y a donc pas d’élision.

Pour ce qui est d’ajouter la mention « la lettre » devant son nom, c’est une affaire de contexte. Cela se fait si l’ouvrage ou le lectorat le demandent. 

Merci à vous deux. Joëlle, il y avait 2 questions dans ma question (désolée pour le manque de clarté) : la question de l’élision devant une lettre grecque commençant par une voyelle (et donc de son traitement comme un nom commun). Merci à vous 2 pour la réponse ET la question de savoir si on peut introduire les lettres commençant par une consonne par un article défini. Je posais ces questions, car je ne trouvais pas très beau à l’oreille, l’iota, le kappa, etc. et je me demandais quel était l’usage en dehors de la règle qu’un nom commun peut être précédé de l’article défini. C’est très clair à présent 🙂