La maison des Dioscures - ou de Castor et Pollux -, se compose de deux maisons distinctes jointes autour d'un péristyle commun.

Voici comment la décrivait Ernest Breton en 1870 : "La façade sur la rue de Mercure est décorée de refends rouges et blancs séparés par de jolies moulures en stuc ; on y trouva sur un des piliers un Mercure tenant une bourse, dont la présence, jointe à celle de deux coffres-forts dont nous parlerons plus tard, fit substituer le nom de Maison du Questeur à ceux des Dioscures ou de Castor et Pollux, qui avaient d'abord été adoptés ; c'est le dernier qui a prévalu.

[...] dans la partie qui était commune aux deux habitations [...] se présente un grand péristyle de 21 mètres de long sur 12m 50 de large. Le portique est soutenu aux quatre angles par autant de piliers en équerre, à chacun desquels sont appliquées deux demi-colonnes, et en outre des deux grands côtés, par quatre colonnes dont les cannelures, remplies et peintes en rouge jusqu'au tiers de la hauteur, sont blanches dans les deux autres tiers, et surmontées de chapiteaux de fantaisie. Le portique a des trois côtés, une largeur de 2m 60 ; du quatrième côté, devant l'exèdre, cette largeur est de 4 mètres. Le pavé est en mosaïque ; les murs étaient décorés de riches peintures dont plusieurs sont encore conservées. La première qui se présente à droite en entrant par la porte est un héros armé du bouclier et de la lance [...]

De l'autre côté de la porte [qui communique avec la troisième partie de l'édifice] est une bacchante, puis un petit tableau représentant dans le bas un pigeon de grandeur naturelle tirant un épi d'une corbeille, et au-dessus deux petites antilopes couchées d'une parfaite conservation. [...] Sous le portique, [...] on [...] voit encore plusieurs petites compositions [...] [dont] une corbeille de fruits et de champignons [...].

Dans l'area, autour de laquelle règne un caniveau de ciment dont les eaux venaient se réunir dans le bassin dont je parlerai tout à l'heure, sont un petit compluvium sans décoration aucune, et en avant du tablinum, le grand bassin de 2 mètres de profondeur sur 4m 40 de large et 5m 50 de longueur, au centre duquel s'élève une colonne d'où sortait un jet d'eau du milieu d'un groupe de plantes aquatiques, de grenouilles et de lézards, le tout sculpté en marbre blanc ; à 0m 75 de la surface existe un écoulement pour le trop-plein. [...]

Sous le portique, en face du corridor, se trouvent un puteal et à côté une belle table de marbre portée par des consoles terminées par des griffes ; la tablette est ornée de deux petites têtes de lion. [...] Sur le mur du fond du xyste on trouve entre les demi-colonnes des peintures analogues à celles que nous avons vues dans jardin de Salluste, et un charmant petit laraire