Il était un coureur de jupons avoué dès le début de leur relation. Kahlo et Rivera se sont mariés pour la première fois en août 1929 et l'événement a été largement couvert par les médias mexicains et internationaux. Les infidélités des deux côtés ont conduit au divorce en novembre 1939 mais la séparation a été de courte durée et ils se sont remariés en décembre 1940. Le tableau Diego et moi a été commandé par deux amis de Kahlo et a été créé à une époque où Rivera avait une liaison avec la star de cinéma Maria Felix. L'affaire a provoqué un scandale public et a été largement rapportée.
Non seulement Felix était belle et célèbre, mais elle était aussi une amie très proche de Kahlo. Les relations extraconjugales n'étaient pas rares à la fois de Kahlo et de Rivera, mais cette peinture affiche un niveau profond d'angoisse émotionnelle même pour leur relation tumultueuse. Kahlo se mit souvent à plaisanter sur l'adultère fréquent qu'ils menaient tous les deux au sein de leur mariage. Cependant, il est clair qu'à des moments comme lors de la peinture de cette œuvre, elle atteignait des points très bas. Dans la peinture, les cheveux de Kahlo sont montrés enroulés autour de son cou, l'étranglant presque et des larmes coulent sur son visage alors que ses yeux regardent tristement le spectateur.
La raison de sa détresse, Rivera, est représentée au centre de son front indiquant que bien qu'il puisse être la cause de sa douleur, il est toujours important dans son esprit et son obsession pour lui est claire. Malgré leur relation turbulente et leurs fréquentes indiscrétions, Kahlo et Rivera sont restés mariés jusqu'à la mort de Kahlo en juillet 1954. Le tableau a ensuite été vendu lors d'une vente aux enchères Sotheby's à New York en mai 1990 pour 1 430 000 $, faisant de Kahlo le premier artiste latino-américain à atteindre un prix supérieur à un million de dollars.
