El guitarrista Peter Buck compuso la melodía de guitarra principal y el estribillo en una mandolina mientras veía la televisión un día. Se había comprado el instrumento recientemente y estaba intentando aprender a tocarlo, grabándose mientras practicaba. Al día siguiente revisó la grabación y dijo «Cuando volví a escucharlo al día siguiente, había un puñado de cosas que eran yo aprendiendo a tocar la mandolina y luego estaba lo que se convirtió en “Losing My Religion”».