Emmy Scheyer hatte lange Zeit ein schlechtes Verhältnis zu Paul, ihrem älteren Bruder. Sie fühlte sich von ihm schlecht verstanden und ungeliebt, und er empfahl ihr, in Deutschland einen vernünftigen Lebenswandel an den Tag zu legen. Er wohnte mit seiner Frau Paula, geborene Eisenstein, und den Söhnen Leopold und Gerhard etwa zehn Jahre an der Goslarschestraße (siehe 5), dann mietete er eine Wohnung am Petritorwall 7, bis er 1922 das Haus gegenüber, die Nummer 30, erwerben konnte. Als Besitzerin wurde Paula Scheyer im Adressbuch eintragen.

Paul bewältigte die Schwierigkeiten, in die die Firma W. Maseberg wegen der Weltwirtschaftskrise geriet, mit Bravour. Die Konserven mit dem Markenzeichen WEMA wurden in viele Länder exportiert. Dann waren die Gebrüder Scheyer und ihre Familien diskriminierenden Schikanen ausgesetzt, eine Haft im Konzentrationslager Buchenwald eingeschlossen. Am 30. Juni 1936 wurde Paul Scheyer gezwungen, ein Papier zu unterschreiben, in dem er versicherte, seine Firma freiwillig verkauft zu haben.

In der Bedrohung und Verfolgung durch die Nationalsozialisten näherten sich Paul und Galka Scheyer an. Sie war bereit, seine Söhne in Amerika aufzunehmen, sie konnten aber nach England entkommen. Dann kümmerte sie sich um Affidavits für Paul und Paula. Im Februar 1939 erhielten sie endlich die Nachricht, dass die Ausstellung der Visa für die USA am 7. März stattfinde. Paula schrieb ihrer Schwägerin: „Wir sind restlos glücklich. Paul ist ein anderer Mensch.“

In New York musste Paul Scheyer eine neue Existenz aufbauen. Wie es in den Kriegsjahren zu einem neuen Missverhältnis zwischen ihm und seiner Schwester kam, ist noch nicht geklärt. Wahrscheinlich lag es in unterschiedlichen Auffassungen begründet, auf welche Weise Galka Scheyers Privatsammlung von Bildern der Blauen Vier und anderer Maler zustande gekommen war, und was mit ihr geschehen solle. Vermutlich trafen sich die Geschwister ein letztes Mal im Frühling 1944 in New York.

1948 machten die Brüder Paul und Erich Scheyer wegen des Verlustes von Vermögen und Firma Wiedergutmachungsansprüche geltend. Sie erstritten sich 1951 mühsam einen finanziellen Teilerfolg.