Im Juni 1928 unternahmen die Sänger in der "Berliner Scala" ein erstes Vorsingen, das katastrophal ausging. Schließlich fand im Spätsommer bei dem Agenten Levy ein zweites Vorsingen statt. Levy hörte mit versteinertem Gesicht zu, griff dann zum Telefon und rief den Berliner Erik Charell an, bei dem das Sextett sein gesamtes kleines Repertoire gleich noch ein zweites Mal vortragen mußte.

Charell machte spontan ein Angebot, das Levy zum Entsetzen der sechs Männer rigoros ablehnte. Er schickte die Sänger in die Kneipe und ging dann mit ihnen schnurstracks zu Charells größtem Konkurrenten: Haller mit seiner Revue im Admiralpalast. Kaum waren sie dort angekommen, erschien ein Fahrradbote mit einem Brief von Charell. "Ich biete die doppelte Gage. So kamen sie zu der phantastischen Abendgage von 120 Mark, also 20 Mark für jeden. Am 28. September 1928 kam es in Charells "Großem Schauspielhaus " zum ersten Auftritt. Nur drei Wochen später pendelten die Comedian Harmonists am Abend nach der Vorstellung noch zum Programm im Kabarett der Komiker und bald auch an andere Orte. Wo immer sich Gelegenheit bot, sang man drei oder vier Titel, kassierte die Gage und zog weiter. Bald engagierten alle renommierten Veranstalter in Berlin die Gruppe. Im März 1929 folgte das erste Gastspiel in Hamburg, bald darauf ging es auch in andere deutsche Städte, nach Köln und, gegen Ende des Jahres 1929, nach Leipzig. Die Auftritte in dieser Stadt müssen für das Sextett den Durchbruch bedeutet haben. Die gefeierten Stars der sämtlich ausverkauften Abende waren die Comedian Harmonists mit ihren Einlagen. Das Publikum raste vor Begeisterung. Spätere Rückblicke auf die Theatersaison nennen das Stück als die erfolgreichste Inszenierung des Jahres. Jedoch waren die Comedian Harmonists bis zu diesem Zeitpunkt stets nur eine Art Einlage in einem größeren Revueprogramm. Der Erfolg muß sie wohl angespornt haben, nun engagiert größere Vorhaben anzugehen: Sie wollten eigene Konzerte geben. Bei aller Popularität, die durch Grammophonplatten und zahlreiche Rundfunkauftritte gefördert wurden, waren sie doch noch nicht landesweit bekannt. Deshalb bedeutete eine eigene Konzertournee ein schwer kalkulierbares Risiko für die Veranstalter, so dass das Ensembe selbst Sääle für ihree Auftritte mieten und sämtliche Risiken übernehmen mußte.  

Als erster Auftrittsort für die eigene Vorstellung wurde Leipzig festgelegt, wo man vier Wochen vorher so gefeiert worden war. An die Premiere am 26.1.30 erinnerte sich Ari Leschnikoff 45 Jahre später so: "Dieses Schreien, dieses Toben des Publikums - also ich war - ich war baff. Ich konnte kein Wort...,nur Tränen. Ich habe geweint vor Freude." Sie waren in zwei Stunden ausverkauft.  

  

Dann begann das Jahr 1933 und brachte den Machtantritt der Nazis. Zunächst einmal schien sich wenig zu verändern. Die Sänger interessierten sich nicht für Politik, hielten sich wohl auch für so populär, dass sie ohnehin keine Befürchtungen für sich selbst hegten. Aber dennoch: Erste vertraglich vereinbarte Konzerte wurden schon im Jahre 1933 abgesagt, weil man keine Juden mehr auf deutschen Bühnen sehen wollte. Auch die UFA verweigerte den Ensemblemitgliedern die Mitarbeit an Filmaufnahmen. Vielleicht wollten sich die sechs Sänger darüber selbst hinwegtäuschen, dass darin deutliche Zeichen zu sehen waren, die noch weit Schlimmeres ankündigten. Vielleicht hofften sie wie viele, dass der Nazispuk rasch vorübergehen würde. Am ersten November 1933 erließ Goebbels eine folgenschwere Durchführungsverordnung zum Gesetz, die die Mitgliedschaft in der Reichskulturkammer und ihren Untergliederungen regelte. Danach mußte jeder die Mitgliedschaft in der Reichsmusikkammer beantragt haben, wenn er auf deutschen Bühnen Musik darbieten wollte. Paragraph 10 regelte, wodurch man von der Mitgliedschaft ausgeschlossen werden konnte: "...wenn Tatsachen vorliegen, aus denen sich ergibt, dass die in Frage kommende Person, die für die Ausübung ihrer Tätigkeit erforderliche Zuverlässigkeit und Eignung nicht besitzt." Es gab keinen Zweifel, wie das zu verstehen war. Juden konnten nicht Mitglieder in den Kammern werden. Um auch wirklich das letzte Mißverständnis zu beseitigen, erklärte Goebbels am 5. März 1934 in aller Deutlichkeit und Ausführlichkeit, dass 1. nur auftreten durfte, wer Kammermitglied war, und 2. Juden definitiv nicht Kammermitglied werden konnten. Alle sechs Ensemblemitglieder hatten schon einen Antrag auf Mitgliedschaft gestellt, aber nun konnte man kaum noch auf einen positiven Bescheid hoffen, auch wenn die Gruppe immerhin gemischt und nicht volljüdisch war. Jedenfalls hielten sich die Comedian Harmonists zu diesem Zeitpunkt gerade auf einer ausgedehnten Deutschland-Tournee auf, für die sie einige Tage später eine Sondererlaubnis erhielten. Aber dennoch gab es neben Absagen in vielen Orten Rangeleien und immer neue Schikanen. Das letzte Konzert in München behielten alle Akteure in besonderer Erinnerung. Ihr Abschiedslied "Auf Wiedersehen, my Dear" gewann eine sehr hintergründige Bedeutung.

Gleichzeitig nehmen die Zerwürfnisse innerhalb der Gruppe gegen Ende 1934 zu. Anfang 1935 fasst man schließlich den Beschluß zur Trennung. Anfang Februar 1935 findet das letzte Konzert der Comedian Harmonists in Frederikstad (Norwegen) statt. Man kehrt zurück nach Berlin und macht noch einige Schallplattenaufnahmen. Ende Februar erreicht die Comedian Harmonists ein Brief von der Reichsmusikkammer. In diesem Schreiben vom 22. Februar 1935 werden die arischen Mitglieder der Comedian Harmonists in die 'Reichsmusikerschaft' aufgenommen. Diese erhalten damit die Möglichkeit, "mit anderen arischen Musikern nach Zulegung eines deutschen Namens anstelle der Bezeichnung 'Comedian Harmonists' ihre musikalische Tätigkeit auszuüben". Den "nichtarischen" Mitgliedern wird die Aufnahme verwehrt, was einem Berufsverbot gleichkommt: "Diese haben dadurch das Recht auf Berufsausübung verloren".