Alle ZDF-Inhalte mit VoD aus der gleichen Rubrik wie der Ausgangsbeitrag, ausgenommen Inhalte unterhalb folgender Strukturknoten:

• Rubriken:
  • Barrierefreiheit im ZDF, funk, ZDFunternehmen, Nachrichten, Phoenix, Service Und Hilfe, International
• Sendungsbereiche:
  • ARTE: ARTE Journal, H24, Karambolage, Märkte Europas, Mit offenen Karten, Stadt Land Kunst, The European Collection, Tracks, Twist, Zu Tisch
  • Gesellschaft: Aktenzeichen XY... Ungelöst, Einfach Mensch, Gottesdienste, Sonntags
  • Kinder: logo!, logo-newsdate
  • Kultur: Aspekte, Kulturzeit, Auslandsjournal Extra, Berlin direkt, Frontal 21, Länderspiegel, Politik sonstige, Standpunkte, Wahlen im ZDF
  • Bundesliga: Bundesliga und 2. Bundesliga, Das große Best-of Bundesliga, Bundesliga und 2. Bundesliga - Saison 2021/22
  • Sport: Das Aktuelle Sportstudio, Die Finals 2022, UEFA EURO 2020, Mainzer Keller - Der Bundesliga-Talk, Olympia - Peking 2022, Paralympics - Peking 2022, Sportler des Jahres, Champions League - Saison 2021/22, UEFA Champions League, Wintersport | Saison 2022/23, FIFA Frauen WM 2019, UEFA U21-EM, Schwimm-WM 2019, ZDF SPORTextra
  • Verbraucher: MAKRO, WISO,
  • Wissen: NANO
    

Hier erklären wir, welche publizistischen Regeln für die Ausspielung der Empfehlung gelten.

Eine Empfehlung wird aktiv ausgeblendet, wenn:

• weniger als 7 Ergebnisse enthalten wären
• Nutzer:innen keine Historie haben

Eine Empfehlung wird nicht angefragt, wenn:

• Nutzer:innen über das Datenschutz- in CMP nicht Personalisierung zugestimmt haben

Art des empfohlenen Inhaltes:

• für Beiträge vom Typ Episode werden nur Episoden empfohlen
• für Beiträge vom Typ Clip werden Clips und Episoden empfohlen
  

Welche Nutzer:innen-Gruppen werden durch diesen Anwendungsfall bedient?

• Jede Nutzer:in anhand ihrer individuellen Historie (solange der Datenschutzbestimmung zugestimmt)
• Nutzer:innen mit und ohne Login werden gleichermaßen bedient
  

Wir verwenden verschiedene weitere Parameter, die sich aus der Umgebung der Nutzer:in ergeben, um eine passgenaue Empfehlung zu erzeugen. Wie zu Beispiel von welchem Abspielgerät oder Startpunkt in der ZDFmediathek die Anfrage kommt.

• Geräteklasse, von der die Empfehlung aufgerufen wird (Tablet, Mobile, Web, Fernseher)
• Nutzungshistorie
• Aktuelle Seite in der ZDFmediathek (konkret: Startseite)
  

Machine Learning Algorithmen werden mit Hilfe von verschiedenen Daten trainiert. Das Ergebnis dieses Trainings ist ein Modell. Hier kann es je nach Anwendungsfall zu wesentlichen Unterschieden kommen, die auch eine Auswirkung auf das Ergebnis haben.

Preprocessing. In einem ersten Schritt, findet eine Vorauswahl statt, um die gewünschten Daten für das Modelltraining bereitzustellen:

• Filterung der Nutzungshistorie nach Pfaden (Speicherorten) im redaktionellen Content Management System
• Zufälliges Sampling der Referenz-Beiträge aus gefilterter Nutzungshistorie

Basis-Algorithmus. Um unsere Modelle zu trainieren, verwenden wir Algorithmen, die auf Erkenntnissen der Wissenschaft basieren. Folgende Basis-Algorithmen und Quellen haben wir hier verwendet:

• A/B-Gruppen A und D: Collaborative Filtering und Text Modell
  • Paper Collaborative Filtering: Collaborative Filtering for Implicit Feedback Datasets und Applications of the Conjugate Gradient Method for Implicit Feedback Collaborative Filtering
  • Implementierung Collaborative Filtering: Open source 3rd party Basis-Framework "implicit"
  • Implementierung Text Model scikit-learn TfidfVectorizer mit spacy stopwords und nmslib zur Abstandsberechnung.
• Gruppe B: Collaborative Filtering
  • Paper Collaborative Filtering: Collaborative Filtering for Implicit Feedback Datasets und Applications of the Conjugate Gradient Method for Implicit Feedback Collaborative Filtering
  • Implementierung Collaborative Filtering: Open source 3rd party Basis-Framework "implicit"
• Gruppe C: Sequence Based Recommendation
  • Paper: Self-Attentive Sequential Recommendation (Kang et al.)
  • Implementierung: OSS 3rd party Basis-Algorithmus "recommenders"
  • Popularity debiasing wird nicht genutzt. Details dazu werden im Blog-Eintrag vom 23. Januar 2024 erläutert.
• Gruppe E: Sequence Based Recommendation und Text Modell
  • Paper Sequence Based Recommendation: Self-Attentive Sequential Recommendation (Kang et al.)
  • Implementierung Sequence Base Recommendation: Open source 3rd party Basis-Framework "spotlight"
  • Implementierung Text Model scikit-learn TfidfVectorizer mit spacy stopwords und nmslib zur Abstandsberechnung.
  • Popularity debiasing: Empfehlungschancen populärer und weniger beliebter Inhalte werden angeglichen, indem eine Empfehlung von der derzeitigen Popularity eines Inhaltes entkoppelt wird.

Postprocessing. Nachdem ein Algorithmus eine Empfehlung ausgesprochen hat, müssen wir daraufhin wieder Regeln anwenden, um das Ergebnis noch zu verbessern:

• Bereits von der Nutzer:in gesehene Videos werden nicht mehr angezeigt
• Einzelbeiträge aus Serien, Comedy und Kinder werden aus der Empfehlung entfernt und stattdessen mit der Serie, zu der sie gehören, ersetzt.
• Beschränkung auf ganze Sendungen mit mehr als 5 Minuten Länge
• Beschränkung auf maximal 3 Beiträge pro Sendungsbereich
• Entfernen von Duplikaten, falls mehrere Cluster ausgegeben werden
  

Machine Learning Algorithmen brauchen einen genau festgelegten Satz an Daten, anhand derer sie Muster lernen, um Empfehlungen aussprechen zu können. „Weil Du 'Beitrag' geschaut hast“ kombiniert nutzungsbasierte und ähnlichkeitsbasierte Empfehlungen. Folgende Daten werden in diesem Anwendungsfall verwendet:

Nutzungsdaten:

• Sequence Base Recommendation und Collaborative Filtering
  • 30 Tage (ZDFtracking, alle Nutzer:innen), pro Geräteklasse
  • nur Plays mit mindestens 35% Nutzung des Videos
  • Denoising (Videos mindestens 20x gesehen über alle Nutzer:innen hinweg)

Metadaten:

• Sequence Base Recommendation und Collaborative Filtering
  • aus redaktionellem Content Management System (zur Filterung von Inhalten)
• Text Modell
  • aus redaktionellem Content Management System (Search-Service-Tags extrahiert aus Titel & Text, Darsteller, Crew, redaktionelle Tags, Sendungsbereich, FSDB-Daten [Beschreibung, Kategorien, Untertitel, visuelle Beschreibung])

Bias (qualitativ):

• Sequence Base Recommendation und Collaborative Filtering
  • Recency (nur letzte 30 Tage Nutzungsdaten)
  • Popularity (30 Tage Nutzungsdaten, keine ungenutzten Inhalte, Denoising)
  • Exposure (nur genutzte Inhalte)
• Text Modell
  • Informationsgehalt / "sparse data bias" (Beiträge redaktionell sehr unterschiedlich stark aufbereitet)
    

Beim Abruf von Empfehlungen aus der ZDFmediathek, sendet die Mediathek verschiedene Daten über die Nutzer:in mit. Bevor eine Empfehlung ausgesprochen wird, muss entschieden werden, welche der Daten für die Berechnung der Empfehlung überhaupt relevant sind. Im Folgenden sind die wichtigsten davon gelistet:

Nutzungshistorie:Bei der personalisierten Empfehlung werden die folgenden Ergebnisse aus der Nutzungshistorie in hierarchisch absteigender Folge berücksichtigt:

• Alle Sichtungen mit mehr als 30 Sekunden Abspielfortschritt
• Wenn dies zu leeren Sichtungen führen würde: alle Sichtungen ohne Filterung
• Wenn Sichtungen insgesamt leer sind: alle Klicks
• Wenn keine Historie mitgeschickt wird: Neueste Episode jeder gemerkten Sendung als Historie

Angebotsseite:

• aktuelle Seite

Geräteklasse:

• z.B: TV / Smartphone
  

Wie gut ein Model ist, wird durch kontinuierliche Tests bestimmt. Je nach Model kann es auch Unterschiede geben, wie häufig dieses aktualisiert wird und ob Ergebnisse von Tests automatisch in die Weiterentwicklung des Models einfließen.

Weiterentwicklung:

• Sequence Model: reines Offline-Training, alle 4 Stunden, Bereitstellung des trainierten Modells unmittelbar nach dem Training
• Collaborative Filtering: reines Offline-Training, alle 4 Stunden, Ablage von vorberechneten Empfehlungen unmittelbar nach dem Training
• Text Model: reines Offline-Training, alle 3 Stunden, Ablage von vorberechneten Empfehlungen unmittelbar nach dem Training

Tests:

• Kontinuerliche A/B-Tests zum Monitoring, jedoch...
• kein automatisches Machine Learning nach A/B-Tests
• keine automatische Hyperparameter-Optimierung
  

Das Sehvolumen ist eine wichtige KPI für den Anwendungsfall „Weil Du 'Beitrag' geschaut hast“. Damit messen wir, wie erfolgreich die ausgespielten Empfehlungen bei den Nutzer:innen sind.