SR: fix missing host in videoUrl

Author: pidoubleyou

src/main/java/de/mediathekview/mserver/crawler/sr/SrCrawler.java

@@ -58,7 +58,7 @@ protected RecursiveTask<Set<Film>> createCrawlerTask() {
               ServerMessages.DEBUG_ALL_SENDUNG_FOLGEN_COUNT, getSender().getName(), filmDtos.size());
       getAndSetMaxCount(filmDtos.size());
 
-      return new SrFilmDetailTask(this, filmDtos);
+      return new SrFilmDetailTask(this, filmDtos, SrConstants.URL_BASE);
     } catch (final InterruptedException ex) {
       LOG.debug("{} crawler interrupted.", getSender().getName(), ex);
       Thread.currentThread().interrupt();

src/main/java/de/mediathekview/mserver/crawler/sr/tasks/SrFilmDetailTask.java

@@ -7,6 +7,7 @@
 import de.mediathekview.mserver.daten.Resolution;
 import de.mediathekview.mserver.base.utils.DateUtils;
 import de.mediathekview.mserver.base.utils.HtmlDocumentUtils;
+import de.mediathekview.mserver.base.utils.UrlUtils;
 import de.mediathekview.mserver.crawler.ard.json.ArdVideoInfoDto;
 import de.mediathekview.mserver.crawler.ard.json.ArdVideoInfoJsonDeserializer;
 import de.mediathekview.mserver.crawler.basic.AbstractCrawler;
@@ -44,10 +45,14 @@ public class SrFilmDetailTask extends AbstractDocumentTask<Film, SrTopicUrlDTO>
   private static final String VIDEO_DETAIL_ATTRIBUTE = "data-mediacollection-ardplayer";
   private static final String VIDEO_DETAIL_SELECTOR = "div[" + VIDEO_DETAIL_ATTRIBUTE + "]";
 
+  private final String baseUrl;
+
   public SrFilmDetailTask(
       final AbstractCrawler crawler,
-      final Queue<SrTopicUrlDTO> urlToCrawlDTOs) {
+      final Queue<SrTopicUrlDTO> urlToCrawlDTOs,
+      final String aBaseUrl) {
     super(crawler, urlToCrawlDTOs);
+    baseUrl = aBaseUrl;
   }
 
   private static Optional<String> parseDescription(final Document aDocument) {
@@ -185,7 +190,7 @@ protected void processDocument(final SrTopicUrlDTO aUrlDTO, final Document aDocu
   @Override
   protected AbstractUrlTask<Film, SrTopicUrlDTO> createNewOwnInstance(
       final Queue<SrTopicUrlDTO> aURLsToCrawl) {
-    return new SrFilmDetailTask(crawler, aURLsToCrawl);
+    return new SrFilmDetailTask(crawler, aURLsToCrawl, baseUrl);
   }
 
   /**
@@ -223,6 +228,7 @@ private Optional<ArdVideoInfoDto> parseUrls(final Document aDocument) {
 
       String url = videoDetailUrl.get();
       url = addMissingProtocol(url);
+      url = UrlUtils.addDomainIfMissing(url, baseUrl);
 
       try {
         final ArdVideoInfoDto dto =

src/test/java/de/mediathekview/mserver/crawler/sr/tasks/SrFilmDetailTaskNoFilmTest.java

@@ -94,7 +94,7 @@ public void test() {
 
   private Set<Film> executeTask(final SrCrawler crawler, final String aTheme, final String aRequestUrl) {
     return new SrFilmDetailTask(
-        crawler, createCrawlerUrlDto(aTheme, aRequestUrl))
+        crawler, createCrawlerUrlDto(aTheme, aRequestUrl), getWireMockBaseUrlSafe())
         .invoke();
   }
 }

src/test/java/de/mediathekview/mserver/crawler/sr/tasks/SrFilmDetailTaskTest.java

@@ -1,29 +1,28 @@
 package de.mediathekview.mserver.crawler.sr.tasks;
 
+import static org.hamcrest.CoreMatchers.equalTo;
+import static org.hamcrest.CoreMatchers.notNullValue;
+import static org.hamcrest.MatcherAssert.assertThat;
+
+import de.mediathekview.mserver.base.webaccess.JsoupConnection;
+import de.mediathekview.mserver.crawler.sr.SrCrawler;
 import de.mediathekview.mserver.daten.Film;
 import de.mediathekview.mserver.daten.GeoLocations;
 import de.mediathekview.mserver.daten.Sender;
-import de.mediathekview.mserver.base.webaccess.JsoupConnection;
-import de.mediathekview.mserver.crawler.sr.SrCrawler;
 import de.mediathekview.mserver.testhelper.AssertFilm;
 import de.mediathekview.mserver.testhelper.JsoupMock;
+import java.time.Duration;
+import java.time.LocalDateTime;
+import java.util.Arrays;
+import java.util.Collection;
+import java.util.Set;
 import org.junit.Before;
 import org.junit.Test;
 import org.junit.runner.RunWith;
 import org.junit.runners.Parameterized;
 import org.mockito.Mock;
 import org.mockito.MockitoAnnotations;
 
-import java.time.Duration;
-import java.time.LocalDateTime;
-import java.util.Arrays;
-import java.util.Collection;
-import java.util.Set;
-
-import static org.hamcrest.CoreMatchers.equalTo;
-import static org.hamcrest.CoreMatchers.notNullValue;
-import static org.hamcrest.MatcherAssert.assertThat;
-
 @RunWith(Parameterized.class)
 public class SrFilmDetailTaskTest extends SrTaskTestBase {
 
@@ -43,11 +42,6 @@ public class SrFilmDetailTaskTest extends SrTaskTestBase {
 
   @Mock JsoupConnection jsoupConnection;
 
-  @Before
-  public void setUp() {
-    MockitoAnnotations.openMocks(this);
-  }
-
   public SrFilmDetailTaskTest(
       final String aRequestUrl,
       final String aFilmPageFile,
@@ -111,9 +105,29 @@ public static Collection<Object[]> data() {
             "https://srstorage01-a.akamaihd.net/Video/FS/STH/Schengen_-_Wie_entstand_das_Europa_ohne_Grenzen_SENDEFASSUNG_L.mp4",
             "https://srstorage01-a.akamaihd.net/Video/FS/STH/Schengen_-_Wie_entstand_das_Europa_ohne_Grenzen_SENDEFASSUNG_P.mp4"
           },
+          {
+            "https://www.sr-mediathek.de/index.php?seite=7&id=77119",
+            "/sr/sr_film_page3_missing_host_in_url.html",
+            "/sr_player/mc.php?id=77119&tbl=&pnr=0&hd=0&devicetype=",
+            "/sr/sr_film_video_details2.json",
+            "SAARTHEMA",
+            "SAARTHEMA - Schengen",
+            LocalDateTime.of(2019, 8, 15, 0, 0, 0),
+            Duration.ofMinutes(43).plusSeconds(18),
+            "An jeder Grenze der Welt ist es ein Begriff: Schengen heißt eines der wichtigsten Visa, die es heute gibt. Am 14. Juni 1985 unterzeichneten die Vertreter der EG-Staaten Deutschland, Frankreich, Belgien, Niederlande und Luxemburg das Schengener-Abkommen, das im Laufe der Jahre von fast allen EU-Staaten ratifiziert wurde und uns in Europa offene Grenzen gebracht hat.",
+            "https://www.sr-mediathek.de/sr_player/ut.php?file=STH_20190815.xml",
+            "https://srstorage01-a.akamaihd.net/Video/FS/STH/Schengen_-_Wie_entstand_das_Europa_ohne_Grenzen_SENDEFASSUNG_M.mp4",
+            "https://srstorage01-a.akamaihd.net/Video/FS/STH/Schengen_-_Wie_entstand_das_Europa_ohne_Grenzen_SENDEFASSUNG_L.mp4",
+            "https://srstorage01-a.akamaihd.net/Video/FS/STH/Schengen_-_Wie_entstand_das_Europa_ohne_Grenzen_SENDEFASSUNG_P.mp4"
+          }
         });
   }
 
+  @Before
+  public void setUp() {
+    MockitoAnnotations.openMocks(this);
+  }
+
   @Test
   public void test() {
     jsoupConnection =
@@ -147,6 +161,6 @@ public void test() {
 
   private Set<Film> executeTask(
       final SrCrawler crawler, final String aTheme, final String aRequestUrl) {
-    return new SrFilmDetailTask(crawler, createCrawlerUrlDto(aTheme, aRequestUrl)).invoke();
+    return new SrFilmDetailTask(crawler, createCrawlerUrlDto(aTheme, aRequestUrl), getWireMockBaseUrlSafe()).invoke();
   }
 }