Skip to content

Commit 66fa6eb

Browse files
pidoubleyoupidoubleyou
committed
remove unnecessary cleanup functions
1 parent 62ed7f7 commit 66fa6eb

2 files changed

Lines changed: 0 additions & 192 deletions

File tree

‎src/main/java/mServer/crawler/AddToFilmlist.java‎

Lines changed: 0 additions & 98 deletions
Original file line numberDiff line numberDiff line change
@@ -53,15 +53,6 @@ public AddToFilmlist(ListeFilme vonListe, ListeFilme listeEinsortieren) {
5353
this.bannedFilmFilter = new BannedFilmFilter();
5454
}
5555

56-
private static String cutOutSrfParameterInUrl(String url) {
57-
int startIndex = url.indexOf("/hdntl=exp");
58-
int endIndex = url.indexOf("/index-f");
59-
if (endIndex > -1 && startIndex < endIndex) {
60-
url = url.substring(0, startIndex) + url.substring(endIndex);
61-
}
62-
return url;
63-
}
64-
6556
public synchronized void addLiveStream() {
6657
if (listeEinsortieren.size() <= 0) {
6758
return;
@@ -134,15 +125,9 @@ private void performInitialCleanup() {
134125
});
135126
removeTimeFromMdrAktuell(listeEinsortieren);
136127
removeTimeFromOrf(listeEinsortieren);
137-
updateAudioDescriptionOrf(listeEinsortieren);
138-
updateAudioDescriptionSrf(listeEinsortieren);
139-
updateAudioDescriptionZdf(listeEinsortieren);
140128
updateThema(listeEinsortieren);
141129
updateTitle(listeEinsortieren);
142130
updateArdWebsite(listeEinsortieren);
143-
updateSenderTagesschau24(listeEinsortieren);
144-
updateFunkMissingHost(listeEinsortieren);
145-
removeSrfUrlParameter(listeEinsortieren);
146131
}
147132

148133
private boolean isArdUrlToRemove(final String url) {
@@ -151,36 +136,6 @@ private boolean isArdUrlToRemove(final String url) {
151136
|| url.startsWith("https://pmdonlinekika-a.akamaihd.net");
152137
}
153138

154-
// check https://github.com/mediathekview/MServer/issues/904 for examples and more information
155-
private void removeSrfUrlParameter(ListeFilme listeEinsortieren) {
156-
final List<DatenFilm> list = listeEinsortieren.parallelStream()
157-
.filter(film -> film.arr[DatenFilm.FILM_SENDER].equals(Const.SRF) && film.arr[DatenFilm.FILM_URL].contains("/hdntl=exp"))
158-
.collect(Collectors.toList());
159-
Log.sysLog("SRF: remove url parameter für " + list.size() + " Einträge von " + listeEinsortieren.size());
160-
161-
list.forEach(film -> {
162-
String url = film.arr[DatenFilm.FILM_URL];
163-
String urlKlein = film.arr[DatenFilm.FILM_URL_KLEIN] == null || film.arr[DatenFilm.FILM_URL_KLEIN].isEmpty() ? "" : film.getUrlFuerAufloesung(DatenFilm.AUFLOESUNG_KLEIN);
164-
String urlGross = film.arr[DatenFilm.FILM_URL_HD] == null || film.arr[DatenFilm.FILM_URL_HD].isEmpty() ? "" : film.getUrlFuerAufloesung(DatenFilm.AUFLOESUNG_HD);
165-
film.arr[DatenFilm.FILM_URL] = cutOutSrfParameterInUrl(UrlUtils.removeParameters(url));
166-
CrawlerTool.addUrlKlein(film, cutOutSrfParameterInUrl(UrlUtils.removeParameters(urlKlein)));
167-
CrawlerTool.addUrlHd(film, cutOutSrfParameterInUrl(UrlUtils.removeParameters(urlGross)));
168-
});
169-
170-
171-
}
172-
173-
private void updateFunkMissingHost(ListeFilme listeEinsortieren) {
174-
final List<DatenFilm> list = listeEinsortieren.parallelStream()
175-
.filter(film -> film.arr[DatenFilm.FILM_SENDER].equals("Funk.net") && film.arr[DatenFilm.FILM_URL].matches("https:\\/\\/[0-9]*\\/.*"))
176-
.collect(Collectors.toList());
177-
Log.sysLog("FUNK: add missing host für " + list.size() + " Einträge.");
178-
// ich glaube dies macht die urls (klein/dh) kaputt. Diese liegen in index Form (123|abc.mp4) vor und der index verschiebt sich wenn man die FILM_URL ändert
179-
list.forEach(film -> film.arr[DatenFilm.FILM_URL] = film.arr[DatenFilm.FILM_URL].replace("https://", "https://funk-02.akamaized.net/").trim());
180-
list.forEach(film -> film.arr[DatenFilm.FILM_URL_KLEIN] = film.arr[DatenFilm.FILM_URL_KLEIN].replace("https://", "https://funk-02.akamaized.net/").trim());
181-
list.forEach(film -> film.arr[DatenFilm.FILM_URL_HD] = film.arr[DatenFilm.FILM_URL_HD].replace("https://", "https://funk-02.akamaized.net/").trim());
182-
}
183-
184139
private void updateThema(ListeFilme listeEinsortieren) {
185140
listeEinsortieren.parallelStream().forEach(film -> {
186141
final String thema = film.arr[DatenFilm.FILM_THEMA].trim();
@@ -208,59 +163,6 @@ private void updateArdWebsite(ListeFilme listeEinsortieren) {
208163
list.forEach(film -> film.arr[DatenFilm.FILM_WEBSEITE] = film.arr[DatenFilm.FILM_WEBSEITE].replace("/ard/player/", "/video/").trim());
209164
}
210165

211-
private void updateSenderTagesschau24(ListeFilme listeEinsortieren) {
212-
final List<String> whiteListTagesschau24 = Arrays.stream(new String[] { "Ulrich Timm im Gespräch", "tagesschau in Einfacher Sprache", "tagesschau in 100 Sekunden", "tagesschau24" }).toList();
213-
final List<DatenFilm> list = listeEinsortieren.parallelStream()
214-
.filter(film -> film.arr[DatenFilm.FILM_SENDER].equals(Const.ARD) && whiteListTagesschau24.contains(film.arr[DatenFilm.FILM_THEMA]))
215-
.collect(Collectors.toList());
216-
Log.sysLog("ARD: set sender tagesschau24 für " + list.size() + " Einträge.");
217-
218-
list.forEach(film -> film.arr[DatenFilm.FILM_SENDER] = Const.TAGESSCHAU24);
219-
}
220-
221-
private void updateAudioDescriptionOrf(ListeFilme listeEinsortieren) {
222-
final List<DatenFilm> list = listeEinsortieren.parallelStream()
223-
.filter(
224-
film -> film.arr[DatenFilm.FILM_SENDER].equals(Const.ORF) && film.arr[DatenFilm.FILM_THEMA]
225-
.startsWith("AD |"))
226-
.collect(Collectors.toList());
227-
Log.sysLog("ORF: update Thema/Titel für " + list.size() + " Einträge mit Audiodeskription.");
228-
if (!list.isEmpty()) {
229-
list.forEach(film -> {
230-
film.arr[DatenFilm.FILM_THEMA] = film.arr[DatenFilm.FILM_THEMA].replace("AD |", "").trim();
231-
film.arr[DatenFilm.FILM_TITEL] = film.arr[DatenFilm.FILM_TITEL].replace("AD |", "").trim() + " (Audiodeskription)";
232-
});
233-
}
234-
}
235-
236-
private void updateAudioDescriptionSrf(ListeFilme listeEinsortieren) {
237-
final List<DatenFilm> list = listeEinsortieren.parallelStream()
238-
.filter(
239-
film -> film.arr[DatenFilm.FILM_SENDER].equals(Const.SRF) && film.arr[DatenFilm.FILM_THEMA]
240-
.contains("mit Audiodeskription"))
241-
.collect(Collectors.toList());
242-
Log.sysLog("SRF: update Thema/Titel für " + list.size() + " Einträge mit Audiodeskription.");
243-
if (!list.isEmpty()) {
244-
list.forEach(film -> {
245-
film.arr[DatenFilm.FILM_THEMA] = film.arr[DatenFilm.FILM_THEMA].replace("mit Audiodeskription", "").trim();
246-
film.arr[DatenFilm.FILM_TITEL] = film.arr[DatenFilm.FILM_TITEL].replace(" mit Audiodeskription", "").trim() + " (Audiodeskription)";
247-
});
248-
}
249-
}
250-
251-
private void updateAudioDescriptionZdf(ListeFilme listeEinsortieren) {
252-
final List<DatenFilm> list = listeEinsortieren.parallelStream()
253-
.filter(
254-
film -> film.arr[DatenFilm.FILM_TITEL].contains("(deu-ad)"))
255-
.toList();
256-
Log.sysLog("ZDF: erstetze (deu-ad) mit " + list.size() + " (Audiodeskription).");
257-
if (!list.isEmpty()) {
258-
list.forEach(film -> {
259-
film.arr[DatenFilm.FILM_TITEL] = film.arr[DatenFilm.FILM_TITEL].replace("(deu-ad)", " (Audiodeskription)").trim();
260-
});
261-
}
262-
}
263-
264166
private void removeTimeFromOrf(ListeFilme listeEinsortieren) {
265167
final List<DatenFilm> list = listeEinsortieren.parallelStream()
266168
.filter(

‎src/test/developTest/java/mServer/crawler/AddToFilmlistTest.java‎

Lines changed: 0 additions & 94 deletions
Original file line numberDiff line numberDiff line change
@@ -269,69 +269,6 @@ public void testReplaceMdrAktuellTopic() {
269269
assertTrue(themaStringwithoutTime.isPresent());
270270
}
271271

272-
@Test
273-
public void testReplaceOrfAudioDescriptionNaming() {
274-
listToAdd.add(createTestFilm(Const.ORF, "AD | Film", "AD | Film Testfilm", FILM_NAME_ONLINE));
275-
listToAdd.add(createTestFilm(Const.ARD, "AD | Film", "AD | Film ARD", FILM_NAME_ONLINE));
276-
277-
AddToFilmlist target = new AddToFilmlist(list, listToAdd);
278-
target.addOldList();
279-
280-
Assertions.assertThat(list).hasSize(4)
281-
.anySatisfy(film -> checkFilmThemaAndTitle(film, "Film", "Film Testfilm (Audiodeskription)"))
282-
.anySatisfy(film -> checkFilmThemaAndTitle(film, "AD | Film", "AD | Film ARD"));
283-
}
284-
285-
private void checkFilmThemaAndTitle(DatenFilm film, final String expectedThema, final String expectedTitle) {
286-
Assertions.assertThat(film.arr[DatenFilm.FILM_THEMA]).isEqualTo(expectedThema);
287-
Assertions.assertThat(film.arr[DatenFilm.FILM_TITEL]).isEqualTo(expectedTitle);
288-
}
289-
290-
@Test
291-
public void testRemoveSrfUrlParams() {
292-
final DatenFilm testFilmRemoveParams = createTestFilm(Const.SRF, "10vor", "10vor1", "world/hls/10vor10/2023/07/10vor10_20230731_215000_19875207_v_webcast_h264_,q40,q10,q20,q30,q50,q60,.mp4.csmil/hdntl=exp=1690999574~acl=%2f*~data=hdntl,0.04-1562.28~hmac=29f18372882182cc035b155825bb4772faeca5126909064987eed4e28ffa291b/index-f1-v1-a1.m3u8?start=0.04&end=1562.28&caption=srf/b2c07ad6-4904-486e-94ca-5a10745d95cb/episode/de/vod/vod.m3u8");
293-
testFilmRemoveParams.arr[DatenFilm.FILM_URL_KLEIN] = "275|3-v1-a1.m3u8?start=0.04&end=1562.28&caption=srf/b2c07ad6-4904-486e-94ca-5a10745d95cb/episode/de/vod/vod.m3u8";
294-
testFilmRemoveParams.arr[DatenFilm.FILM_URL_HD] = "275|6-v1-a1.m3u8?start=0.04&end=1562.28&caption=srf/b2c07ad6-4904-486e-94ca-5a10745d95cb/episode/de/vod/vod.m3u8";
295-
listToAdd.add(testFilmRemoveParams);
296-
297-
final DatenFilm testFilmRemoveParamsOnlyNormal = createTestFilm(Const.SRF, "10vor", "10vor2", "world/hls/10vor10/2023/07/10vor10_20230731_215000_19875207_v_webcast_h264_,q40,q10,q20,q30,q50,q60,.mp4.csmil/hdntl=exp=1690999574~acl=%2f*~data=hdntl,0.04-1562.28~hmac=29f18372882182cc035b155825bb4772faeca5126909064987eed4e28ffa291b/index-f1-v1-a1.m3u8?start=0.04&end=1562.28&caption=srf/b2c07ad6-4904-486e-94ca-5a10745d95cb/episode/de/vod/vod.m3u8");
298-
listToAdd.add(testFilmRemoveParamsOnlyNormal);
299-
300-
final DatenFilm testFilmDontRemoveParams = createTestFilm(Const.SRF, "10vor", "10vor3", "ch/hls/guetnachtgschichtli/2023/07/guetnachtgschichtli_20230729_000517_19830744_v_webcast_h264_,q40,q10,q20,q30,q50,q60,.mp4.csmil/index-f1-v1-a1.m3u8?caption=srf/4289848a-b5d2-42c6-bf7d-2bfaf29629b1/episode/de/vod/vod.m3u8");
301-
listToAdd.add(testFilmDontRemoveParams);
302-
303-
AddToFilmlist target = new AddToFilmlist(list, listToAdd);
304-
target.addOldList();
305-
306-
assertEquals(list.size(), 5);
307-
308-
assertEquals(testFilmRemoveParams.arr[DatenFilm.FILM_URL], baseUrl + "world/hls/10vor10/2023/07/10vor10_20230731_215000_19875207_v_webcast_h264_,q40,q10,q20,q30,q50,q60,.mp4.csmil/index-f1-v1-a1.m3u8");
309-
assertEquals(testFilmRemoveParams.arr[DatenFilm.FILM_URL_KLEIN], "151|3-v1-a1.m3u8");
310-
assertEquals(testFilmRemoveParams.arr[DatenFilm.FILM_URL_HD], "151|6-v1-a1.m3u8");
311-
assertEquals(testFilmRemoveParamsOnlyNormal.arr[DatenFilm.FILM_URL], baseUrl + "world/hls/10vor10/2023/07/10vor10_20230731_215000_19875207_v_webcast_h264_,q40,q10,q20,q30,q50,q60,.mp4.csmil/index-f1-v1-a1.m3u8");
312-
assertEquals(testFilmRemoveParamsOnlyNormal.arr[DatenFilm.FILM_URL_KLEIN], "");
313-
assertEquals(testFilmRemoveParamsOnlyNormal.arr[DatenFilm.FILM_URL_HD], "");
314-
assertEquals(testFilmDontRemoveParams.arr[DatenFilm.FILM_URL], baseUrl + "ch/hls/guetnachtgschichtli/2023/07/guetnachtgschichtli_20230729_000517_19830744_v_webcast_h264_,q40,q10,q20,q30,q50,q60,.mp4.csmil/index-f1-v1-a1.m3u8?caption=srf/4289848a-b5d2-42c6-bf7d-2bfaf29629b1/episode/de/vod/vod.m3u8");
315-
316-
}
317-
@Test
318-
public void testReplaceSrfAudioDescriptionNaming() {
319-
final DatenFilm film1 = createTestFilm(Const.SRF, "Film mit Audiodeskription", "Testfilm mit Audiodeskription (Staffel 1)", FILM_NAME_ONLINE);
320-
final DatenFilm film2 = createTestFilm(Const.SRF, "Film mit Audiodeskription", "Testfilm2", FILM_NAME_ONLINE);
321-
final DatenFilm film3 = createTestFilm(Const.ARD, "Film mit Audiodeskription", "Testfilm mit Audiodeskription", FILM_NAME_ONLINE);
322-
listToAdd.add(film1);
323-
listToAdd.add(film2);
324-
listToAdd.add(film3);
325-
326-
AddToFilmlist target = new AddToFilmlist(list, listToAdd);
327-
target.addOldList();
328-
329-
Assertions.assertThat(list).hasSize(5)
330-
.anySatisfy(film -> checkFilmThemaAndTitle(film, "Film", "Testfilm (Staffel 1) (Audiodeskription)"))
331-
.anySatisfy(film -> checkFilmThemaAndTitle(film, "Film", "Testfilm2 (Audiodeskription)"))
332-
.anySatisfy(film -> checkFilmThemaAndTitle(film, "Film mit Audiodeskription", "Testfilm mit Audiodeskription"));
333-
}
334-
335272
@Test
336273
public void testReplaceTimeOnlyInOrfTopic() {
337274
listToAdd.add(createTestFilm(Const.ORF, "ZIB 7:00", "ZIB 7:00", FILM_NAME_ONLINE));
@@ -528,37 +465,6 @@ public void testArdTagesschau24EntriesNotAdded() {
528465
assertEquals(Const.ARD, testFilmArdOk.arr[DatenFilm.FILM_SENDER]);
529466
}
530467

531-
@Test
532-
public void testArdTagesschau24UpdateSender() {
533-
final DatenFilm testFilmArd24 = createTestFilm(Const.ARD, "tagesschau24", "film title", FILM_NAME_ONLINE);
534-
listToAdd.add(testFilmArd24);
535-
536-
AddToFilmlist target =new AddToFilmlist(list, listToAdd);
537-
target.addOldList();
538-
539-
assertEquals(list.size(),3);
540-
assertTrue(list.contains(testFilmArd24));
541-
assertEquals(Const.TAGESSCHAU24, testFilmArd24.arr[DatenFilm.FILM_SENDER]);
542-
}
543-
544-
@Test
545-
public void testZdfReplaceAdDeutWithAudiodescription() {
546-
final DatenFilm testFilm1 = createTestFilm(Const.ZDF, "Filme ZDF", "Film1(deu-ad)", FILM_NAME_ONLINE);
547-
final DatenFilm testFilm2 = createTestFilm(Const.ZDF_NEO, "Filme Neo", "Film2(deu-ad)", FILM_NAME_ONLINE);
548-
final DatenFilm testFilm3 = createTestFilm(Const.ARD, "Filme ARD", "Film3(deu-ad)", FILM_NAME_ONLINE);
549-
listToAdd.add(testFilm1);
550-
listToAdd.add(testFilm2);
551-
listToAdd.add(testFilm3);
552-
553-
AddToFilmlist target =new AddToFilmlist(list, listToAdd);
554-
target.addOldList();
555-
556-
assertEquals(list.size(),5);
557-
assertEquals("Film1 (Audiodeskription)", testFilm1.arr[DatenFilm.FILM_TITEL]);
558-
assertEquals("Film2 (Audiodeskription)", testFilm2.arr[DatenFilm.FILM_TITEL]);
559-
assertEquals("Film3 (Audiodeskription)", testFilm3.arr[DatenFilm.FILM_TITEL]);
560-
}
561-
562468
private static DatenFilm createTestFilm(String sender, String topic, String title,
563469
String filmUrl) {
564470
DatenFilm film = new DatenFilm(sender, topic, "url", title, baseUrl + filmUrl, "", "", "", 12,

0 commit comments

Comments
 (0)