Project

General

Profile

Enhancement #3478

DDB CMS - Enhancement #2173: Mente-du-modul

Webservice til mente-du

Added by Tue Gaston over 1 year ago. Updated about 1 month ago.

Status:
Open (waiting)
Priority:
Normal
Assignee:
Estimated time:

Description

I fb m udviklingen af "mente-du" https://platform.dandigbib.org/issues/2173 er der behov for adgang til Webtrekks webservice, der kan udlevere søgehistorik fra DD minus 365 dage.

 

https://support.webtrekk.com/hc/en-us/article_attachments/115010465629/Webtrekk-JSON-RPC_API_Manual-EN.pdf

Der behøves costumerID, login og password – og disse har vi, men vi behøver hjælp til at så servicen til at udlevere de ønskede data.



 

En tilsvarende webservice behøves til Smart Search, der er resultatet af projektet "Vi ved hvad I vil ha" http://www.projektbank.dk/vi-ved-hvad-i-vil-ha 

Det er derfor besluttet at tilstræbe at få sat webservicen op på en måde, så begge moduler kan benytte den.

EDIT: Dette er ikke længere gældende, Smart Search skal have en separat webservice, se https://platform.dandigbib.org/issues/4374

autosmartsearcheksempel.txt (18.8 KB) autosmartsearcheksempel.txt Árni Loftsson, 04/04/2019 11:19 AM
webtrek-auto smart search rapport.jpg (35.1 KB) webtrek-auto smart search rapport.jpg Árni Loftsson, 04/04/2019 11:19 AM

Related issues

Related to Webtrekk - Enhancement #4374: Webservice til smart searchNeeds analysis

History

#1 Updated by Tue Gaston about 1 year ago

  • Private changed from No to Yes

#2 Updated by Tue Gaston about 1 year ago

  • Private changed from Yes to No

#3 Updated by Tue Gaston about 1 year ago

Det er nu besluttet, at da denne webservice er uhyre enkel (den skal alene udlevere On-Site Searches + antal gange de er foretaget), er det nemmere at KPI udvikler sin egen webservice - dette er undervejs.
Det er endvidere besluttet at lade bemeldte webservice udlevere søgehistorik fra DD minus 7 dage i stedet, da den jo trækkes ugentligt, og i stedet lade ældre data blive oplagret i modulet.

#4 Updated by Tue Gaston about 1 year ago

Martin Cordings spørgsmål og Piotr Birketofts svar, copy-pastet fra emails:

MARTIN: Er det noget dokumentation eller API?
PIOTR: Nej, ikke endnu. Feedet er i beta og der er ikke aftalt leverance omfang (herunder dokumentationsniveau)

MARTIN: Er der behov for auth / credentials?
PIOTR: Nej, det indeholder ikke fortrolig data.

MARTIN: Hvor fremgår ugenumre?
PIOTR: De er ikke implementeret, jeg foreslog det som et eksempel. Hvis du vil have det med sætter jeg det gerne på.

MARTIN: Hvad er oss_r kolonnen?
PIOTR: OnSiteSearchResults. Antallet af resultater fundet på det enkelte søgeord. En funktionalitet vi piller ud.

MARTIN: Hvordan havde I tænkt at det skulle fungere på uge-niveau, såfremt der ikke er angivet noget i feedet?
PIOTR: Mit forslag er at jeg tilføjer ugenumeret data til feedet og sender dig en update.

MARTIN: Er der nogen plan for hvordan det skal hostes og tilgås?
PIOTR:

KPI INDEX hoster API. Data oprinder fra Webtrekk men bliver processed og hostet af KPI index.
-API får den åbne adresse det har nu, og du tilgå det bare udefra – der er ikke lavet planer om nogen hverken authentication eller IP filtrering. Det er intet hemmeligt eller personhenførebart i systemet så vi kan godt lave det offentligt tilgængeligt.
-Formatet bliver CSV som aftalt.
-Feedet bliver opdateret automatisk hver mandag.
Mht. til ændringer så kan vi aftale at vi skriver en mail hvis der er ændringer, men i vi piller ikke i formatet.
Det er dog planen at vi i nærmeste fremtid skal kigge på hvad feedet outputter, for en del af det data vi får er noget vi skal undersøge om giver mening.
Alt er åbent til debat. Hvis der skal authentication på kan vi godt gøre det, hvis vi skal flytte det, kan vi godt gøre det. Men der er jo lidt timer involveret i alle tilfælde.
@Martin: Hvis du har brug for et mere rent datasæt, hvor der ikke er så mange facets og sorts og så videre på, vil jeg godt se på det – jeg tror alligevel vi skal have cleanet det til vores brug anyway.

MARTIN:
Ift. tilgang tænker jeg egentlig bare hvordan det bliver individualiseret.
Det er vel ikke alle kunder som skal bruge samme feed? For mig gør det ikke noget at der ikke er noget auth, men hvad gør I, hvis I bliver spammet?
Tænkte noget ala http://www.kpiindex.com/oss/DK-717000/latest-feed.csv eller http://www.kpiindex.com/oss/latest-feed.csv?agency=71700 eller HTTP auth.

TUE: Jo, alle kunder bruger samme feed.


MARTIN: Jeg har prøvet at illustrere ændringer i konfigurationen - har I kommentarer?

PIOTR:
God pointe.
Vi får same problem med spam hvis folk reloader forsiden af indexet. Den er meget tungere. Men du har en pointe. Såfremt vi får det problem, sætter vi en IP block op, så det kun kan hentes fra jer af. En parameter i URL adressen er det ikke min erfaring at virker, da den jo er en del af URL. Alternativt skal vi lave headder authentication og det er lidt overkill når det kan løses med IP block der kan laves på kort tid.
Men i forbindelse med beta 1.1 release i går har jeg lavet om på det bagvedliggende data og på den måde taget loadet af serveren, så performance skulle ikke være et større issue nu, selv hvis nogen mener feedet er så interessat at de skal hente det 100 gange i minuttet.
Resten nedenfor kan jeg kun delvist kommentere på da jeg ikke er inde i selve modulet.
Fint du omdøber fra WebTrends til Webtrekk.
Fint du fjerner login info.

MARTIN:
Jeg mener ikke at IP restriction er hensigtmæssigt for dette projekt.
Det er ikke "os" der kommer til at hente feedet, det er de servere som hoster en DDBCMS løsning
Der er flere udbydere som hoster DDBCMS løsninger; DBC, Inlead, biblioteker selv, etc.

PIOTR:
Jeg har kun begrænset indsigt, du kan bedre vurdere om en IP block vil være effektiv.
Er det fordi det skal hentes fra mange forskellige biblioteker direkte til deres CMS ?
Hvis ikke en IP block vil virke og en URL parameter ikke er nok, så er der kun headder autnehtication tilbage?

 

#5 Updated by Tue Gaston about 1 year ago

Nu blander jeg mig lige - jeg har stadig ikke helt forstået, hvad der er grunden til at vi skal låse feedet?

Spammere vil ikke få det til at gå ned ("det skulle ikke være et større issue nu, selv hvis nogen mener feedet er så interessat at de skal hente det 100 gange i minuttet", erindrer jeg at have læst).
Der er ingen fortrolige oplysninger.

I øvrigt kommer vi jo til at indsamle og vedligeholde en base over IP-adresserne til alle DDB CMS-biblioteker i fb m https://platform.dandigbib.org/issues/3569 - og bibliotek.dk osv kommer ikke til at bruge denne mente-du - så en IP-begrænsning bør vel ikke være så svær at sætte på, hvis det skulle gå galt.

#6 Updated by Martin Cording about 1 year ago

  • Description updated (diff)

#7 Updated by Tue Gaston about 1 year ago

Erstat "Webtrends" med "Webtrekk" -> Super!
Erstat "start_period" to "end_period" med drop-down -> Også super!
Fjern "Konto" og "Pinkode" -> Også super, under forudsætning af, at vi ender med at konkludere at auth keys ikke er nødvendige.
Funktionalitet, som bevares -> Også super!

"Additional URL parameters for redirect link" & "Additional URL parameters for link in message" - så handler det om mulighed for at tilføje en tracker med henblik på sporing af brugen - "redirect link" viser hvor ofte sekundær søgning er udløst automatisk, fordi primær søgning gav 0 hits. "Link in message" viser hvor ofte sekundær søgning er udløst, fordi brugeren har klikket på den.

@Piotr - der er vel intet til hinder for at det stadig vil virke efter overgang til Webtrekk?

#9 Updated by Piotr Birketoft about 1 year ago

Så har jeg opdateret feedet.

I kan det se det nye feed på den gamle adresse :

www.kpiindex.com/index2/feed_2.php

Changes i forhold til sidst:

Nu får vi resultater per uge, og det betyder at det ikke længere giver mening med en top 1000 liste, så bliver det en top 1000 på uger, og det er også lidt skævt.

Jeg har derfor sat et filter på, således at alle søgeord under 3 resultater bliver ikke vist.

Ud over det har jeg tilføjet ugenummer i kolonne nr 1.

 

@Tue: Jeg er ikke med på hvad jeg skal tage stilling til i dit sidste spørgsmål omkring hvorvidt det stadig vil virke i en overgangsperiode?

#10 Updated by Tue Gaston about 1 year ago

Piotr Birketoft wrote:

 

@Tue: Jeg er ikke med på hvad jeg skal tage stilling til i dit sidste spørgsmål omkring hvorvidt det stadig vil virke i en overgangsperiode?

Ikke "i en overgangsperiode", men "efter overgangen til Webtrekk".
Det er en parameter, der tilføjes url'en for at muliggøre tracking af søgninger på hjemmesiden, der sker enten efter at brugere har klikket på et forslag fra mente-du eller fordi mente-du automatisk har omdirigeret en brugers søgning (fordi den gav 0 hits).

#11 Updated by Tue Gaston 4 months ago

  • Tracker changed from Support to Enhancement
  • Status changed from New to Open (waiting)
  • Start date deleted (04/20/2018)

#12 Updated by Tue Gaston 4 months ago

  • Assignee set to Tue Gaston

#13 Updated by Tue Gaston 4 months ago

  • Subject changed from Webservice til mente-du to Webservice til mente-du og smart search
  • Description updated (diff)

#14 Updated by Árni Loftsson 4 months ago

Ny opgave - webservice til automatisk smart search.

Vi er i gang med at lave en forbedring af søgefunktionen i DDBCMS som bruger data fra webtrekk. Det vi gør er at vi henter data omkring hvilke poster brugerne klikker på efter en given søgning. De data bruger vi så til at placere de poster som brugerne klikker oftest på forrest i søgeresultatet. De data vi med andre ord har behov for er hvad er follower pages som er poster (ting/collection eller ting/object) for en given søgning. De data henter vi fra alle biblioteker for to perioder. Det sidste års tid og den sidste måneds tid.

Mere specifikt så trækker vi nu manuelt ud følgende rapport:

I navigation->Pages->Pages trækker vi:

Pages = *search.ting*

AND

Follower pages = *ting.object*

OR

Follower pages = *ting.collection*

AND

Pages ≠ *ereolen*

 

Derudover tilføjer vi dimensionen "Follower pages". Den her rapport trækker vi som sagt både for 1 måned og 1 år på ddb_global kontoen så vi får alle biblioteker.

Vedhæftet er et screenshot af indstillingerne og et eksempel på rapporten.

#15 Updated by Piotr Birketoft 4 months ago

Hej Arni & Team,

Det er jeg sikker på vi kan hjælpe med. Vi skal have data ud til jer i et format og en validitet som giver mening, det skal jeg bruge lidt tid på at researche hvordan vi gør.

 

Jeg vender tilbage.

#16 Updated by Tue Gaston about 2 months ago

  • Subject changed from Webservice til mente-du og smart search to Webservice til mente-du

#17 Updated by Tue Gaston about 2 months ago

#18 Updated by Tue Gaston about 2 months ago

Piotr Birketoft wrote:

Hej Arni & Team,

Det er jeg sikker på vi kan hjælpe med. Vi skal have data ud til jer i et format og en validitet som giver mening, det skal jeg bruge lidt tid på at researche hvordan vi gør.

 

Jeg vender tilbage.

Da udviklingen i smart-search-projektet har gjort, at det nu er nogle andre data, der behøves for at understøtte modulet, er det ikke længere hensigstmæssigt at lade mente-du og smart search benytte samme webservice.
Jeg har derfor oprettet et separat issue på webservice til smart search: https://platform.dandigbib.org/issues/4374 og kopieret Arnis kommentar derover.

#19 Updated by Tue Gaston about 2 months ago

  • Description updated (diff)

#20 Updated by Piotr Birketoft about 2 months ago

Hej Arni,

 

Beklager lidt lang svaretid.

 

Vi vil godt påtage os opgaven. Jeg vil i de nærmeste dage udarbejde et estimat og et kort proces oplæg på hvordan vi ser opgaven løst.

Arni, hvornår har du brug for noget fra os?

 

#21 Updated by Árni Loftsson about 2 months ago

Hej Piotr

Som hurtigst muligt. Vi er ved at insende en PR til DDBCMS på en manuel udgave af vores smart search modul. Den her webservice skal så bruges til en automatisk udgave af modulet. Det mest optimale er at de to ting bliver udrullet sammen. Så hvis vi kan få udviklet den her webservice i løbet af 2-3 uger så kan vi lave vores del hen over sommeren så begge dele er klar til udrulning efter sommerferien.

I øvrigt skal vi bruge issue https://platform.dandigbib.org/issues/4374  i stedet så jeg kopierer den her kommentar der.

Vh. Árni

 

 

#22 Updated by Árni Loftsson about 1 month ago

Er der noget nyt i den her sag.

#23 Updated by Tue Gaston about 1 month ago

Árni Loftsson wrote:

Er der noget nyt i den her sag.

Mener du ikke denne her: https://platform.dandigbib.org/issues/4374?

#24 Updated by Árni Loftsson about 1 month ago

Ja det gør jeg.

Also available in: Atom PDF