Project

General

Profile

Enhancement #4374

Webservice til smart search

Added by Tue Gaston 6 months ago. Updated about 2 months ago.

Status:
Resolved
Priority:
Normal
Assignee:
Estimated time:

Description

Følgende er kopieret fra Arnis kommentar https://platform.dandigbib.org/issues/3478#note-14, som dette issue er udsprunget af:

Vi er i gang med at lave en forbedring af søgefunktionen i DDBCMS som bruger data fra webtrekk. Det vi gør er at vi henter data omkring hvilke poster brugerne klikker på efter en given søgning. De data bruger vi så til at placere de poster som brugerne klikker oftest på forrest i søgeresultatet. De data vi med andre ord har behov for er hvad er follower pages som er poster (ting/collection eller ting/object) for en given søgning. De data henter vi fra alle biblioteker for to perioder. Det sidste års tid og den sidste måneds tid.

Mere specifikt så trækker vi nu manuelt ud følgende rapport:

I navigation->Pages->Pages trækker vi:

Pages = *search.ting*

AND

Follower pages = *ting.object*

OR

Follower pages = *ting.collection*

AND

Pages ≠ *ereolen*

 

Derudover tilføjer vi dimensionen "Follower pages". Den her rapport trækker vi som sagt både for 1 måned og 1 år på ddb_global kontoen så vi får alle biblioteker.

Vedhæftet er et screenshot af indstillingerne og et eksempel på rapporten.

 

autosmartsearcheksempel.txt (18.8 KB) autosmartsearcheksempel.txt Tue Gaston, 05/29/2019 12:32 PM
webtrek-auto smart search rapport.jpg (35.1 KB) webtrek-auto smart search rapport.jpg Tue Gaston, 05/29/2019 12:32 PM

Related issues

Related to Webtrekk - Enhancement #3478: Webservice til mente-duResolved

History

#1 Updated by Tue Gaston 6 months ago

#2 Updated by Tue Gaston 6 months ago

  • Status changed from New to Needs analysis
  • Assignee set to Piotr Birketoft

#3 Updated by Árni Loftsson 6 months ago

Hej Piotr

Som hurtigst muligt. Vi er ved at insende en PR til DDBCMS på en manuel udgave af vores smart search modul. Den her webservice skal så bruges til en automatisk udgave af modulet. Det mest optimale er at de to ting bliver udrullet sammen. Så hvis vi kan få udviklet den her webservice i løbet af 2-3 uger så kan vi lave vores del hen over sommeren så begge dele er klar til udrulning efter sommerferien.

Vh. Árni

#5 Updated by Árni Loftsson 5 months ago

Er der noget nyt i den her sag.

#6 Updated by Piotr Birketoft 5 months ago


Hej Arni,
Jeg har liget sendt et estimat vidre interent, det skal godkendes så kan vi gå i gang.

 

- Piotr

#7 Updated by Árni Loftsson 5 months ago

Hej Piotr

Vi har modtaget estimatet og vil afholde de udgifter i vores projekt. Så I må gerne gå i gang så hurtigts muligt med at lave webservicen.

Vh. Árni

#8 Updated by Piotr Birketoft 3 months ago

Hej Arni,

Beklager der er gået så lang tid, det skyldes prioriteringer og ferie. Men nu er vi nået til din webservice.

 

Kan vi tage et opstartskald en af dagene, hvor vi taler lidt praktiske steps og behov.

I eftermiddag kl 16 er god for mig, alternativt i morgen tirsdag kl 0900?

 

- Piotr

 

#9 Updated by Árni Loftsson 3 months ago

I eftermiddag kl. 16 passer fint for mig. Lad os tage den der. 

#10 Updated by Piotr Birketoft 3 months ago

Hej Arni,

 

Tak for snakken, Vi har aftalt en jeg laver et udkast til en webservice med følgende indhold:

 

[søgeord],[side der clickes til],[antal gange der clickes til siden]

 

Webservicen skal virke for sidste 365 dage og sidste 31 dage.

 

Jeg regner med at have en test til dig sidst på ugen.

- piotr

#11 Updated by Árni Loftsson 3 months ago

Helt perfekt.

#12 Updated by Árni Loftsson 3 months ago

Hvordan går det med det her.

#13 Updated by Piotr Birketoft 3 months ago

Hej Arni,

Jeg har lige sendt dig en mail med en test fil i. Vend gerne tilbage når du har set på den :)

 

- Piotr

#14 Updated by Piotr Birketoft 2 months ago

Webservicen er lagt i produktion fra KPIINDEX side, afventer evt feedback fra Arni med henbik på evt, justeringer.

Den er i hypercare de næste par dage - hvor vi holder øje med den kører som den skal.

 

Smartsearch CSV filerne er her:

 

www.kpiindex.com/index2/Smartsearch1m.csv

www.kpiindex.com/index2/Smartsearch1y.csv

 

Bemærk at filerne fylder henholdsvis 41 og 644 mb. Sig til hvis vi skal sætte en begrænsning på, som eksempelvis fjerne resultater som har mindre end 2 hits. Det vil rydde godt ud i begge filer.

#15 Updated by Árni Loftsson 2 months ago

Lige to issues.

Csv filerne kommer i et mærkeligt format Unicode LE. Kan vi få dem i UTF8 i stedet så vi nemmere kan håndtere dem.

Filerne fylder meget. Det giver ikke mening for os fjerne resultater med få hits. 1-2 hits fordelt på 100 biblioteker kan stadigvæk give et samlet resultat på 100-200 hits. Til gengæld kan vi godt fjerne søgninger fra ereolen. Hvis vi tager dem med så kommer ebøger til at fylde for meget i det endelige resultat.

#16 Updated by Árni Loftsson 2 months ago

Det er måske ikke nødvendigt med et andet format. Den metode jeg brugte til at parse filen gav en underlig fejl. Jeg undersøger det nærmere.

#17 Updated by Árni Loftsson 2 months ago

Problemet er brugen af ';' som seperator. Php kan ikke finde ud af håndtere den og laver underlige fejl når den splitter linjerne op. Kan vi filen med en anden seperator. Komma duer ikke fordi det forekommer i søgestrengen. Tab burde fungere fint.

#18 Updated by Árni Loftsson 2 months ago

Det er encoding som er problemet. Hvis jeg prøver at læse filen fra kommandolinjen så får jeg at vide at det er en binær fil. Den kan læses ind i php men det øjeblik der udføres en string operation på den så virker det slet ikke. Encoding skal være det samme som i den her fil: http://www.kpiindex.com/index2/search_feed.csv . Den har også nogle problemer men de er blevet løst. 

#19 Updated by Árni Loftsson 2 months ago

Et andet issue. Feedet indholder helt korrekt sider som der klikkes til som har '/ting/object' i urlen men det skal også medtage når der klikkes til sider som har '/ting/collection' i urlen. Dvs. at /ting/collection siderne skal med.

 

#20 Updated by Piotr Birketoft about 2 months ago

  • Assignee changed from Piotr Birketoft to Tue Gaston

Hej Tue,

 

Jf dialog med Arni, bør denne sag kunne lukkes?

 

Vil du bekræfte og evt lukke sagen?

 

Hilsen,

- Piotr

#21 Updated by Tue Gaston about 2 months ago

  • Status changed from Needs analysis to Resolved

Also available in: Atom PDF