Project

General

Profile

Enhancement #4625

Tilpas BPI modulet de nye ændringer i servicen

Added by Martin Cording 10 months ago. Updated 10 months ago.

Status:
Resolved (tag version)
Priority:
Immediate
Assignee:
Target version:
Estimated time:
URL med eksempel:
Kategorier:
Integration - BPI

Description

BPI modulet og BPI klienten skal tilpasses de nye ændringer i BPI servicen, for at virke korrekt.

De nye ændringer i servicen omfatter asset+tags samt ændringer påkrævet i https://platform.dandigbib.org/issues/3543.

Det betyder nu at billeder bliver allokeret til de rigtige steder (titel image, list image, wysiwyg).

Skærmbillede 2019-11-18 kl. 22.51.33.png (32.3 KB) Skærmbillede 2019-11-18 kl. 22.51.33.png a) 2 klonede nyheder kom ikke over i BPI selvom der var trykket på push og status lød på at det var sendt til BPI Gitte Barlach, 11/19/2019 04:02 PM
Ingen billeder kommer med over i første forsøg når man henter fra BPI - gentofte-stg.ddbcms.dk.pdf (268 KB) Ingen billeder kommer med over i første forsøg når man henter fra BPI - gentofte-stg.ddbcms.dk.pdf b) billeder i paragraffer kan ikke importeres fra BPI i første forsøg; hver gang lykkedes det først i andet forsøg Gitte Barlach, 11/19/2019 04:03 PM
Skærmbillede 2019-11-19 kl. 14.22.33.png (57.2 KB) Skærmbillede 2019-11-19 kl. 14.22.33.png c) "Problem connecting to the REST service Gitte Barlach, 11/19/2019 04:03 PM
Skærmbillede 2019-11-18 kl. 17.23.28.png (48.6 KB) Skærmbillede 2019-11-18 kl. 17.23.28.png e) Page uavailable Gitte Barlach, 11/19/2019 04:04 PM
Skærmbillede 2019-11-19 kl. 14.21.02.png (263 KB) Skærmbillede 2019-11-19 kl. 14.21.02.png f) fejl i DDB CMS (optræder også i tidligere releases) Gitte Barlach, 11/19/2019 04:05 PM
Skærmbillede 2019-11-19 kl. 16.06.50.png (89.7 KB) Skærmbillede 2019-11-19 kl. 16.06.50.png g) karrusellen virker ikke Gitte Barlach, 11/19/2019 04:07 PM
Skærmbillede 2019-11-20 kl. 15.22.30.png (69.5 KB) Skærmbillede 2019-11-20 kl. 15.22.30.png Gitte Barlach, 11/20/2019 03:25 PM
Skærmbillede 2019-11-20 kl. 15.30.40.png (124 KB) Skærmbillede 2019-11-20 kl. 15.30.40.png fra loggen Gitte Barlach, 11/20/2019 03:33 PM
Skærmbillede 2019-11-20 kl. 15.30.17.png (132 KB) Skærmbillede 2019-11-20 kl. 15.30.17.png fra loggen Gitte Barlach, 11/20/2019 03:33 PM
Skærmbillede 2019-11-20 kl. 15.29.52.png (185 KB) Skærmbillede 2019-11-20 kl. 15.29.52.png fra loggen Gitte Barlach, 11/20/2019 03:33 PM

History

#1 Updated by Martin Cording 10 months ago

  • Status changed from New to Ready for development
  • Assignee set to Martin Cording
  • Priority changed from Normal to Urgent

#3 Updated by Martin Cording 10 months ago

  • Status changed from Ready for development to Needs code review
  • Assignee changed from Martin Cording to Mikkel Ricky

#4 Updated by Gitte Barlach 10 months ago

  • Priority changed from Urgent to Immediate
  • Target version set to Release 31 - bugfixes

#5 Updated by Martin Cording 10 months ago

  • Description updated (diff)

#6 Updated by Mikkel Ricky 10 months ago

Jeg forstår ikke helt hvorfor disse ændringer pludselig er nødvendige, men koden ser fornuftig og ud er godkendt. 

#7 Updated by Gitte Barlach 10 months ago

  • Status changed from Needs code review to Reviewed - Needs info/rework
  • Assignee changed from Mikkel Ricky to Martin Cording

Hej Martin 
Kan du uddybe hvorfor ændringerne i DDB CMS er nødvendige?

Jeg vil lige tilføje: vi har jo ret grundigt testet at deling af billeder, herunder understøttelse af LUG, virkede i den nuværende rel. 5.x.x mod den oprindelige version af http://stg.bpi1.inlead.dk/admin; hvad prøver at sige er: alt virkede jo før I lavede de aftalte cherry picks (i servicelaget)

#8 Updated by Gitte Barlach 10 months ago

  • Status changed from Reviewed - Needs info/rework to Needs code review
  • Assignee changed from Martin Cording to Jesper Kristensen

#9 Updated by Martin Cording 10 months ago

  • Assignee changed from Jesper Kristensen to Mikkel Ricky

Ændringerne i DDB CMS er nøvendige for at få funktionalitet i BPI-62 til at virke; altså således at title_image, list_image og wysiwyg billeder bliver placeret korrekt.

Det har ikke virket i den tidligere version, har har man fået en popup der anmoder brugeren om at importere billederne.

#10 Updated by Jesper Kristensen 10 months ago

  • Status changed from Needs code review to Reviewed - Needs info/rework
  • Assignee changed from Mikkel Ricky to Martin Cording

Der skal lige kigges på scrutinizer og watchdog statement.

#11 Updated by Martin Cording 10 months ago

  • Assignee changed from Martin Cording to Jesper Kristensen

Fixed.

#12 Updated by Gitte Barlach 10 months ago

  • Status changed from Reviewed - Needs info/rework to Needs code review

#13 Updated by Jesper Kristensen 10 months ago

  • Status changed from Needs code review to Technical test
  • Assignee changed from Jesper Kristensen to Gitte Barlach

Reviewed og merged

#14 Updated by Gitte Barlach 10 months ago

  • Status changed from Technical test to Reviewed - Needs info/rework
  • Assignee changed from Gitte Barlach to Martin Cording

Efter seneste ændringer i BPI servicen, skal rettelserne i 

https://github.com/ding2/bpi-client/pull/16

https://github.com/ding2/ding2/pull/1569

 

Trækkes ud igen, og den gamle kode gen-introduceres. 

#15 Updated by Jesper Kristensen 10 months ago

  • Status changed from Reviewed - Needs info/rework to Needs code review
  • Assignee changed from Martin Cording to Jesper Kristensen

#16 Updated by Jesper Kristensen 10 months ago

  • Status changed from Needs code review to Technical test
  • Assignee changed from Jesper Kristensen to Gitte Barlach

Reverted og merged

#17 Updated by Gitte Barlach 10 months ago

okay dette er en test af :

- ændringer i BPI webservicen, dvs. https://github.com/inleadmedia/rest-api/pull/25 og https://github.com/inleadmedia/bpi-client/commit/ee71fe1d72cb56c82864d630ef9cefd4f7da8112 samt https://github.com/inleadmedia/rest-api/pull/25

- integration mellem DDB CMS og BPI servicen som bør fungere som hidtil uden ændringer i DDB CMS (hvorfor https://github.com/ding2/bpi-client/pull/16og https://github.com/ding2/ding2/pull/1569 er revertede)
 

Testet på hhv upgrade-fbs (som Aarhus) og Gentofte.stg med DDB CMS release - 7.x-5.0.1-beta5. Testen har omfattet redigering og deling af eksisterende nyhed, oprettelse og deling af ny nyhed med forskellige typer af paragraffer

hvis jeg skal opsummere fra testen virker det lidt ustabilt nogle gange; har oplevet flg.:

a) 2 klonede nyheder kom ikke over i BPI selvom der var trykket på push og status lød på at det var sendt til BPI
b) billeder i paragraffer kan ikke importeres fra BPI i første forsøg; hver gang lykkedes det først i andet forsøg
c) har ved flere lejligheder fået en "Problem connecting to the REST service. We have unchecked Your "Push to Mongo" flag-fejl
d) når jeg opretter en ny nyhed kan jeg ikke gemme og skubbe den over til BPI i én arbejdsgang. Jeg skal først gemme den, og dernæst åbne den til redigering igen og dér udfylde BPI formular (billeder og kategorier) før jeg kan skubbe den over
e) fik sort skærm i går aftes under min test. dvs. fik en "page unavailable" da jeg forsøgte at sende til BPI
f) DDB cMS forsøger at rendere en side, når den ikke skal (kendt fejl dog)
g) problem med at karruseller ikke bliver indlæst på modtagerbiblioteket (dvs. det bibliotek, der henter en nyhed fra et andet vis BPI). Materialerne i karrusellen findes på modtager biblioteket. Så de burde kunne vises 

#18 Updated by Gitte Barlach 10 months ago

vedr. a)
Har testet igen. Jeg kloner en nyhed der allerede er delt via BPI; Nederst i formularen har jeg 3 knapper:  "Save" , "Delete from BPI", samt "Preview. Knappen "Delete from BPI er forvirrende, da nyheden jo altså ikke er sent til BPI. Jeg gemmer og går til oversigten /admin/content. Jeg ser nu at nyheden har status: Sent to BPI, updated locally". Hvilket jo så ikke er korrekt, da der er tale om en klon/kopi, som ikke er sent. Jeg åbner nyheden til redigering igen, og nu får jeg mulighed for at skubbe den over i BPI, hvilket jeg gør. I oversigten /admin/content har nyheden stadig samme status: Sent to BPI, updated locally".
Enten skal man lade være med at clone nyheder, der allerede er sent til BPI, eller hvis man gør det holde tungen lige i munden, da status i oversigten /admin/content strengt taget ikke er korrekt. Hvis dette skal rettes programmatisk må vi oprette en ny sag på det. 
 

b) svar fra Inlead:
det lyder som en klokkeklar fejl ift disse ændringer!

c) har kigget lidt mere på den. Agency under /admin/config/ding/mobilesearch/content-export/plugin er forkert. Systemet må hente det et sted fra, for jeg kan ikke rette det direkte her i formularen. Uanset: det ser ikke ud til at have noget med BPI at gøre.

d) Det ser ikke ud til at være korrekt. I al fald har jeg gentestet og via klik på knappen "Save and push" komme til "BPI-formularen", som man kan udfylde og sende. 

e) jeg har netop oplevet samme fejl igen. Den kommer tilsyneladende ud af det blå når jeg vil fremsøge en nyhed under /admin/config/ding/mobilesearch/content-export/plugin

f) fejlen er som sagt set før; workaround er at man genindlæser siden. Skal fejlen løses programmatisk må vi oprette en ny sag 

g) gentestet. Fejlen er stadig den samme
Se https://gentofte-stg.ddbcms.dk/nyheder/anbefalinger/nyhed-med-karrusel-0 (oprettet på upgrade-fbs og hentet ind på gentofte-stg)
Se https://upgrade-fbs.ddbcms.dk/nyheder/anbefalinger/bpi-test-paragraphs-2 (oprettet på gentofte-stg og hentet ind på upgrade-fbs)
går man ind og åbner nyheden til redigering kan man se at feltet Search under Paragraph type: Carousel  tomt
I den oprindelige nyhed er feltet ikke tomt. 

#19 Updated by Martin Cording 10 months ago

a) Prøv at test dette på nuværende DDB CMS med nuværende BPI version og se om der er forskel. Umiddelbart tænker jeg ikke at det er relateret til disse ændringer.

e) Dette kan Christian fra DBC finde logs på - det er timeout i DBC webserver.

g) Mikkel bør kunne svare på hvordan det tænkt at dette skal virke ifbm. https://platform.dandigbib.org/issues/3543 (PR: https://github.com/inleadmedia/rest-api/pull/13).

#20 Updated by Martin Cording 10 months ago

g) I begge eksempler er field_ding_paragraphs_material tom i selve BPI databasen:

{
  "field_name":"field_ding_news_paragraphs",
  "bundle":"ding_paragraphs_carousel",
  "field_ding_paragraphs_material":[
  ]
},

#21 Updated by Martin Cording 10 months ago

a) + d) kan ikke genskabes: https://take.ms/4UCcj.

#22 Updated by Martin Cording 10 months ago

Som det kan ses på følgende screenshot, så stemmer data overens med kildekodens markup: https://take.ms/qn9NL.

Men der sker jo ting og sager i DDB CMS i frontend-laget, f.eks. i dette eksempel hvor materialer bliver "processed" efter rendering.

#23 Updated by Martin Cording 10 months ago

b) + g) kan heller ikke genskabes: https://take.ms/zDJn6.

#24 Updated by Gitte Barlach 10 months ago

ifm test hvor jeg vil sende en nyhed over i BPI fik jeg denne fejl:
 

Error
Bpi\Sdk\Exception\SDKException
: Client error: `POST http://stg.bpi1.inlead.dk/node` resulted in a `422 Unprocessable Entity` response: <?xml version="1.0" encoding="UTF-8"?> <result><![CDATA[Found similar resource]]></result> in Bpi->request() (line 63 of /var/aegir/platforms/ddb501beta5/profiles/ding2/modules/bpi/lib/bpi-client/Bpi/Sdk/Bpi.php).

The website encountered an unexpected error. Please try again later.

#26 Updated by Gitte Barlach 10 months ago

Fejlen i kommentar 24 opstod da jeg forsøgte at sende en nyoprettet nyhed med status "Pre-sending to BPI" over i BPI (første gang  - viser det sig - blev nyheden nemlig ikke sendt over)
Trods fejl på min side (dvs. upgrade-fbs) viser det sig nu at nyheden kom over i BPI - men - nu fejler karrusellen så igen. Se her:
https://gentofte-stg.ddbcms.dk/nyheder/aktiviteter/lug-nyhed-2-med-karrusel

#27 Updated by Gitte Barlach 10 months ago

Fra Mikkel:
 

Her kommer bud på opklarende svar: 

Fejlen beskrevet i #24 skyldes at BPI-webservicen (af uransagelige) årsager ikke vil acceptere nyt indhold der ligner indhold der allerede findes i BPI (jf. https://github.com/inleadmedia/rest-api/blob/hotfix/src/Bpi/ApiBundle/Domain/Service/PushService.php#aL79-L82 og  https://github.com/inleadmedia/rest-api/blob/hotfix/src/Bpi/ApiBundle/Domain/Entity/Resource.php#L190-L205).

Logbeskederne tyder på at indholdet faktisk er blevet sendt til BPI, men at CCBCMS ikke har fået bekræftelse på at det er sket pga. “Time-out” og at bogholderiet i DDBCMS derfor ikke ved at indholdet faktisk nu findes i BPI. Hvis man så igen trykker “Send til BPI” (som er aktiv fordi status er “Pre-sending to BPI”) så vil BPI brokke sig over at indholdet allerede findes i BPI. Generelt håndteres fejl i forbindelse med “push”'ning af indhold til BPI i meget ringe grad i DDBCMS og det antages at alt altid går godt. Selve “504 Gateway Time-out” skyldes nok at BPI-stg-serveren er for sløv.

Det manglende karruselindhold (...) tyder på en fejl i ding_paragraphs som af en eller anden grund er opstået siden vi testede sidst (jeg har svært ved at forestille mig at det er selve BPI-webservicen der driller her, men man kan aldrig vide). Vi vil hurtigt kunne afgøre hvor fejlen ligger hvis vi får spundet 7.x-5.0.1-beta5 op på en maskine hvor vi kan holde øje med hvad der faktisk sendes – eller ikke sendes – til BPI.

#29 Updated by Gitte Barlach 10 months ago

  • Status changed from Technical test to Needs code review
  • Assignee changed from Gitte Barlach to Jesper Kristensen

#30 Updated by Gitte Barlach 10 months ago

  • Assignee changed from Jesper Kristensen to Kasper Garnæs

#31 Updated by Kasper Garnæs 10 months ago

  • Status changed from Needs code review to Reviewed

Reviewed og godkendt.

#32 Updated by Gitte Barlach 10 months ago

  • Status changed from Reviewed to Technical test

#33 Updated by Gitte Barlach 10 months ago

Testet af flere testere og ad flere omgang via hhv upgrade-fbs (simulerer Aarhus) og gentofte-stg med 7.x-5.0.1-beta6 mod BPI-stg

a) deling af clonede nyheder er fortsat et problem som bekrevet tidligere. Vi vurderer dog at det ikke er så ofte at et bibliotek vil klone en nyhed og dernæst dele via BPI. Derfor opretter vi en ny sag til løsning i en senere release. 

b) ser ikke ud til at udgøre et problem længere. 
 

c) Kasper G har set på det, og fundet frem til at fejlen skyldes en mangel i mobilesearch-modulet. Værdien tages fra ting_agency, men sættes så i databasen og det kan ikke ændres fra admin grænsefladen. Det vil ikke engang hjælpe at deaktivere modulet og aktivere det igen. vi opretter en sag og får det løst i en senere release. (det er nok heller ikke så ofte at bibliotekerne vil gå ind og ændre i agency)

d) mja. Det ser ud til at virke. Dog har testerne været ud for at der enkelte gange sker et eller andet, så man ikke bliver præsenteret for BPI-formularen, som man skal udfylde, inden man sender. Fejlen er langt fra konsistent, og det er uklart hvornår det sker. Går man "tilbage" og udfylder den og sender igen, da er man ikke sikker på at billeder kommer med over i BPI. Kan måske være workflowmodulet der driller. Måske kan det endvidere også hænge sammen med at stg.bpi serveren er langsom til at svare og så får DDB CMS -  der i forvejen ikke håndterer fejl ift. BPI - måske ikke sat en korrekt status. 

e) har testerne ikke oplevet under seneste test-runde; men vi bør i en ny og bedre verden bygge bedre fejlhåndtering ind i BPI klienten i DDB CMS

f) har testerne ikke oplevet under seneste test-runde; hvis den begynder at optræde igen, opretter vi en sag på det

g) lignende fejl er ikke indtruffet under seneste test-runde. Godkendes derfor. 

 

#34 Updated by Gitte Barlach 10 months ago

  • Status changed from Technical test to Resolved (tag version)
  • Assignee changed from Kasper Garnæs to Gitte Barlach

Also available in: Atom PDF