Constanly changing interfaces

I don't do blog posts often but i definitely feel the need to write this down.

Why do search interfaces change all the time, and so all of a sudden. People get used to working in a certain way, manuals are adapted to that, with convenient screen shots, sometimes even journal articles are written explaining steps to take (I am currently in the process of writing several). And then all of a sudden a database provider changes the interface of their database completely.

Today embase.com changed the interface of their thesaurus, emtree. I must say I am a big fan of embase.com, I could not do my job the way I do it without them, and their up until now great interface and relevance ranking.

An important part of my method, which is the topic of my upcoming thesis is collecting thesaurus terms and synonyms from the databases into a word document. Now in the first version of emtree that was there when I developed my method we could easily copy emtree terms. A few months ago they made some change, which make it much harder to copy terms, but I guess we could live with it, if that is what their users want.

Now today they really messed up. Terms can almost only be combined using the interface, synonyms are much harder to find (requiring many extra clicks), and worst of all emtree terms can only be searched using the exact given synonyms in the database. Searching for a part of the term that is not the beginning of the term does not retrieve that term (such as effectiveness does not retrieve clinical effectiveness, program effectiveness like it used to.

I can live with changes in databases if they change for the better, but this is making life much more complicated! Embase is in my opinion not a tool that is used a lot by end users answering clinical question, they use PubMed, no matter what embase does. Embase is used by information specialists in writing systematic reviews, and by medical docters who are more advanced searchers (have done a workshop on using embase).

I am thinking of switching to Ovid (never thought that would happen!)

Peer review by BMC gone really bad!

A recent article by Jean-Francois Gehanno et al in BMC Medical Informatics and Decision Making already gained a lot of attention, and may I say not in a positive way. The authors found all references from published systematic reviews in Google Scholar, and therefor concluded that 'if the authors of the 29 systematic reviews had used only GS, no reference would have been missed'.

When I investigated this deeper I ran across the peer reviewers' comments, and found out that they were not all that enthousiast either.

The peer review process

I wanted to write a comment to the journal, but other comments had already been sent with equal contents, so I did not do that. But when I investigated the proces a bit more I came across some interesting points in the peer review process.

On the BMC website you can review the prepublication history of this article. One of the reviewers (Miguel García-Pérez) concludes that 'No revision (major, minor, or discretionary) will save this work'. Reviewer number 2 (Henrik von Wehrden) only comments: 'Great job on that short yet highly interesting manuscript'. Of course the authors agree with reviewer von Wehrden and only apply those minor changes that he deems necessary.

The different opinions of the reviewers can be traced back to their background. MA Garcia-Perez has written 8 reviews according to Pubmed, H von Wehrden 0. If you are not experienced in writing systematic reviews how can you have an informed opinion on this topic.

Now what would you expect an editor of the journal to do? If two reviewers so strongly disagree you need to have a third independent opinion. The editors decide to publish this article without further reviewing.

What would a per reviewer with lots of Systematic Review experience be able to tell the editors?

• When searching Google scholar your search is limited to 256 characters. Most searches for systematic reviews are very long and complex and do not fit
• Because you cannot truncate, nor use a controlled vocabulary using google scholar you would need much more word variants than in a regular database, thus exceeding the 256 limits far more easy
• You can only view the first 1000 hits, based on the relevance ranking of scholar
• You cannot export your complete resultset, but only per record.
• You cannot replicate your search, another reviewer might find completely other results
• You cannot be sure what the contents at the search date were because you cannot limit your google scholar search to a certain date.
• etc etc etc

So there's no discussion this paper is not very useful and helpful. In stead: if managers of large academic hospitals read this they might be tempted to drop all budget for expensive search engines, because everyone can find everything in google. Or reviewers might be tempted to only use google scholar for their searches, because eveything is in there.

That would be the only way to test if google scholar can replace all other databases: by performing two systematic reviews at the same time on the same topic: one using all databases that are regularly used, and one using google scholar, and then compare the quality.

So in stead of using only google scholar, we information specialist stick to our primary databases: PubMed, embase, cochrane etc. Only those can give a complete and systematic overview of the literature on a certain topic.

web&z - 12 juni 2012 - Medisch Centrum Alkmaar

(aantekeningen zijn meteen op eigen situatie toegepast)

Marjan Bakker - MCL
bibliotheek in foreest medical school, grotere afstand minder toegankelijk voor de clinici. ook iets om rekening mee te houden in rotterdam.

Alice Lugthart - docent verpleegkunde
geeft workshops aan vakdocenten.
boekje : Karin de Galan: 'van deskundige naar trainer'
deskundige wil in zijn rol als trainer vaak heel veel vertellen, alles wat in je rugzak zit, en toehoorders haken af, omdat het hun boven de pet gaat.
confronteren met moeilijke situatie: wetenschapper denkt: ik kan al zoeken, dus ben niet geinteresseerd. verleiden om te willen leren.
voor ons: begeleiden bij opdrachten: ter plekke zoeken in databases terwijl informatiespecialisten erbij rondlopen en vragen beantwoorden. 
op een andere manier lesgeven levert veel meer betrokkenheid op bij de lessen. groepsgrootte max 15 man, gemiddeld zo'n 10 personen. verpleegkundigen laten zoeken met pubmed blijft lastig. zijn huiverig om engels te lezen, google is veel makkelijker.
Idee: in de uitnodigingen al aangeven wat de 'glijbaan' is (mensen meenemen en uitleggen waarom voor hen deze cursus interessant is). ook differentieren tussen de verschillende doelgroepen.

Bianca Kramer - zoekactie CATs
Zoekvraag: 'Wat zijn de belangrijkste risicofactoren voor het optreden van complicaties bij zwangeren met pre-eclampsie?'
Bianca krijgt veel prognostische vragen. veel voor syst revs. zijn die clinical queries in pubmed bruikbaar? met een therapeutische pico neem je nooit de O mee, dat geeft bias.
Doen: maak overzicht wanneer gebruik je welke onderdelen. PO met M etc?

Olga van Dijk - ELO PubMed
ELO's bieden mogelijkheden om in eigen leerstijl te werken. eerst theorie of direct aan de slag met opdrachten. systeem: PulseWeb. bedoeld voor co-assistenten: waar vind ik mesh, hoe zoeken in title abstract, (co's komen vooral uit Groningen, hoe wordt daar het onderwijs gegeven? kan ook zijn dat groningen alleen op OvidSP Medline gericht is)
Kunnen wij de ELO niet opnemen in onze basis cursussen, zodat iedereen hetzelfde instap niveau heeft op dat vlak? 
MCL werkt op die manier, iedereen die een cursus doet moet deze ELO hebben doorlopen. moet je het wel opnemen in je eigen pulseweb systeem, of uitwisselen van scorm bestanden.
Nadenken voor ons: is dan hebben PhD's die dat dan volgen niet het idee dat ze nu al alles weten over PubMed? en komen ze dan nog wel naar de echte cursus? 
Belangrijke vraag is: kun je het ook sneller doorlopen als je al veel kennis hebt, kun je meteen de toets doen om te kijken wat je niveau is, en krijg je dan heel gericht tips: volg dit nog een keer. Dat lijkt mij een belangrijk punt voor inbedding in Erasmus MC werkwijze.
screencast filmpjes gemaakt. voor ons ook een idee!
Op medischonderwijs.nl PubMed-toets van waleus.

René Otten - CAT richtlijnen

CCMS voorschriften. Bij VU gebruikelijk om iedereen die een CAT doet bij een clinical librarian langskomt. CCMS (10 specialisten) gaat kader aangeven voor CATs, maar daarbij is geen clinical librarian bij betrokken. We gaan een A4tje doorgeven aan die 10 specialisten (met toestemming van de cambin)

Hans Ket - Artikel Hoogendam
JMLA (PMC tijdschrift)
Alice Tillema heeft er aan meegewerkt en staat in de acknowledgements. maar slechts zeer beperkt, ze was niet betrokken bij de PubMed of PICO instructies.
vergelijking tusseen een PICO zoekactie en een ongeorganiseerde zoekactie zoals artsen die niet door ons zijn opgeleid doen. conclusies lijken te zeggen dat het niet uitmaakt of je pico doet of niet.
verkeerde conclusies: je moet pico niet je zoektermen laten bepalen, dat weten wij al lang. veel kritiek op te leveren.
recall en precision ook opnemen in je systematische zoekactie cursussen. recall is het percentage van de gouden standaard, dat je hebt gevonden. precision is verhouding tussen het aantal treffers en het aantal relevante treffers. 
evidence based searching. hans wil daar een artikel over schrijven. wat is goed zoeken, hoeveel tijd, hoeveel bronnen, welke zoektechnieken.

René Otten - review cursus wiki
in het verleden was er een wiki afgeschermd. nu gratis toegankelijk op webcursus.ubvu.nl (nog niet, komt). helemaal engelstalig.
idee: kan wos of scopus niet bekijken hoeveel artikelen uit een set een bepaald artikel selecteren, en daarop soreteren

Jacueline Limpens - Filters voor SR's
elke database heeft zijn eigen index termen, pubmed filters niet een op een naar embase verplaatsen
drie generaties filters:
1 subjectief bepaald door informatiespecialist of onderzoeker
2 getest op een set
3 een bepaalde set artikelen analyseren welke termen het meest discriminerend zijn, en deze ook weer testen op een ander gouden standaard
Jenkins, 2004
het is niet zozeer dat de 3e generatie beter is dan de 1e. want voor voor systematic reviews wil je sensitivity maximisers (alle relevante liteartuur). voor CATs juist precision maximisers: NNR (Number Needed to Read) verminderen
Cochrane RCT filters geven wel veel ruis, vroeger veel gebruikt, nu niet meer zo. Zijn in principe vooral subjectief gevonden, en werkte eigenlijk wel goed, pas later gevalideerd
hoe valideren: 160 journals voor het jaar 2000 handmatig doorgenomen. en vergelijken
objectieve filters houden vaak geen rekening met explosie en zinnen, maar enkele woorden
validatie is geen toverwoord, gevalideerd wil niet zeggen dat je het niet moet aanpassen.
het maakt uit waar je het op test en hoe je het vergelijkt. bekijk ook het doel van de filters. verandert ook in de tijd, want mesh termen veranderen.
 in pubmed nu ook trial registrernumber opgenomen. als je trials zoekt ook dat meenemen, als iets een registratienummer heeft is het een trial.

als je zoekt voor een SR, gebruik je dan een filter, en zo ja welk?
NOT mag je wel gebruiken, maar je moet het kunnen verantwoorden.
Ook cochrane searches bevatten soms heel slechte zoekacties.
acknowledgements of co-auteur: wanneer zoekacties langer duren dan 2-3 dagen. een middag of dag is gratis service, als je er veel aan bijdraagt ben je mede-auteur (dan schrijf je ook de materialen en methoden)

eerst filter voor SR's om te kijken wat anderen daar al voor hebben gedaan, daarna filter voor individuele trials HSSS van cochrane, maar soms ook andere typen vraag bij SR filter, wil ik alleen SR's vinden, of alle geaggregeerde evidence?
SIGN filter
probleem is dat een bepaald aspect vaak niet in het abstract wordt opgenomen. maar wel uitkomst is bij een RCT. daarom dan dat element achterwege laten en dan RCT's filteren.

aantal hits
wees niet bang voor 1000-5000 hits.
tip: zeg 1000 titels screen je tijdens ajax feyenoord, maar 1000 records minder geven kost ons een dag extra tijd.
zoekfilters staan op intertasc
Binnen AMC zoekacties zijn zoekacties verzameld op het intranet en wanneer je op de link klinkt kom je meteen op de pubmed zoekactie
goede intake met de aanvrager is waardevol, is het een prognistische vraag of een therapeutische vraag of harm etc...

voor aanvullingen naast MedLine uit PubMed gebruik je beter AND publisher[sb] in plaats van NOT medline[sb], want anders teveel ruis met oude artikelen

--mededelingen--
cursus didactische vaardigheden aan de VU komend najaar.

Literatuurzoeken: het probleem van afkortingen

Ik deed onlangs een zoekactie naar sentinel (lymph) node. Omdat ik ervan uitga dat een afkorting nooit gebruikt mag worden wanneer je niet eerst de volledige term hebt uitgeschreven volstond

sentin* NEAR/3 node*

Echter omdat ik zo weinig hits kreeg (met twee andere elementen erbij slecht 12 in PubMed) ging ik wat verder puzzelen, en zocht ik of sentinel ook zonder node* voorkwam. Toen kwam ik een aantal artikelen tegen met de tekst 'sentinel LNs'. Lymph Node was al eens eerder genoemd in de samenvatting, en nu ging het over de sentinel vorm.

Had ik dit artikel toch bijna gemist.

Iets dergelijk overkwam mij met de Clock Drawing Test. De afkorting CDT kan veel betekenissen hebben en is dus niet bruikbaar maar er was wel een hoog relevant artikel dat ik niet wilde missen, zonder teveel ruis te krijgen. Ik zocht daarom op:

CDT AND (clock* OR draw*)

Op die manier kun je toch de juiste afkortingsbetekenis selecteren. Het had in het eerste geval overigens niet geholpen, want de afkorting SLN was nergens in gebruik.

Dan kom ik wel weer op een artikel waar dan staat 'Sentinel (first tumor-draining) lymph node (SLN) biopsy'. Ja als auteurs dan zo ingewikkeld gaan doen moet je niet klagen dat je artikel niet gevonden wordt ;-)

Refworks niet geschikt voor het echte werk

Als informatiespecialist help ik meerdere keren per week klanten regelmatig met het uitvoeren van literatuuronderzoek voor systematic reviews. Hiervoor importeer ik grote aantallen referenties uit PubMed, Embase en nog wat meer databanken, dedupliceer die in EndNote en geef het bestand mee aan de klant, de onderzoeker die de systematic review gaat uitvoeren.

Veel universiteiten stappen momenteel over op RefWorks. Het biedt veel voordelen waarvan de grootste is dat het volledige webbased is. Ook zou het gebruiksvriendelijker zijn omdat je met direct export een directe koppeling hebt, zonder tussenbestand.

Echter het werk als informatiespecialist is het niet werkbaar. Importeren gaat erg traag, wanneer je voor een systematic review duizenden records moet inlezen kan dat wel een kwartier duren (terwijl de klant zit te wachten). Dedupliceren kan vervolgens op twee manieren, exact of globaal. Bij exact moeten de records exact overeenkomen, wat bij importeren uit twee databases nooit het geval is. PubMed schrijft tijdschrifttitels afgekort (J Am Med Ass), Embase voluit (Journal of the American Medical Association, of JAMA), PubMed kort paginanummers af (145-8) Embase schrijft ze voluit (145-148), PubMed kent maar twee voorletters per auteur, andere databases geven ze allemaal (om nog maar niet te spreken van namen als L. Huang.en H.Li die na onderzoek ook gelijk blijken).

In EndNote dedupliceren we daarom in meerdere stappen: eerst op auteur, jaartal, titel en pagina (de paginanummers kunnen we daar met een foefje omzetten zodat ook de PubMed records niet afkorten), vervolgens gaan we met de velden spelen, zodat uiteindelijk alle dubbelen verdwenen zijn. Wanneer je in Refworks globaal dedupliceert vind je erg veel gelijkende records toch niet hetzelfde zijn. Enorm veel werk om dat allemaal te controleren.

Het werken voor meerdere klanten is niet gemakkelijk. Je kunt folders maken, geen aparte bestanden. Oplossing zou dan zijn om de klant te laten inloggen op zijn eigen RefWorks account, en daar het importeren te doen. Het dedupliceren gaat echter over de hele database, niet per folder. Wanneer de klant bezig is met onderzoek heeft hij/ zij vast al relevante literatuur verzameld en is de klant groot dat een deel daarvan ook in deze zoekactie naar voren zal komen. Met dedupliceren haal je dan de nieuwste records weg, waardoor de aantallen die je in je artikel noemt niet meer kloppen.

Ik ben heel blij dat wij bij het Erasmus MC nog steeds EndNote kunnen gebruiken, en verkondig dat ook aan iedereen die ik over de grote voordelen van RefWorks hoor praten. Een oproep aan alle universiteiten daarom: denk na voordat je overstapt op RefWorks. Maak de grootverbruiker het werk niet onmogelijk.

Meneer van Dalen zoekt anders in PsycInfo

Meneer Van Dalen Wacht Op Antwoord is bekend in de wiskunde. Ook in zoekacties van databases geldt iets dergelijks bij de volgorde van Booleaanse operatoren. OR wordt in de regel afgehandeld voor AND.

Ik had een fout gemaakt in een zoekactie. Op twee pagina's met termen ontbrak een klein woordje OR, die werd dan automatisch en onzichtbaar vervangen door een AND. Maar daardoor kwam ik er achter dat PsycInfo het blijkbaar anders ziet. Invullen van het ontbrekende OR leverde maar 3 hits meer, terwijl in PubMed en Embase in plaats van 500 meer dan 3000 artikelen werden gevonden.

Blijkbaar ziet PsycInfo A OR B C OR D als A OR (B AND C) OR D, terwijl PubMed en Embase er (A OR B) AND (C OR D) in lezen. Vreemd! Het blijft dus zaak je haakjes goed te plaatsen.

PubMed en alternatieve geneeskunde, geen succes

Ik deed vandaag voor een klant een literatuuronderzoek naar alternatieve geneeswijzen bij Sjögren. In PubMed resulteerde dat in 18 artikelen. Embase daarentegen kwam met 300 artikelen. Wat een enorm verschil. Blijkbaar is alternatieve geneeskunde bij PubMed nog niet zo geaccepteerd als bij Embase.

Overigens ook niet zo bij de Nederlandse professie, als je ziet wat de klant onlangs allemaal bij haar promoite over zich heen heeft gekregen (ik noem uit privacy overwegingen geen namen).