zaterdag 16 april 2016

Constanly changing interfaces

I don't do blog posts often but i definitely feel the need to write this down.

Why do search interfaces change all the time, and so all of a sudden. People get used to working in a certain way, manuals are adapted to that, with convenient screen shots, sometimes even journal articles are written explaining steps to take (I am currently in the process of writing several). And then all of a sudden a database provider changes the interface of their database completely.

Today changed the interface of their thesaurus, emtree. I must say I am a big fan of, I could not do my job the way I do it without them, and their up until now great interface and relevance ranking.

An important part of my method, which is the topic of my upcoming thesis is collecting thesaurus terms and synonyms from the databases into a word document. Now in the first version of emtree that was there when I developed my method we could easily copy emtree terms. A few months ago they made some change, which make it much harder to copy terms, but I guess we could live with it, if that is what their users want.

Now today they really messed up. Terms can almost only be combined using the interface, synonyms are much harder to find (requiring many extra clicks), and worst of all emtree terms can only be searched using the exact given synonyms in the database. Searching for a part of the term that is not the beginning of the term does not retrieve that term (such as effectiveness does not retrieve clinical effectiveness, program effectiveness like it used to.

I can live with changes in databases if they change for the better, but this is making life much more complicated! Embase is in my opinion not a tool that is used a lot by end users answering clinical question, they use PubMed, no matter what embase does. Embase is used by information specialists in writing systematic reviews, and by medical docters who are more advanced searchers (have done a workshop on using embase).

I am thinking of switching to Ovid (never thought that would happen!)

woensdag 11 september 2013

De logica van de NS met aansluitende treinen : gebruik eens logs van!

Ik kan me er zo aan ergeren dat een willekeurige aansluitende trein wordt omgeroepen bij aankomst op een station.

Vanochtend kwam ik aan  met de 8:40 (gepland, hij was iets te laat) IC uit Gouda op Rotterdam CS. Daar werd doodleuk omgeroepen dat om 9:15! de sprinter naar Breda zou vertrekken van spoor 7.

Deze trein is de eerste verbinding naar Lage Zwaluwe en Breda-Prinsenbeek. De overige stations van deze trein worden allemaal door andere treinen sneller bereikt.

Mensen die in Lage Zwaluwe of Breda-Prinsenbeek moeten zijn, zullen vast geen overstap van meer dan 30 minuten inplannen, als je uit Utrecht komt neem je de trein van een half uur later, en als je uit Groningen komt, kun je de trein die een kwartier later aankomt nemen.

Waarom in vredesnaam dan deze omroep! Kan de NS dat zelf niet uit de log van de reisplanner op destilleren wat de meest opgevraagde overstap is van deze trein? Dat moet toch beter kunnen.

vrijdag 16 augustus 2013

Editors refuse to link an original article to a reply

A few months ago I wrote a reply to an article that has been published in the Breast. The original authors performed a meta-analysis without a proper search (they only searched PubMed, with very limited keywords, and instead included articles that did not meat the inclusion criteria).

Our reply was published in print before the original article. However, the original article was published with no mention of our reply, nor did the authors respond to our findings.

What followed were numerous e-mails to the editors and journal managers of the journal, to this date with no effect. They keep saying they cannot add a link to our reply to the original article as it has already been published. However, our article was published in print half a year before the original, so they must have had enough time to sort this out.

Replies are always written after the publication of the original article, how else could on opinion be formed? The original article should always be linked to the known replies, and published replies should always be answered by the original authors.

Or am I wrong?

dinsdag 5 maart 2013

Peer review by BMC gone really bad!

A recent article by Jean-Francois Gehanno et al in BMC Medical Informatics and Decision Making already gained a lot of attention, and may I say not in a positive way. The authors found all references from published systematic reviews in Google Scholar, and therefor concluded that 'if the authors of the 29 systematic reviews had used only GS, no reference would have been missed'.

When I investigated this deeper I ran across the peer reviewers' comments, and found out that they were not all that enthousiast either.

The peer review process

I wanted to write a comment to the journal, but other comments had already been sent with equal contents, so I did not do that. But when I investigated the proces a bit more I came across some interesting points in the peer review process.

On the BMC website you can review the prepublication history of this article. One of the reviewers (Miguel García-Pérez) concludes that 'No revision (major, minor, or discretionary) will save this work'. Reviewer number 2 (Henrik von Wehrden) only comments: 'Great job on that short yet highly interesting manuscript'. Of course the authors agree with reviewer von Wehrden and only apply those minor changes that he deems necessary.

The different opinions of the reviewers can be traced back to their background. MA Garcia-Perez has written 8 reviews according to Pubmed, H von Wehrden 0. If you are not experienced in writing systematic reviews how can you have an informed opinion on this topic.

Now what would you expect an editor of the journal to do? If two reviewers so strongly disagree you need to have a third independent opinion. The editors decide to publish this article without further reviewing.

What would a per reviewer with lots of Systematic Review experience be able to tell the editors?
  • When searching Google scholar your search is limited to 256 characters. Most searches for systematic reviews are very long and complex and do not fit
  • Because you cannot truncate, nor use a controlled vocabulary using google scholar you would need much more word variants than in a regular database, thus exceeding the 256 limits far more easy
  • You can only view the first 1000 hits, based on the relevance ranking of scholar
  • You cannot export your complete resultset, but only per record.
  • You cannot replicate your search, another reviewer might find completely other results
  • You cannot be sure what the contents at the search date were because you cannot limit your google scholar search to a certain date.
  • etc etc etc
So there's no discussion this paper is not very useful and helpful. In stead: if managers of large academic hospitals read this they might be tempted to drop all budget for expensive search engines, because everyone can find everything in google. Or reviewers might be tempted to only use google scholar for their searches, because eveything is in there.

That would be the only way to test if google scholar can replace all other databases: by performing two systematic reviews at the same time on the same topic: one using all databases that are regularly used, and one using google scholar, and then compare the quality.

So in stead of using only google scholar, we information specialist stick to our primary databases: PubMed, embase, cochrane etc. Only those can give a complete and systematic overview of the literature on a certain topic.

woensdag 18 juli 2012

Hausner - text mining tools (CEC A3 #eahil2012)

Elke Hausner - IQWIG (Duitsland)
(information specialist)

iqwig doet text analysis voor alle databases door elkaar en dan per database ook nog speciaal voor de trefwoorden.

makkelijke tools om te gebruiken: 

terms list kun je gebruiken voor frequency counts, ook mogelijk om meerder velden te combineren, bijvoorbeeld ti,ab,kw samen.
IQWIG gebruiken ze endnote om keywords in analyseren.

text analysis is only as good as the references you analyze.
divide set in two sets. randomly. elke soms al met kleine sets, 40-50 is eigenlijk wel redelijk genoeg.
randomizer recordnumbers: te gebruiken om in endnote te randomiseren (maar voor erg grote aantallen en ontbrekende recordnummers niet goed mee te werken).
 endnote > tools > bibliography kun je exporteren een frequency count naar excel, maar je moet dan nog wel zelf bekijken welke trefwoorden je wilt gebruiken.
tips voor pubreminer: zet word analyse om in ti_ab en niet ook met tw veld. pubreminer ook handig voor mesh terms, maar elke doet dat nu in endnote.

ANTCONC (freeware)
om de meest voorkomende vrije tekst woorden te analyseren. makkelijk in gebruik, vereist niet veel technische kennis.
vraag om toestemming als je het in een organisatie wilt gebruiken, Laurence Anthony heeft het ontwikkeld. welke woorden staan links en rechts van een bepaald woord, concordance tool.
start in endnote, exporteer referenties naar ANTconc, (tekst in meerder bestanden gesplitst met textwedge). vandaaruit ga je naar excel, en dat check je met OvidSP (MedLine)

vanuit excel kijk je welke woorden mogelijk interessant zijn, die woorden bekijk je in AntConc om te zien welke woorden er voor of achter staan, en neemt dat weer mee naar excel.

output van endnote in title abstract achter elkaar, met regeleinde, textwedge breekt ze uit elkaar in verschillende tekstbestanden met steeds een record per bestand.
voegt en extra spatie in in plaats van de leestekens.

bekijken van een woord dat je interessant vindt, welke woorden je vindt links en rechts ervan. handmatig per woord. kost wel veel tijd, en lastig dat niet automatisch gebeurt.

antconc analyseert de frequentie in zijn geheel, maar niet per record. als een record een bepaalde term heel vaak bevat wordt het heel vaak meegetelt. de frequentie gaat niet over hoeveel artikelen een bepaald woord bevatten, maar over hoevaak een woord voorkomt in het geheel van alle teksten.dat is eigenlijk dan de verkeerde analyse.

doet aan wordstemming, AntConc niet.
kost wel geld: tussen 1000-2000 euro. julie glanville werkt altijd met wordstat.
SimStat / WordStat, net als R een statisch pakket.
handig is dat je geen text files hoeft te splitten.
population set importeren in wordstat gaat heel snel, itt tm.

demo versie die je 30 dagen zou kunnen gebruiken. grafische interface werk toch niet zo fijn als elke had gehoopt, niet zo goed als gedacht.

tm in R  
is gratis, maar erg gecompliceerd.
R is een statistiek programma. Biostatistiek kent het bij ons vast wel. De ontwikkelaar gebruikt het niet op de manier waarop IQKIG gebruikt wordt, zijn enthousiaste mensen nodig. om er aan te werken.
lastig om te leren, met command line, geen user interface
wordt constant geupdate (open source software)
identifying overrepresented terms, en removing irrelevant terms.

tinn-R text editor om de command lines in te voeren.

wat tm wel doet is de frequency per article, not in total
random sample niet in het systeem gezet, maar zelf gecreeerd met pubmed, alles van een bepaalde tijd downloaden en bioinformatica of biostatistiek vragen daar een random sample van te nemen. duurt wel lang om in te lezen.
sorteren op sensitivity in population set, omgekeerd, welke woorden komen maar heel weinig voor? maar komen wel vaak voor in onze ontwikkelset?

tm kan geen phrases herkennen. vanuit tm ga ja dan nog naar antconc voor de phrases.

theoretisch verhaal

wat is een test set: gouden standaard om een strategy te genereren en om te valideren.
handmatig doorzoeken, kost wel tijd, en de reviewer is daar veel tijd mee bezig.
maar alternatief (jenkins, 2004, health info lib):
zoek naar systematic reviews, en gebruik daar de includes van
of gebruik de related articles van een aantal key articles in pubmed.

amstar oxman & guyat index: checklist gevalideerd voor kwaliteit van SR

pubmed verrast me weer eens: ATM op mesh terms niet tussen quotes

Ik kwam er gisteren achter dat pubmed weer eens iets veranderd heeft, wat volgens mij nog niet zo was.

Ik heb vaak als voorbeeld tegen ATM een zoekactie naar kenmerken van rode bloed cellen. met red blood cells vind je teveel ruis (vanwege de explode van erythrocytes en erythrocyte count, met red blood cell* mis je teveel, dus ik zeg altijd gebruik

erythrocytes[mesh:noexp] OR erythrocyte*[tiab] OR red blood cell*[tiab]

Nu kwam daar gisteren in de cursus door dat ik het via de mesh opbouwde quotes om de mesh term te staan, een cursist vroeg of dat uitmaakte, ik zeg nee hoor. DUS WEL!

"erythrocytes"[mesh:noexp] OR erythrocyte*[tiab] OR red blood cell*[tiab] 197070
erythrocytes[mesh:noexp] OR erythrocyte*[tiab] OR red blood cell*[tiab] 202355

Wat gebeurt er: erythrocytes[mesh:noexp] wordt vertaald in: "erythrocytes"[MeSH Terms:noexp] OR "erythrocyte count"[MeSH Terms:noexp]
En laten we nou juist die erythrocyte count willen vermijden, omdat het hier om eigenschappen van rode bloed cellen ging, en niet om eigenschappen van patienten.

In een vergelijkbaar geval wordt
dementia[mesh:noexp] vertaald in ("dementia"[MeSH Terms:noexp] OR "alzheimer disease"[MeSH Terms:noexp])

Ik zeg in mijn PubMed cursussen altijd dat wanneer je veldnamen gebruikt dat dan geen ATM wordt uitgevoerd, maar dat blijkt dus niet zo te zijn, terwijl ik altijd zeg dat je geen quotes nodig hebt om frases bij elkaar te houden omdat als je veldnamen gebruikt en truncatie automatisch de phrase bij elkaar wordt gehouden, maar moet er weer een extra uitzondering bij opnemen
(naast die uitzondering van de mesh term die haakjes bevat, zoals "handling (psychology)"[mesh], 1675 hits, waar je als je geen quotes gebruikt zoekt op handling[all fields] AND psychology[allfields] AND mesh[all fields], 6 hits)

N.B. Als ik nog vollediger zou willen zijn kom ik overigens meer op
"erythrocytes"[mesh:noexp] OR erythrocyte*[tiab] OR red blood cell*[tiab] OR red bloodcell*[tiab] OR (((RBC[tiab] OR RBCs[tiab]) AND blood[tiab]) NOT RBC count*[tiab]) uit, maar dat wordt toch wat ingewikkeld voor de cursisten, hoewel ik de verschillende elementen allemaal wel uitleg

woensdag 13 juni 2012

web&z - 12 juni 2012 - Medisch Centrum Alkmaar

(aantekeningen zijn meteen op eigen situatie toegepast)

Marjan Bakker - MCL
bibliotheek in foreest medical school, grotere afstand minder toegankelijk voor de clinici. ook iets om rekening mee te houden in rotterdam.

Alice Lugthart - docent verpleegkunde
geeft workshops aan vakdocenten.
boekje : Karin de Galan: 'van deskundige naar trainer'
deskundige wil in zijn rol als trainer vaak heel veel vertellen, alles wat in je rugzak zit, en toehoorders haken af, omdat het hun boven de pet gaat.
confronteren met moeilijke situatie: wetenschapper denkt: ik kan al zoeken, dus ben niet geinteresseerd. verleiden om te willen leren.
voor ons: begeleiden bij opdrachten: ter plekke zoeken in databases terwijl informatiespecialisten erbij rondlopen en vragen beantwoorden. 
op een andere manier lesgeven levert veel meer betrokkenheid op bij de lessen. groepsgrootte max 15 man, gemiddeld zo'n 10 personen. verpleegkundigen laten zoeken met pubmed blijft lastig. zijn huiverig om engels te lezen, google is veel makkelijker.
Idee: in de uitnodigingen al aangeven wat de 'glijbaan' is (mensen meenemen en uitleggen waarom voor hen deze cursus interessant is). ook differentieren tussen de verschillende doelgroepen.

Bianca Kramer - zoekactie CATs
Zoekvraag: 'Wat zijn de belangrijkste risicofactoren voor het optreden van complicaties bij zwangeren met pre-eclampsie?'
Bianca krijgt veel prognostische vragen. veel voor syst revs. zijn die clinical queries in pubmed bruikbaar? met een therapeutische pico neem je nooit de O mee, dat geeft bias.
Doen: maak overzicht wanneer gebruik je welke onderdelen. PO met M etc?

Olga van Dijk - ELO PubMed
ELO's bieden mogelijkheden om in eigen leerstijl te werken. eerst theorie of direct aan de slag met opdrachten. systeem: PulseWeb. bedoeld voor co-assistenten: waar vind ik mesh, hoe zoeken in title abstract, (co's komen vooral uit Groningen, hoe wordt daar het onderwijs gegeven? kan ook zijn dat groningen alleen op OvidSP Medline gericht is)
Kunnen wij de ELO niet opnemen in onze basis cursussen, zodat iedereen hetzelfde instap niveau heeft op dat vlak? 
MCL werkt op die manier, iedereen die een cursus doet moet deze ELO hebben doorlopen. moet je het wel opnemen in je eigen pulseweb systeem, of uitwisselen van scorm bestanden.
Nadenken voor ons: is dan hebben PhD's die dat dan volgen niet het idee dat ze nu al alles weten over PubMed? en komen ze dan nog wel naar de echte cursus? 
Belangrijke vraag is: kun je het ook sneller doorlopen als je al veel kennis hebt, kun je meteen de toets doen om te kijken wat je niveau is, en krijg je dan heel gericht tips: volg dit nog een keer. Dat lijkt mij een belangrijk punt voor inbedding in Erasmus MC werkwijze.
screencast filmpjes gemaakt. voor ons ook een idee!
Op PubMed-toets van waleus.

René Otten - CAT richtlijnen

CCMS voorschriften. Bij VU gebruikelijk om iedereen die een CAT doet bij een clinical librarian langskomt. CCMS (10 specialisten) gaat kader aangeven voor CATs, maar daarbij is geen clinical librarian bij betrokken. We gaan een A4tje doorgeven aan die 10 specialisten (met toestemming van de cambin)

Hans Ket - Artikel Hoogendam
JMLA (PMC tijdschrift)
Alice Tillema heeft er aan meegewerkt en staat in de acknowledgements. maar slechts zeer beperkt, ze was niet betrokken bij de PubMed of PICO instructies.
vergelijking tusseen een PICO zoekactie en een ongeorganiseerde zoekactie zoals artsen die niet door ons zijn opgeleid doen. conclusies lijken te zeggen dat het niet uitmaakt of je pico doet of niet.
verkeerde conclusies: je moet pico niet je zoektermen laten bepalen, dat weten wij al lang. veel kritiek op te leveren.
recall en precision ook opnemen in je systematische zoekactie cursussen. recall is het percentage van de gouden standaard, dat je hebt gevonden. precision is verhouding tussen het aantal treffers en het aantal relevante treffers. 
evidence based searching. hans wil daar een artikel over schrijven. wat is goed zoeken, hoeveel tijd, hoeveel bronnen, welke zoektechnieken.

René Otten - review cursus wiki
in het verleden was er een wiki afgeschermd. nu gratis toegankelijk op (nog niet, komt). helemaal engelstalig.
idee: kan wos of scopus niet bekijken hoeveel artikelen uit een set een bepaald artikel selecteren, en daarop soreteren

Jacueline Limpens - Filters voor SR's
elke database heeft zijn eigen index termen, pubmed filters niet een op een naar embase verplaatsen
drie generaties filters:
1 subjectief bepaald door informatiespecialist of onderzoeker
2 getest op een set
3 een bepaalde set artikelen analyseren welke termen het meest discriminerend zijn, en deze ook weer testen op een ander gouden standaard
Jenkins, 2004
het is niet zozeer dat de 3e generatie beter is dan de 1e. want voor voor systematic reviews wil je sensitivity maximisers (alle relevante liteartuur). voor CATs juist precision maximisers: NNR (Number Needed to Read) verminderen
Cochrane RCT filters geven wel veel ruis, vroeger veel gebruikt, nu niet meer zo. Zijn in principe vooral subjectief gevonden, en werkte eigenlijk wel goed, pas later gevalideerd
hoe valideren: 160 journals voor het jaar 2000 handmatig doorgenomen. en vergelijken
objectieve filters houden vaak geen rekening met explosie en zinnen, maar enkele woorden
validatie is geen toverwoord, gevalideerd wil niet zeggen dat je het niet moet aanpassen.
het maakt uit waar je het op test en hoe je het vergelijkt. bekijk ook het doel van de filters. verandert ook in de tijd, want mesh termen veranderen.
 in pubmed nu ook trial registrernumber opgenomen. als je trials zoekt ook dat meenemen, als iets een registratienummer heeft is het een trial.

als je zoekt voor een SR, gebruik je dan een filter, en zo ja welk?
NOT mag je wel gebruiken, maar je moet het kunnen verantwoorden.
Ook cochrane searches bevatten soms heel slechte zoekacties.
acknowledgements of co-auteur: wanneer zoekacties langer duren dan 2-3 dagen. een middag of dag is gratis service, als je er veel aan bijdraagt ben je mede-auteur (dan schrijf je ook de materialen en methoden)

eerst filter voor SR's om te kijken wat anderen daar al voor hebben gedaan, daarna filter voor individuele trials HSSS van cochrane, maar soms ook andere typen vraag bij SR filter, wil ik alleen SR's vinden, of alle geaggregeerde evidence?
SIGN filter
probleem is dat een bepaald aspect vaak niet in het abstract wordt opgenomen. maar wel uitkomst is bij een RCT. daarom dan dat element achterwege laten en dan RCT's filteren.

aantal hits
wees niet bang voor 1000-5000 hits.
tip: zeg 1000 titels screen je tijdens ajax feyenoord, maar 1000 records minder geven kost ons een dag extra tijd.
zoekfilters staan op intertasc
Binnen AMC zoekacties zijn zoekacties verzameld op het intranet en wanneer je op de link klinkt kom je meteen op de pubmed zoekactie
goede intake met de aanvrager is waardevol, is het een prognistische vraag of een therapeutische vraag of harm etc...

voor aanvullingen naast MedLine uit PubMed gebruik je beter AND publisher[sb] in plaats van NOT medline[sb], want anders teveel ruis met oude artikelen

cursus didactische vaardigheden aan de VU komend najaar.