Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Zoeken, vinden, en
aanbevelen:
personalisatie vs. privacy
David Graus
@dvdgrs
VOGIN-IP-lezing / 28 maart 2018
Wie ben ik?
Wie ben ik?
Wie ben ik?
Wie ben ik?
Vandaag
1. Inleiding

a. Wat is personalisatie?

b. Waarom?

2. Inhoud: Hoe personalisatie?

3. De filter bubbel bestaat n...
1a. Wat is personalisatie?
Personalized results
Personalisatie is:
• Zoeken en vinden

• op basis van persoonlijke {context, voorkeuren, smaak,
profiel}
1b. Waarom personaliseren?
1: het MOET
1: het MOET
• Relevantie van zoekresultaten is:

• Subjectief [low inter-annotator agreement]
• Afhankelijk van (voor)kenn...
1: het MOET
• Hoeveelheid data

• “High-precision” search
Personalized results
2: het is GOED
• Iedereen wint: 

• “Consument” 

• “Discover items you might not have found otherwise”
• “Producent”

• V...
https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters
https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters
Click through A/B-test groups
https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters
https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters
Samenvattend
• Personalisatie moet: 

• Relevantie is persoonsgebonden & contextafhankelijk.

• Noodzakelijk om dingen te ...
2. Hoe?
User profiling!
I. Content-based
• Op basis van (meta)data van items
Content-based op basis
van gebruikersprofiel
Content-based op basis
van gebruikersprofiel
Users Items
RecSys
MatchingUser Profile Item profile
Users
User Profile
Qualcomm krijgt bijna €1 mrd
boete van Brussel
Tags: Boete, Chips, EU, Mededinging, …
Rubriek: Ondernem...
Users
User Profile
Qualcomm krijgt bijna €1 mrd
boete van Brussel
Tags: Boete, Chips, EU, Mededinging, …
Big Data, Blog, D...
Users Items
RecSys
Matching
0.352
0.795
0.125
0.643
Content-based op basis
van gebruikersprofiel
II. Collaborative Filtering
Make predictions (“filtering”) about the interests of a user, by
collecting preferences from m...
Collaborative Filtering
Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346
Collaborative Filtering
Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346
Collaborative Filtering
Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346
Collaborative Filtering
Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346
Collaborative Filtering
Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346
Collaborative Filtering
• Voordelen:

• Surprising effect
• Nadelen:

• Veel ‘gedrag’ nodig

• “Cold start”
III. Evalueer+leer
• Korte termijn: Genereer rankings op basis van
voorspellingen, meet ‘kwaliteit’

• Lange(re) termijn: ...
Samenvattend
• Schat voorkeuren in op basis van gedrag;

• Van één gebruiker

• Van een groep/alle gebruikers

• Voorspel ...
What about
the Filter Bubbel?
By Knight Foundation - Eli Pariser, author of The Filter Bubble, 

CC BY-SA 2.0, https://com...
Filter bubbel
“A filter bubble is a state of intellectual isolation that can
result from personalized searches when a
webs...
Filter bubbel
“Users become separated from information that disagrees
with their viewpoints, effectively isolating them in...
De filterbubbel
bestaat niet!
1. Moeten we ons zorgen
maken?
1. Moeten we ons zorgen
maken?
[We] focus on empirical evidence of the spread of
personalised news services and its likely...
1. Moeten we ons zorgen
maken?
• Het blijkt moeilijk jezelf volledig in een bubbel op te sluiten:

• Zowel offline:

• “Th...
1. Moeten we ons zorgen
maken?
• “[T]here is no empirical evidence that warrants any
strong worries about filter bubbles.”...
1. Moeten we ons zorgen
maken?
“Personalisation on news sites is still at an infant stage, and
personalised content does n...
Take-home
• We hoeven ons geen zorgen te maken.
2. Kom maar op met dat
empirisch bewijs
2. Methode
1. 👤
1. Verzamel 200 vrijwilligers met Google accounts.

2. Laat ze dezelfde zoekopdrachten invoeren.

3. Verge...
2. Bevindingen 👤
• On average, 11.7% of results show differences due to
personalization on Google. 

• Top ranks tend to b...
2. Bevindingen 👤
• ✅ A great deal of
personalization based on
location (especially for
company names, where users
received...
2. Bevindingen 🤖
✅ Ingelogde vs. “cleared cookies” gebruikers

✅ Geolocatie

❌ Gender 

❌ Age

❌ Search history

❌ Click h...
Take-home
• Het valt allemaal wel mee, met die filter bubbel…
3. Meer empirisch bewijs
3. Methode
• Deel MovieLens (een film aanbeveling (CF) & rating site)
gebruikers in twee groepen:

• Volgers: gebruikers d...
3. Bevindingen
1. Diversiteit: 

• Bij zowel volgers als negeerders daalt de diversiteit van
hun aanbevelingen over tijd.
...
Take-home
Een aanbevelingssysteem kan een bubbel-vertragend-effect hebben.
4. Breek de bubbel
4. Doel
Increase exposure to varied political opinions 

with a goal of improving civil discourse
[Yom-Tov et al. 2014]
4. Methode
• Deel zoekmachinegebruikers in op political leaning (op
basis van geo/kiesdistrict)
[Yom-Tov et al. 2014]
4. Methode
• Ken (op basis van gebruikers+bezochte nieuwssites) de
onderliggende nieuwsbronnen political leaning-score toe...
4. Methode
• Identificeer gepolariseerde zoekopdrachten (met sterke
political leaning beide kanten op).
[Yom-Tov et al. 20...
4. Methode
• Treatment group: Meng bij zoekresultaten bij blauwe
gebruikers rode websites in, en bij rode gebruikers
blauw...
4. Methode
1. Korte termijn: Vergelijk clicks/gedrag tussen treatment
group & control group.

2. Lange termijn: meet gedur...
4. Bevindingen 1
• Minder clicks op de ingemengde opposing
nieuwsbronnen.

• Maar, wanneer een opposing nieuwsbron kwa taa...
4. Bevindingen 2
• Polarisatie: 

• Treatment: gemiddelde leaning ‘daalt’ ~25% naar centrum

• Control: verwaarloosbare ve...
Take-home
• Je kunt mensen ‘nudgen’ om hun gedrag te ‘manipuleren’

• [Vermoedelijk] alleen bij mensen die ‘zweven’/niet s...
5. Hoe vergelijkt een aanbeveling
van een 🤖 met die van een 👤
5. Methode
• 🤖 Genereer aanbevelingen bij Volkskrant artikelen op basis van
verschillende (standaard) aanbevelingssystemen...
5. Bevindingen
“Conventional recommendation algorithms at least preserve
the topic/sentiment diversity of the article supp...
Take-home
• Diversiteit blijft behouden bij geautomatiseerde
aanbevelingen.
[Möller et al. 2018]
Daarnaast
• Technisch: Diversiteit kun je kwantificeren én inbouwen
(en willekeur is triviaal).

• Technisch: Feedback loo...
Refs
1. Zuiderveen Borgesius, F. & Trilling, D. & Möller, J. & Bodó, B. & de Vreese, C. & Helberger, N. (2016).
Should we ...
Dank!
David Graus
@dvdgrs
Zoeken, vinden, en aanbevelen: personalisatie vs. privacy
Zoeken, vinden, en aanbevelen: personalisatie vs. privacy
Zoeken, vinden, en aanbevelen: personalisatie vs. privacy
You’ve finished this document.
Download and read it offline.
Upcoming SlideShare
What to Upload to SlideShare
Next
Upcoming SlideShare
What to Upload to SlideShare
Next
Download to read offline and view in fullscreen.

Share

Zoeken, vinden, en aanbevelen: personalisatie vs. privacy

Download to read offline

Lezing op de VOGIN-IP-lezing op 28 maart 2018 bij de Openbare Bibliotheek Amsterdam.

DISCLAIMER: dit praatje is een mooi stukje ouderwetse (menselijke) manipulatie: expert komt met een 5-tal aanbevelingen :-).

"Tegenwoordig kijkt men steeds vaker met argusogen naar technologiebedrijven die op grote schaal gebruikersgedrag verzamelen. In dit praatje zet ik uiteen waarom het inzetten van gebruikersgedrag van belang is, en hoe het wordt gebruikt om informatie effectief te kunnen ontsluiten en doorzoekbaar maken, of het nu gaat om een zoekmachine als Google, die zich een weg moet banen door een web van miljarden pagina’s, of een service als Spotify, die haar gebruikers graag de juiste muziek blijft aanbieden."

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

Zoeken, vinden, en aanbevelen: personalisatie vs. privacy

  1. 1. Zoeken, vinden, en aanbevelen: personalisatie vs. privacy David Graus @dvdgrs VOGIN-IP-lezing / 28 maart 2018
  2. 2. Wie ben ik?
  3. 3. Wie ben ik?
  4. 4. Wie ben ik?
  5. 5. Wie ben ik?
  6. 6. Vandaag 1. Inleiding a. Wat is personalisatie? b. Waarom? 2. Inhoud: Hoe personalisatie? 3. De filter bubbel bestaat niet Subjectiviteit!
  7. 7. 1a. Wat is personalisatie?
  8. 8. Personalized results
  9. 9. Personalisatie is: • Zoeken en vinden • op basis van persoonlijke {context, voorkeuren, smaak, profiel}
  10. 10. 1b. Waarom personaliseren?
  11. 11. 1: het MOET
  12. 12. 1: het MOET • Relevantie van zoekresultaten is: • Subjectief [low inter-annotator agreement] • Afhankelijk van (voor)kennis • Afhankelijk van interesse in onderwerp • Dynamisch • Afhankelijk van tijd • Afhankelijk van welke resultaten zijn bekeken [1] Mizarro, “Relevance: The Whole History” (1997)
  13. 13. 1: het MOET • Hoeveelheid data • “High-precision” search Personalized results
  14. 14. 2: het is GOED • Iedereen wint: • “Consument” • “Discover items you might not have found otherwise” • “Producent” • Vergroot bereik • Ontsluit de long-tail
  15. 15. https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters
  16. 16. https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters
  17. 17. Click through A/B-test groups https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters
  18. 18. https://www.slideshare.net/DungManhChu/fd-recommendation-engine-in-personalized-newsletters
  19. 19. Samenvattend • Personalisatie moet: • Relevantie is persoonsgebonden & contextafhankelijk. • Noodzakelijk om dingen te kunnen vinden op web- schaal. • Personalisatie is goed: • Lever de juiste info bij de juist doelgroep, verbeter informatieontsluiting.
  20. 20. 2. Hoe?
  21. 21. User profiling!
  22. 22. I. Content-based • Op basis van (meta)data van items
  23. 23. Content-based op basis van gebruikersprofiel
  24. 24. Content-based op basis van gebruikersprofiel Users Items RecSys MatchingUser Profile Item profile
  25. 25. Users User Profile Qualcomm krijgt bijna €1 mrd boete van Brussel Tags: Boete, Chips, EU, Mededinging, … Rubriek: Ondernemen Stylometrie: Aantal woorden: 635 Entities: Qualcomm, Apple, NXP, Intel, Google Tags: Boete, Chips, EU, Mededinging, … Rubriek: Ondernemen Stylometrie: Aantal woorden: 635 Entities: Qualcomm, Apple, NXP, Intel, Google Content-based op basis van gebruikersprofiel
  26. 26. Users User Profile Qualcomm krijgt bijna €1 mrd boete van Brussel Tags: Boete, Chips, EU, Mededinging, … Big Data, Blog, Davos, Google, Technologie Rubriek: Ondernemen, Davos Stylometrie: 635 woorden, 524 woorden Entities: Qualcomm, Apple (2), NXP, Intel, Google (2), Microsoft, Salesforce Topman van softwaremaker Salesforce kraakt grote techbedrijven Tags: Big Data, Blog, Davos, Google, Technologie Rubriek: Davos Stylometrie: 524 woorden Entities: Google, Apple, Microsoft, Salesforce Content-based op basis van gebruikersprofiel
  27. 27. Users Items RecSys Matching 0.352 0.795 0.125 0.643 Content-based op basis van gebruikersprofiel
  28. 28. II. Collaborative Filtering Make predictions (“filtering”) about the interests of a user, by collecting preferences from many users (“collaborating”)
  29. 29. Collaborative Filtering Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346
  30. 30. Collaborative Filtering Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346
  31. 31. Collaborative Filtering Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346
  32. 32. Collaborative Filtering Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346
  33. 33. Collaborative Filtering Moshanin, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=24097346
  34. 34. Collaborative Filtering • Voordelen: • Surprising effect • Nadelen: • Veel ‘gedrag’ nodig • “Cold start”
  35. 35. III. Evalueer+leer • Korte termijn: Genereer rankings op basis van voorspellingen, meet ‘kwaliteit’ • Lange(re) termijn: average time on page, aantal bezochte pagina’s, returning visits, etc.
  36. 36. Samenvattend • Schat voorkeuren in op basis van gedrag; • Van één gebruiker • Van een groep/alle gebruikers • Voorspel voorkeuren • Meet effect (evalueer)
  37. 37. What about the Filter Bubbel? By Knight Foundation - Eli Pariser, author of The Filter Bubble, 
 CC BY-SA 2.0, https://commons.wikimedia.org/w/index.php?curid=19516187
  38. 38. Filter bubbel “A filter bubble is a state of intellectual isolation that can result from personalized searches when a website algorithm selectively guesses what information a user would like to see based on information about the user.”
  39. 39. Filter bubbel “Users become separated from information that disagrees with their viewpoints, effectively isolating them in their own cultural or ideological bubbles.”
  40. 40. De filterbubbel bestaat niet!
  41. 41. 1. Moeten we ons zorgen maken?
  42. 42. 1. Moeten we ons zorgen maken? [We] focus on empirical evidence of the spread of personalised news services and its likely effects on political polarisation and political information. [Zuiderveen Borgesius et al., 2016]
  43. 43. 1. Moeten we ons zorgen maken? • Het blijkt moeilijk jezelf volledig in een bubbel op te sluiten: • Zowel offline: • “Those who use a lot of partisan information also use an above-average amount of mainstream news.” • “[M]ost people by far still get their news via traditional sources, most notably public-service television.” • Als online: • “People who choose personalisation are more likely to use an above- average amount of general-interest news as well.” • “A recent study suggests that the influence of [the Facebook] algorithm is lower than the influence of the user’s choices.” [Zuiderveen Borgesius et al., 2016]
  44. 44. 1. Moeten we ons zorgen maken? • “[T]here is no empirical evidence that warrants any strong worries about filter bubbles.” • “One lesson we should have learned from the past is that panic does not lead to sane policies. More evidence is needed on the process and effects of personalisation, so we can shift the basis of policy discussions from fear to insight.” [Zuiderveen Borgesius et al., 2016]
  45. 45. 1. Moeten we ons zorgen maken? “Personalisation on news sites is still at an infant stage, and personalised content does not constitute a substantial information source for most citizens.” [Zuiderveen Borgesius et al., 2016]
  46. 46. Take-home • We hoeven ons geen zorgen te maken.
  47. 47. 2. Kom maar op met dat empirisch bewijs
  48. 48. 2. Methode 1. 👤 1. Verzamel 200 vrijwilligers met Google accounts. 2. Laat ze dezelfde zoekopdrachten invoeren. 3. Vergelijk resultaten. 2. 🤖 1. Maak Google “bots” (kunstmatige accounts). • Varieer aspecten als locatie, demografische informatie, klikgedrag, browsegeschiedenis, zoekgeschiedenis, etc. 2. Laat ze dezelfde zoekopdrachten invoeren. 3. Vergelijk resultaten. [Hannák et al., 2013]
  49. 49. 2. Bevindingen 👤 • On average, 11.7% of results show differences due to personalization on Google. • Top ranks tend to be less personalized than bottom ranks. [Hannák et al., 2013]
  50. 50. 2. Bevindingen 👤 • ✅ A great deal of personalization based on location (especially for company names, where users received different store locations). • ❌ The least personalized results tend to be factual and health related queries. [Hannák et al., 2013]
  51. 51. 2. Bevindingen 🤖 ✅ Ingelogde vs. “cleared cookies” gebruikers ✅ Geolocatie ❌ Gender ❌ Age ❌ Search history ❌ Click history ❌ Browsing history [Hannák et al., 2013]
  52. 52. Take-home • Het valt allemaal wel mee, met die filter bubbel…
  53. 53. 3. Meer empirisch bewijs
  54. 54. 3. Methode • Deel MovieLens (een film aanbeveling (CF) & rating site) gebruikers in twee groepen: • Volgers: gebruikers die films uit hun aanbevelingen raten. • Negeerders: gebruikers die films raten die niet in hun aanbevelingen staan. • Vergelijk tussen beide groepen, over tijd: • Diversiteit van aanbevelingen • Waardering voor films [Nguyen et al., 2014]
  55. 55. 3. Bevindingen 1. Diversiteit: • Bij zowel volgers als negeerders daalt de diversiteit van hun aanbevelingen over tijd. • Die daling is sterker bij negeerders dan bij volgers (!) 2. Waardering: • Bij negeerders daalt de gemiddelde score (3.74 naar 3.55). • Bij volgers blijft hij stabiel (rond de 3.68). [Nguyen et al., 2014]
  56. 56. Take-home Een aanbevelingssysteem kan een bubbel-vertragend-effect hebben.
  57. 57. 4. Breek de bubbel
  58. 58. 4. Doel Increase exposure to varied political opinions 
 with a goal of improving civil discourse [Yom-Tov et al. 2014]
  59. 59. 4. Methode • Deel zoekmachinegebruikers in op political leaning (op basis van geo/kiesdistrict) [Yom-Tov et al. 2014]
  60. 60. 4. Methode • Ken (op basis van gebruikers+bezochte nieuwssites) de onderliggende nieuwsbronnen political leaning-score toe. [Yom-Tov et al. 2014]
  61. 61. 4. Methode • Identificeer gepolariseerde zoekopdrachten (met sterke political leaning beide kanten op). [Yom-Tov et al. 2014]
  62. 62. 4. Methode • Treatment group: Meng bij zoekresultaten bij blauwe gebruikers rode websites in, en bij rode gebruikers blauwe websites. • Control group: Pas de zoekresultaten niet aan. [Yom-Tov et al. 2014]
  63. 63. 4. Methode 1. Korte termijn: Vergelijk clicks/gedrag tussen treatment group & control group. 2. Lange termijn: meet gedurende twee weken, per gebruiker: 1. Polarisatie: Het verschil tussen leaning-score van een gebruiker t.o.v. de gemiddelde leaning van alle bronnen. 2. Engagement: Gemiddeld aantal zoekopdrachten + gemiddeld aantal gelezen artikelen.
  64. 64. 4. Bevindingen 1 • Minder clicks op de ingemengde opposing nieuwsbronnen. • Maar, wanneer een opposing nieuwsbron kwa taalgebruik lijkt op dat van (wat) de gebruiker (leest), is een gebruiker eerder geneigd het artikel te lezen. • “Results pages of the opposing viewpoint which had a similarity higher than the average tended to be clicked 38% more than those below the average.” [Yom-Tov et al. 2014]
  65. 65. 4. Bevindingen 2 • Polarisatie: • Treatment: gemiddelde leaning ‘daalt’ ~25% naar centrum • Control: verwaarloosbare verschuiving (1%) • Engagement: • Treatment: Aantal zoekopdrachten: +9% / artikelen: +4% • Control: Lichte afname in beiden (~2.5%) [Yom-Tov et al. 2014]
  66. 66. Take-home • Je kunt mensen ‘nudgen’ om hun gedrag te ‘manipuleren’ • [Vermoedelijk] alleen bij mensen die ‘zweven’/niet sterk gepolariseerd zijn. • Is in die context een nudge niet een democratisch goed? [Yom-Tov et al. 2014]
  67. 67. 5. Hoe vergelijkt een aanbeveling van een 🤖 met die van een 👤
  68. 68. 5. Methode • 🤖 Genereer aanbevelingen bij Volkskrant artikelen op basis van verschillende (standaard) aanbevelingssystemen (CF & CB). • 👤 Vergelijk met handgeselecteerde aanbevelingen van redactie. • Meet “diversiteit” van artikelen in een set aanbevelingen: • artikelinhoud • tags • categorieën • sentiment/subjectiviteit [Möller et al. 2018]
  69. 69. 5. Bevindingen “Conventional recommendation algorithms at least preserve the topic/sentiment diversity of the article supply.” [Möller et al. 2018]
  70. 70. Take-home • Diversiteit blijft behouden bij geautomatiseerde aanbevelingen. [Möller et al. 2018]
  71. 71. Daarnaast • Technisch: Diversiteit kun je kwantificeren én inbouwen (en willekeur is triviaal). • Technisch: Feedback loop + “diversity in recommendation sets increases user satisfaction” — aannemelijk dat diversiteit ingebakken zit/als bijeffect komt. • Technisch: Je weet nog niks van een nieuw item; je zult die moeten aanbieden om signaal te krijgen.
  72. 72. Refs 1. Zuiderveen Borgesius, F. & Trilling, D. & Möller, J. & Bodó, B. & de Vreese, C. & Helberger, N. (2016). Should we worry about filter bubbles?. Internet Policy Review, 5(1). DOI: 10.14763/2016.1.401
 2. Hannák, A. & Sapiezynski, P & Kakhki, A.M. & Krishnamurthy, B. & Lazer, D. & Mislove, A, & Wilson, C, (2013). Measuring personalization of web search. In Proceedings of the 22nd international conference on World Wide Web (WWW '13). ACM, New York, NY, USA, 527-538. DOI: 10.1145/2488388.2488435
 3. Nguyen, T. T. & Hui, P. M. & Harper, F. M. & Terveen, L. & Konstan, J. A. (2014). Exploring the filter bubble: the effect of using recommender systems on content diversity. In Proceedings of the 23rd international conference on World wide web (WWW '14). ACM, New York, NY, USA, 677-686. DOI: 10.1145/2566486.2568012
 4. Yom-Tov, E. & Dumais, S. & Guo, Q. (2014). Promoting Civil Discourse Through Search Engine Diversity. Soc. Sci. Comput. Rev. 32, 2 (April 2014), 145-154. DOI: 10.1177/0894439313506838 
 5. Möller, J. & Trilling, D. & Helberger, N. & van Es, B. (2018). Do not blame it on the algorithm: an empirical assessment of multiple recommender systems and their impact on content diversity. Information, Communication & Society, DOI: 10.1080/1369118X.2018.1444076
  73. 73. Dank! David Graus @dvdgrs
  • MateoGutierrez9

    Jan. 4, 2019
  • digicmb

    Mar. 29, 2018

Lezing op de VOGIN-IP-lezing op 28 maart 2018 bij de Openbare Bibliotheek Amsterdam. DISCLAIMER: dit praatje is een mooi stukje ouderwetse (menselijke) manipulatie: expert komt met een 5-tal aanbevelingen :-). "Tegenwoordig kijkt men steeds vaker met argusogen naar technologiebedrijven die op grote schaal gebruikersgedrag verzamelen. In dit praatje zet ik uiteen waarom het inzetten van gebruikersgedrag van belang is, en hoe het wordt gebruikt om informatie effectief te kunnen ontsluiten en doorzoekbaar maken, of het nu gaat om een zoekmachine als Google, die zich een weg moet banen door een web van miljarden pagina’s, of een service als Spotify, die haar gebruikers graag de juiste muziek blijft aanbieden."

Views

Total views

2,604

On Slideshare

0

From embeds

0

Number of embeds

511

Actions

Downloads

18

Shares

0

Comments

0

Likes

2

×