Google - cz. 4
Metodologia eksperymentów SEME - Search Engine Manipulation Effect, czyli jak Google nami manipuluje.
16 czerwca 2019 roku dr Roberta Epsteina złożył zeznanie przed senacką Podkomisją ds. Konstytucji Stanów Zjednoczonych pod tytułem "Dlaczego Google stanowi poważne zagrożenie dla demokracji i jak je zlikwidować". Dodatkiem do zeznania była załączona informacja, dotycząca prowadzonych przez zespół Epsteina badań i eksperymentów nad mechanizmem SEME - Efekt Manipulacji w Wyszukiwarkach. SEME jest jedną z najpotężniejszych form wpływu, jakie kiedykolwiek odkryto w naukach behawioralnych, a jest ona szczególnie niebezpieczna, ponieważ jest niewidoczna dla ludzi - "podprogowa" w efekcie. Pozostawia ludzi w przekonaniu, że sami podjęli decyzję, co jest złudzeniem. Nie pozostawia też żadnego śladu na papierze, który władze mogłyby prześledzić:
DODATEK:
Metodologia eksperymentów SEME
Metodologia eksperymentów SEME jest zgodna z najwyższymi standardami badań w naukach społecznych i behawioralnych. Wszystkie eksperymenty są randomizowane, kontrolowane, prowadzone metodą podwójnie ślepej próby i równoważone (Epstein i Robertson, 2015a). Wielokrotne eksperymenty SEME prowadzone przez okres ponad pięciu lat objęły ponad uczestników10,000 i pięć wyborów krajowych w czterech krajach. W przypadku, gdy próba nie jest reprezentatywna w stosunku do populacji głosujących, należy wziąć pod uwagę, że próba nie jest reprezentatywna w stosunku do populacji głosujących. Gdy próby nie są reprezentatywne dla populacji głosujących, korekty są dokonywane statystycznie lub poprzez badanie podprób.
W większości eksperymentów wybierani są uczestnicy "niezdecydowani", przez co rozumiem albo to, że jeszcze nie podjęli decyzji, albo, w niektórych przypadkach, że celowo pokazujemy im materiały z wyborów, których nie znają (na przykład, gdy pokazujemy ludziom z USA materiały z wyborów w Australii).
Wszystkie wyniki wyszukiwania i strony internetowe użyte w eksperymencie są prawdziwe, pochodzą z Internetu i wyszukiwarki Google. Wybory, które badaliśmy są również prawdziwe: wybory na premiera Australii w 2010 roku; wybory do Lok Sabhy w Indiach w 2014 roku; wybory krajowe w Wielkiej Brytanii w 2015 roku oraz wybory w USA w 2016 i 2018 roku.
Wyniki wyszukiwania są prezentowane uczestnikom za pomocą symulowanej wyszukiwarki o nazwie Kadoodle, która wygląda i działa niemal dokładnie tak samo jak Google. Różnica między Google a Kadoodle polega na tym, że w przypadku Kadoodle kontrolujemy, jakie wyniki wyszukiwania są wyświetlane i w jakiej kolejności. Nasze wyniki wyszukiwania zawierają łącza do kopii prawdziwych stron internetowych, ale łącza na tych stronach zostały wyłączone, abyśmy mogli utrzymać uczestników naszych badań w zamkniętym środowisku internetowym.
W podstawowej procedurze uczestnicy są losowo przydzielani do jednej z trzech grup: grupy, w której wyniki wyszukiwania faworyzują kandydata A - co oznacza, że wysoko pozycjonowane wyniki linkują do stron internetowych, które sprawiają, że kandydat A wygląda lepiej niż jego przeciwnik - grupy faworyzującej kandydata B oraz grupy, w której żaden z kandydatów nie jest faworyzowany w wynikach wyszukiwania (grupa kontrolna).
Uczestnikom mówi się, że zostaną poproszeni o skorzystanie z naszej niestandardowej wyszukiwarki Kadoodle w celu przeprowadzenia badań na temat kandydatów na polityków. Najpierw poproszono ich o przeczytanie krótkich akapitów o każdym kandydacie, a następnie zadano im kilka pytań dotyczących każdego kandydata: jak bardzo lubią każdego kandydata, jak bardzo mu ufają itd. Są również pytani, zarówno w sposób binarny, jak i na skali, na którego kandydata zagłosowaliby, gdyby musieli głosować dzisiaj. To wszystko są "pytania wstępne".
Następnie, zazwyczaj w ciągu piętnastu minut, mają oni możliwość skorzystania z wyszukiwarki Kadoodle w celu przeprowadzenia dalszych badań na temat kandydatów. Zazwyczaj uzyskują dostęp do pięciu stron wyników wyszukiwania, po sześć wyników na stronę (łącznie 30), i mogą poruszać się po wynikach wyszukiwania i stronach internetowych dokładnie tak, jak w Google. Mogą przerwać wyszukiwanie, kiedy tylko zechcą.
Następnie zadaje się im te same pytania dotyczące kandydatów; są to teraz "pytania postsearch".
Jedyną różnicą między tymi trzema grupami jest kolejność wyświetlania wyników wyszukiwania. Wszyscy uczestnicy we wszystkich trzech grupach mają pełny dostęp do wszystkich wyników wyszukiwania i wszystkich stron internetowych.
Typowe ustalenia są następujące:
• Przed rozpoczęciem poszukiwań wszystkie trzy grupy mają tendencję do odpowiadania na pytania poprzedzające poszukiwania w ten sam sposób.
• Po przeszukaniu, opinie i preferencje wyborcze osób z grupy kontrolnej zmieniają się bardzo nieznacznie lub wcale.
• Po wyszukiwaniu zarówno opinie, jak i preferencje wyborcze osób z dwóch grup stronniczych zmieniają się dość radykalnie w kierunku faworyzowanego kandydata. Innymi słowy, opinie i głosy przesuwają się w przeciwnych kierunkach w obu grupach.
• Typowe jest przesunięcie o 20 procent lub więcej. W dużych badaniach, w których mamy wystarczającą liczbę uczestników, aby przyjrzeć się różnicom demograficznym, w niektórych grupach demograficznych stwierdziliśmy przesunięcia w zakresie 60-80 procent. Innymi słowy, niektórzy ludzie są szczególnie ufni w stosunku do wyników wyszukiwania.
• Zazwyczaj, bardzo niewiele osób wykazuje jakąkolwiek świadomość stronniczości, którą widzieli. W dużym badaniu, które przeprowadziliśmy w Indiach w 2014 roku, na przykład - badanie z udziałem ponad 2000 niezdecydowanych wyborców w całych Indiach w środku intensywnych wyborów - 99.5procent naszych uczestników nie wykazał żadnej świadomości stronniczości w wynikach wyszukiwania, które im pokazaliśmy.
• Nieliczni ludzie, którzy wykrywają tendencyjność, zwykle przesuwają się jeszcze bardziej w kierunku tendencyjności.
Niektóre z moich badań SEME próbują wyjaśnić, dlaczego efekt ten jest tak duży. Jednym z powodów wydaje się być to, że ludzie ufają wynikom algorytmów, wierząc, że ponieważ są one generowane komputerowo, są z natury obiektywne i bezstronne.
Badania, które przeprowadziłem, sugerują również, że SEME jest dużym efektem, ponieważ ludzie są uwarunkowani - bardzo podobnie jak szczury w pudełku Skinnera - aby wierzyć, że wyniki na górze listy są lepsze i prawdziwsze niż wyniki dalej w dół listy (Epstein & Robertson (2016b)). Dzieje się tak dlatego, że większość wyszukiwań, które przeprowadzamy, dotyczy prostych faktów, takich jak "Kto jest gubernatorem Teksasu?". Prawidłowa odpowiedź zawsze pojawia się na szczycie listy, co jest jednym z powodów, z których połowa wszystkich kliknięć to dwie pierwsze pozycje wyszukiwania.
Kiedy szukamy czegoś z mniej oczywistą odpowiedzią: „Jaka jest najlepsza restauracja sushi w mieście?” czy „Kto jest najlepszym kandydatem?” to również w tym przypadku najchętniej wierzymy odpowiedziom, które znajdują się najwyżej w rankingu.
Kiedy w jednym z eksperymentów zmieniliśmy przekonania ludzi na temat wysokich pozycji w wynikach wyszukiwania poprzez umieszczenie odpowiedzi na proste pytania na losowych pozycjach na listach wyników wyszukiwania, politycznie stronnicze wyniki wyszukiwania miały na nich mniejszy wpływ.
Uzupełnienie:
Wielokrotne wyszukiwania zwiększają wpływ efektu manipulacji wyszukiwarką (SEME).
Niedawna seria eksperymentów opublikowana w Proceedings of the National Academy of Sciences wykazała, że wyniki wyszukiwania faworyzujące jednego kandydata mogą (a) zmienić preferencje niezdecydowanych wyborców nawet o 80% w niektórych grupach demograficznych i (b) być zamaskowane, aby ludzie nie byli świadomi manipulacji. Zjawisko to nazwaliśmy Search Engine Manipulation Effect (SEME) i wydaje się, że jest to jeden z największych efektów behawioralnych, jakie kiedykolwiek odkryto. W dwóch kolejnych eksperymentach z udziałem łącznie 1 128 niezdecydowanych, kwalifikujących się wyborców z USA (średni wiek = 32,5), powieliliśmy SEME z nowymi wyborami (nadchodzące wybory Clinton/Trump w 2016 roku) i różnymi warunkami. Wszystkie poprzednie eksperymenty SEME dawały badanym tylko jedną możliwość wyszukiwania. W nowych eksperymentach pytaliśmy, czy wielokrotne wyszukiwanie na ten sam temat (ale przy użyciu nieco innych wyszukiwanych haseł) zmieni preferencje wyborcze bardziej niż pojedyncze wyszukiwanie. W obu nowych eksperymentach wszystkim badanym najpierw pokazano krótkie biografie kandydatów, następnie zapytano ich o preferencje wyborcze, po czym pozwolono im przeprowadzić wyszukiwanie online za pomocą naszej pozorowanej wyszukiwarki (Kadoodle), a następnie ponownie zapytano ich o preferencje wyborcze. W obu eksperymentach osoby badane w różnych grupach widziały rankingi wyszukiwania faworyzujące pana Trumpa, panią Clinton lub żadnego z nich. W eksperymencie 1 wszystkie sesje wyszukiwania trwały maksymalnie 15 minut, podobnie jak w poprzednich eksperymentach. W eksperymencie 2 wszystkie sesje wyszukiwania były ograniczone do 5 minut, co jest bardziej typowe dla rzeczywistych zachowań związanych z wyszukiwaniem. Naszą główną zmienną zależną była Siła Manipulacji Głosami (VMP), czyli ogólny wzrost odsetka badanych faworyzujących jednego kandydata po obejrzeniu rankingów wyszukiwania faworyzujących tego kandydata. W eksperymencie 1 stwierdzono, że VMP wynosi 9,5% dla grup przeprowadzających tylko jedno wyszukiwanie. W warunkach wielokrotnego wyszukiwania VMP wzrastał wraz z kolejnymi wyszukiwaniami z 12,8% do 20,9% do 22,1%. W eksperymencie 2 dla grup przeprowadzających tylko jedno wyszukiwanie stwierdzono VMP na poziomie 4,9%. W warunkach wielokrotnego wyszukiwania VMP wzrastał wraz z kolejnymi wyszukiwaniami z 7,6% do 18,5% do 22,8%. Odpowiednie zmiany stwierdzono również w odniesieniu do tego, w jakim stopniu badani zgłaszali sympatię i zaufanie do kandydatów oraz w odniesieniu do ogólnego wrażenia badanych na temat kandydatów. Ponieważ wielokrotne, krótkie wyszukiwania są typowym zachowaniem użytkowników, dochodzimy do wniosku, że nasze poprzednie doniesienia o możliwym wpływie tendencyjnych rankingów wyszukiwania na preferencje wyborcze mogły nie docenić wpływu, jaki tendencyjne rankingi wyszukiwania mogą mieć na osoby przeprowadzające wiele wyszukiwań w czasie.
"Panie Mariuszu - jak można Pana wesprzeć?" - zadał mi pytanie jeden z moich subskrybentów. Blog na Substacku jest to hobby czasochłonne, ale nie planowałem tej działalności, jako źródła dodatkowego dochodu (do tej pory mam jednego płatnego subskrybenta ochotnika). Ale jeśli ktokolwiek uważa, że warto udzielić mi wsparcie finansowe - to poniższa zrzutka daje taką możliwość. Za każdą wpłatę - serdecznie dziękuję :)
Źródła:
https://www.judiciary.senate.gov/imo/media/doc/Epstein%20Testimony.pdf
REFERENCJE przywoływane w zeznaniu dr Epsteina:
Załączony artykuł (cytowany w zeznaniu): Epstein, R. (2019d, 15 lipca). Aby złamać monopol Google'a na wyszukiwanie, upublicznij jego indeks. Bloomberg Businessweek.
Inne istotne publikacje i recenzowane materiały konferencyjne (niektóre cytowane w zeznaniu):
2019:
Epstein, R. (2019c, April 3). Zucked again: Propozycja Zuckerberga dotycząca regulacji internetu jest samowystarczalna. Epoch Times.
Epstein, R. (2019b, 22 marca). Google, Facebook, Amazon: Bezzębny plan zerwania Warrena ignoruje prawdziwe zagrożenia ze strony Big Tech. USA Today.
Epstein, R. (2019a, 2 stycznia). Jak Google przesuwa głosy: Przypomnienie "go vote" nie zawsze jest tym, czym myślisz, że jest. Epoch Times.
Epstein, R., & Williams, E. (2019, kwiecień). Dowody na systematyczne uprzedzenia polityczne w wynikach wyszukiwania online w ciągu 10 dni poprzedzających wybory śródterminowe w USA w 2018 roku. Paper presented at the 99th annual meeting of the Western Psychological Association, Pasadena, CA.
2018:
Epstein, R. (2018i, 26 września). Dziesięć sposobów, w jakie Big Tech może przesunąć miliony głosów w listopadowych wyborach - bez niczyjej wiedzy. Epoch Times.
Epstein, R. (2018h, September 13). Nie tylko konserwatyści: Google i Big Tech mogą przesunąć miliony głosów w dowolnym kierunku. USA Today.
Epstein, R. (2018g, August 27). Jak główne organizacje informacyjne,
uniwersytety i firmy oddają swoją prywatność Google. The Daily Caller.
https://dailycaller.com/2018/08/27/surrender-privacy-google/
Epstein, R. (2018f, June 25). Zuck off: Sześć powodów, dla których Mark Zuckerberg powinien teraz odejść z Facebooka. The Daily Caller. https://dailycaller.com/2018/06/25/mark-zuckerberg- should-quit-facebook/
Epstein, R. (2018e, 25 maja). Transkrypt do wewnętrznego wideo Google, "The Selfish Ledger". https://aibrt.org/downloads/GOOGLE-Selfish_Ledger-TRANSCRIPT.pdf
Epstein, R. (2018d, May 17). Oswajanie Big Tech: The case for monitoring. Hacker Noon. https://hackernoon.com/taming-big-tech-5fef0df0f00d (wersja zarchiwizowana na https://web.archive.org/web/20190323031918/https://hackernoon.com/taming-bigtech- 5fef0df0f00d?gi=7d11d84801a2)
Epstein. R. (2018c). Manipulowanie umysłami: Siła wyszukiwarek do wpływania na głosy i opinie. In M. Moore & D. Tambini (Eds.), Cyfrowa dominacja: The power of
Google, Amazon, Facebook, and Apple (pp. 294-319). Oxford, UK: Oxford University Press. https://aibrt.org/downloads/EPSTEIN_2018-Manipulating_minds-The- power_of_search_engines_to_influence_votes_and_opinions-
Epstein, R. (2018b). Bezprecedensowa moc platform cyfrowych w kontrolowaniu opinii i głosów. In G. Rolnik (Ed.), Platformy cyfrowe i koncentracja: Second annual antitrust and competition conference (pp. 31-33). Chicago, IL: University of Chicago
Booth School of Business. https://promarket.org/wp-content/uploads/2018/04/Digital- Platforms-and-Concentration.pdf
Epstein, R. (2018a, 22 marca). Cambridge Analytica nie jest problemem: problemem są Google i Facebook. The Daily Caller. https://dailycaller.com/2018/03/22/google- andfacebook-are-problem-not-cambridge-analytica/.
Epstein, R., & Mohr, R., Jr. (2018, kwiecień). Efekt Answer Bot (ABE): Kolejny zaskakujący sposób, w jaki wyszukiwarki mogą wpływać na opinie. Referat przedstawiony na 98. dorocznym spotkaniu Zachodniego Towarzystwa Psychologicznego, Portland, OR.
https://aibrt.org/downloads/EPSTEIN_&_MOHR_2018-WPA-The_Answer_Bot_Effect- ABE-WP_17_04.pdf
Epstein, R., Mohr, R., Jr., & Martinez, J. (2018, kwiecień). The Search Suggestion Effect (SSE): jak sugestie wyszukiwania mogą być wykorzystywane do dramatycznej zmiany opinii i preferencji głosowania. Referat przedstawiony na 98. dorocznym spotkaniu Zachodniego Towarzystwa Psychologicznego, Portland, OR.
2017:
Epstein, R. (2017h, August 31). Google walczy z nienawiścią i trollami za pomocą niebezpiecznie bezmyślnej AI. Fast Company.
https://www.fastcompany.com/40459339/google- perspective-fighting-hate-andtrolls-with-a-mindless-a-i
Epstein, R. (2017g, 17 lipca). Hacking Google. Huffington Post. https://www.huffingtonpost.com/entry/596d0670e4b0376db8b659fd
Epstein, R. (2017f, May 28). Czy można jeszcze powstrzymać "Big Tech" przed zabiciem demokracji? [Recenzja książki "Move Fast and Break Things" Jonathana Taplina]. The Hill. https://thehill.com/blogs/pundits-blog/technology/335507-is-it-stillpossible-to-stop-big- tech-from-killing-democracy
Epstein, R. (2017e, May 10). Potencjał Google i Facebooka do manipulowania milionami wyborców stanowi większe zagrożenie niż fake news [List do redaktora]. Los Angeles Times.
Epstein, R. (2017d, April 10). Fake news is a fake problem. Medium.
https://medium.com/@re_53711/fake-news-is-a-fake-problem-914d7ffc7a91
Epstein, R. (2017c, 16 marca). Siedem prostych kroków w stronę prywatności online.
Medium. https://medium.com/@re_53711/seven-simple-steps-toward-online-privacy20dcb9fa82
Epstein, R. (2017b, kwiecień). Czy sugestie wyszukiwania mogą wpływać na to, czego szukamy w sieci? The role of negativity bias. Referat przedstawiony na 97.
dorocznym spotkaniu Zachodniego Towarzystwa Psychologicznego, Sacramento,
CA. https://aibrt.org/downloads/EPSTEIN_2017-WPA-
Can_Search_Suggestions_Impact_What_We_Search_for_Online.pdf
Epstein, R. (2017a, marzec). The Search Suggestion Effect (SSE): how autocomplete can be used to impact votes and opinions. Referat przedstawiony na 2. dwuletnim spotkaniu International Convention of Psychological Science, Wiedeń, Austria. https://aibrt.org/downloads/EPSTEIN_2017-The_Search_Suggestion_Effect-SSE- ICPS_Vienna-March_2017.pdf
Epstein, R., Ding, M., Mourani, C., Olson, E., Robertson, R.E., & Tran, F. (2017, kwiecień). Multiple searches increase the impact of the Search Engine Manipulation Effect (SEME). Referat przedstawiony na 97. dorocznym spotkaniu Zachodniego Towarzystwa Psychologicznego, Sacramento, CA.
https://aibrt.org/downloads/EPSTEIN_et_al._2017-WPA-
Multiple_Searches_Increase_the_Impact_of%20_the_Search_Engine_Manipulation_Effe ct.pdf
Epstein, R., Mourani, C., Olson, E., & Robertson, R.E. (2017, kwiecień). Biased search rankings can shift opinions on a wide range of topics. Referat przedstawiony na 97. dorocznym spotkaniu Zachodniego Towarzystwa Psychologicznego, Sacramento, CA. https://aibrt.org/downloads/EPSTEIN_et_al._2017-WPA-
Biased_Search_Rankings_Can_Shift_Opinions_on_a_Wide_Range_of_Topics.pdf
Epstein, R., & Robertson, R.E. (2017c, June 1). A method for detecting bias in search rankings, with evidence of systematic bias related to the 2016 presidential election. Vista, CA: American Institute for Behavioral Research and Technology, White Paper no. WP-
17-02. Retrieved from https://aibrt.org/downloads/EPSTEIN_&_ROBERTSON_2017-
A_Method_for_Detecting_Bias_in_Search_Rankings-AIBRT_WP-17-02_6-1-17.pdf
Epstein, R., & Robertson, R.E. (2017b, marzec). Efekt Manipulacji w Wyszukiwarkach (SEME): Understanding its power to change opinions and votes. Paper presented at the 2nd biennial meeting of the International Convention of Psychological Science, Vienna, Austria.
DC.
Epstein, R., & Robertson, R. (2017a). Suppressing the Search Engine Manipulation Effect (SEME). Proceedings of the ACM: Human-Computer Interaction, 1(2), Article 42. https://aibrt.org/downloads/EPSTEIN_et_al-2017-
Suppressing_the_Search_Engine_Manipulation_Effect_(SEME).pdf.
Epstein, R., Robertson, R., Shepherd, S., & Zhang, S. (2017, kwiecień). A method for detecting bias in search rankings, with evidence of systematic bias related to the presidential2016 election. Paper presented at the 97th annual meeting of the Western Psychological Association, Sacramento, CA.
2016:
Epstein, R. (2016l, 17 listopada). Fake news i Facebook: There are far more pernicious ways social media can sway elections [Letter to the Editor]. Los Angeles
Times. https://www.latimes.com/opinion/readersreact/la-ol-le-fake-news-facebook- 20161117-story.html
Epstein, R. (2016k). Subtelne nowe formy wpływu internetowego zagrażają demokracji na całym świecie. In N. Lee (Ed.), Google it: Totalna świadomość informacyjna (s. 253259).
Springer. https://aibrt.org/downloads/EPSTEIN_2016-
Suble_New_Forms_of_Internet_Influence-In_N.Lee_Ed.-Google_It-Springer.pdf
Epstein, R. (2016j, 14 października). Breaking news: Google podaruje swoją wyszukiwarkę amerykańskiemu społeczeństwu. Huffington Post.
https://www.huffingtonpost.com/dr-robert- epstein/breaking-news-google-tod_b_12446856.html
Epstein, R. (2016i, 12 września). Czy jesteśmy manipulowani przez autocomplete
Google'a? Sputnik International.
https://sputniknews.com/us/20160912/1045214398/google-clinton- manipulacjawyborcza.html
Epstein, R. (2016h, 6 września). Wolne to nie wolność: Jak Dolina Krzemowa nas oszukuje. Płyta główna. https://motherboard.vice.com/read/free-isnt-freedom-epstein-essay
Epstein, R. (2016g, wrzesień). Cyber kołysanie: nowa kontrola umysłu. Ladybeard. https://aibrt.org/downloads/EPSTEIN_2016-Cyber_Sway-The_New_Mind_Control- LADYBEARD-9-16-16-FINAL_flat.pdf
Epstein, R. (2016f, 12 lipca). Pięć subtelnych sposobów, w jaki Facebook może wpłynąć na wybory prezydenckie w USA tej jesieni. Quartz.
Epstein, R. (2016e, lipiec). Can search engine rankings swing elections? New
Internationalist. https://newint.org/features/2016/07/01/can-search-engine-rankings- swing-elections/
Epstein. R. (2016d, June 22). The new censorship (Nowa cenzura). U.S. News & World Report. https://www.usnews.com/opinion/articles/2016-06-22/google-is-theworlds-biggest- censor-and-its-power-must-be-regulated
Epstein, R. (2016c, 4 maja). Większy brat: Nowy pakt Microsoftu i Google'a może sygnalizować początek końca dla prywatności osobistej. Quartz. https://qz.com/676184/microsoft-and-googles-pact-is-the-end-of-personal-privacy/
Epstein, R. (2016b, 27 kwietnia). Google wie: w przyszłości Big Data sprawi, że rzeczywiste głosowanie stanie się przestarzałe. Quartz. https://qz.com/669983/maybewe-should-let-google-vote-for-us/
Epstein, R. (2016a, 18 lutego). Nowa kontrola umysłu. Aeon. https://aeon.co/essays/how-the-internet-flips-elections-and-alters-our-thoughts [tłumaczenie rosyjskie tutaj: http://mnenia.zahav.ru/Articles/7302/soznanie_pod_controlem].
Epstein, R., & Edelman, B. (2016, November 5). Drugi słoń w kabinie do głosowania:
Big Tech może sfałszować wybory. The Daily Caller. https://dailycaller.com/2016/11/04/the- other-elephant-in-the-voting-booth-big-techcould-rig-the-election/
Epstein, R., & Robertson, R.E. (2016b, kwiecień). Dlaczego efekt manipulacji wyszukiwarką (SEME) jest tak duży? A test of an operant conditioning hypothesis. Paper presented at the 96th annual meeting of the Western Psychological Association,
Long Beach, CA. https://aibrt.org/downloads/EPSTEIN_&_ROBERTSON_2016- SEME_Testing_an_operant_conditioning_hypothesis-WPA.pdf
Epstein, R., & Robertson, R.E. (2016a, kwiecień). Replikacja efektu manipulacji wyszukiwarką (SEME) plus metody tłumienia tego efektu. Referat wygłoszony na 96. dorocznym spotkaniu Zachodniego Towarzystwa Psychologicznego, Long Beach, CA.
https://aibrt.org/downloads/EPSTEIN_et_al-2017-
Suppressing_the_Search_Engine_Manipulation_Effect_(SEME).pdf
2015:
Epstein, R. (2015d). Wie Google Wahlen beeinflussen kann [Jak Google wpływa na opinie]. In T. Fricke & U. Novak (Eds.), Die Akte Google: Wie der US-Konzern Daten missbraucht, die Welt manipuliert und Jobs vernichtet, Mit Beiträgen von Prof. Dr.
Robert Epstein und Dr. Thomas Höppner (s. 165-173). München, Deutschland: F.A. Herbig Verlagsbuchhandlung GmbH.
Epstein, R. (2015c, 6 października). Hipokryzja Google'a. Huffington Post. Retrieved from https://www.huffingtonpost.com/dr-robert-epstein/googleshypocrisy_b_8253332.html.
Epstein, R. (2015b, 6 września). Głos Google'a liczy się bardziej niż twój. Pittsburgh Post-Gazette. https://www.post-gazette.com/opinion/Op-Ed/2015/09/06/Google-s-vote- counts-more-than-yours-because-its-search-engine-is-determining-the-outcomes-of- elections/stories/201509060042
Epstein, R. (2015a, August 19). Jak Google może sfałszować wybory w 2016 roku. Politico. https://www.politico.com/magazine/story/2015/08/how-google-could-rigthe-2016- election-121548.html
Epstein, R., & Robertson, R.E. (2015b, kwiecień). The Search Engine Manipulation Effect (SEME): Replikacje na dużą skalę w dwóch krajach. Referat przedstawiony na 95. dorocznym spotkaniu Zachodniego Towarzystwa Psychologicznego, Las Vegas, Nevada.
Epstein, R., & Robertson, R. E. (2015a, 4 sierpnia). Efekt manipulacji w wyszukiwarkach (SEME) i jego możliwy wpływ na wyniki wyborów. Proceedings of the National Academy of Sciences USA, 112(33), E4512-E4521. https://www.pnas.org/content/112/33/E4512.full.pdf?with-ds=yes
2014:
Epstein, R. (2014d). Demokracja zagrożona przez nowe formy wpływu internetu.
EMMA Magazine. https://aibrt.org/downloads/EPSTEIN_2014-
New_Forms_of_Internet_Influence-EMMA_Magazine.pdf
Epstein, R. (2014c, czerwiec). Jak Google może zakończyć demokrację. U.S. News & World Report. https://www.usnews.com/opinion/articles/2014/06/09/howgoogles-search- rankings-could-manipulate-elections-and-enddemocracy?src=usn_tw
Epstein, R. (2014b, maj). Krytyk Google zabity w "ironicznym" wypadku samochodowym: Uderzony przez pojazd Google Street View. Huffington Post.
https://www.huffingtonpost.com/dr-robert- epstein/google-critic-killed-ini_b_5351458.html
Epstein, R. (2014a, maj). Google's s snoops: Mining naszych prywatnych danych dla zysku i przyjemności. Dissent.
Epstein, R., & Robertson, R.E. (2014, kwiecień). Pomaganie ludziom w zachowaniu prywatności online: Zaskakująca moc wymogu kliknięcia. Referat wygłoszony na 94. dorocznym spotkaniu Zachodniego Towarzystwa Psychologicznego, Portland, Oregon.
https://aibrt.org/downloads/EPSTEIN&ROBERTSON_2014-
Helping_People_Be_More_Cautious_Online-ABSTRACT-WPA-April_2014.pdf
2013:
Epstein, R. (2013b, maj). Google's gotcha. U.S. News & World Report.
https://www.
usnews.com/opinion/articles/2013/05/10/15-ways-google-monitors-you
Epstein, R. (2013a, marzec). Taniec Google'a. TIME. https://techland.time.com/2013/03/27/googles-dance/
Epstein, R., & Robertson, R. E. (2013, maj). Zagrożona demokracja: Rankingi wyszukiwania mogą znacząco zmienić preferencje wyborców. Referat przedstawiony na 25. dorocznym spotkaniu Stowarzyszenia Nauk Psychologicznych, Waszyngton, D.C., maj. 2013.
2012:
Epstein, R. (2012e, 5 listopada). Dlaczego Google powinno być regulowane (część 4 - koniec). Huffington Post. https://www.huffpost.com/entry/why-googleshould-be- regu_b_2069223
Epstein, R. (2012d, 2 listopada). Dlaczego Google powinno być regulowane (Część 3). Huffington Post. https://www.huffpost.com/entry/why-google-should-beregu_b_2054111 6-29-19 aktualizacja: Link do części 4 na końcu artykułu jest zepsuty. Użyj: https://www.huffpost.com/entry/why-google-should-be-regu_b_2069223
Epstein, R. (2012c, 31 października). Dlaczego Google powinno być regulowane (Część 2). Huffington Post. https://www.huffpost.com/entry/online-privacy_b_2013583 6-29-19 aktualizacja: Link do części 3 na końcu artykułu jest zepsuty. Użyj: https://www.huffpost.com/entry/why- google-should-be-regu_b_2054111
Epstein, R. (2012b, 23 października). Dlaczego Google powinno być regulowane (Część 1). Huffington Post. https://www.huffpost.com/entry/google-privacy_b_1962827 6-29-19 aktualizacja: Link do części 2 na końcu artykułu jest zepsuty. Użyj:
https://www.huffpost.com/entry/online- privacy_b_2013583 (Uwaga: Zredagowana wersja całego artykułu ukazała się po raz pierwszy w The Kernel [UK] 5 września 2012. Patrz poniżej.)
Epstein, R. (2012a, 12 września). Google: The case for hawkish regulation. The Kernel.
https://webarchive.org/web/20121016112820/https://www.kernelmag.com/features/repor t/3281/google-the-case-for-hawkish-regulation (Rozszerzona wersja ukazała się w czterech częściach w The Huffington Post począwszy od października 201223,. Patrz wyżej.)