Hvordan Duke Reporters Lab brugte de politiske konventioner til at perfektionere sit automatiserede faktakontrolprogram

Faktakontrol

Hilsen af ​​Duke Reporters 'Lab

De sidste to uges politiske konventioner gav de perfekte betingelser for Tech & Check Cooperative ved Duke Reporters Lab for at perfektionere sit automatiserede faktakontrolprogram, Squash, og dets menneskelige komponent, Gardener.

eksempler på rævnyheder løgne

Squash er et program for kunstig intelligens, der foretager matches i realtid mellem eksisterende faktakontrol Gør anmeldelse , reporterlaboratoriets faktecheck-tagging-system og udsagn fra en levende højttaler. Det bruger en kombination af Googles Tale til tekst ; ClaimBuster , som blev udviklet ved University of Texas i Arlington; og Duke's egen kodning til at matche ord, der tales til dem, der er skrevet i en faktakontrol. Disse faktakontroller dukker op på skærmen for at give seerne mere kontekst om de spørgsmål, der diskuteres.

Imidlertid, som Reporting Labs meddirektører Bill Adair og Mark Stencel skrev for Nieman Lab i juli , dette system er ikke uden ulemper.

'Nogle gange kan stemme til tekst være rigtig god, hvis mikrofonen er god, og personen taler tydeligt, men vi har haft nogle komisk dårlige,' sagde Adair. Under afstemningen ved navneopråb på den demokratiske nationale konvent matchede Squash en faktakontrol om armhule sved til Kansas 'stemmer.

Christopher Guess, den ledende teknolog for Reporters Lab, sagde, at den nuværende teknologi ikke tillader en computer at forstå nuansen og konteksten i den måde, politikere ofte taler på.

'En menneskelig faktakontrol hæmmer ofte og diskuterer og diskuterer med kolleger, hvilken vinkel du vil nærme dig dette,' sagde Guess. 'Det er noget, en computer bogstaveligt talt ikke kan gøre.'

Gardener er en ny grænseflade, som Tech & Check-teamet har bygget oven på Squash for at løse denne mangel. Squash giver den menneskelige assistent ('gartneren') tre mulige matchende faktakontrol, som denne person derefter vælger for at blive vist for seerne.

mand lider af hjerteanfald gruppe selfie

”Så i praksis lukker vi ud af de dårlige og viser de gode,” sagde Adair. Programmet er stadig i sin barndom, og ud over at perfektionere de matchende og overvinde hindringer inden for tale-til-tekst-teknologi siger både Adair og Guess, at de har brug for mange flere faktakontroller for at kunne perfektionere teknologien.

”Det er afhængig af et stort korpus af tidligere kontrollerede krav,” sagde Guess. Lige nu har ClaimReview en database med omkring 60.000 krav, men Guess sagde, at kun omkring en tredjedel af dem er relevante for amerikansk politik. ”En verden af ​​maskinlæring fungerer normalt i millioner og milliarder, ikke titusinder,” sagde Guess.

Mens de venter på yderligere krav, eksperimenterer holdet med andre måder at forbedre faktakontrolkampe på. Et af dem er et program kaldet Caucus, som grupperer faktakontrol i kategorier, som derefter kan matches med krav, der er hentet af tale til tekst.

”Så sig denne sætning handler om sundhedspleje, dette handler om politik, dette handler om Idaho,” sagde Guess. 'Jeg har en teori om, at påstande, der falder inden for de samme kategorier, er mere tilbøjelige til at være relateret end påstande, der ikke er.'

Adair ville ikke lægge en tidslinje for, hvornår denne teknologi ville være tilgængelig for offentligheden. ”Vores mål er bare at fortsætte med at gøre det bedre, indtil det er klar,” sagde han. 'Vi har gjort store fremskridt på tre år, og du kan gøre meget med alle de smarte mennesker, du ser her.'

Harrison Mantas er reporter for International Fact-Checking Network, der dækker faktakontrol og misinformation. Nå ham på hmantas@poynter.org eller på Twitter på @HarrisonMantas