ZPĚTBACK

14Zaujatá data, zaujatý modelBiased data, biased model

Modely z příkladů 5 a 6 se učí z dat. Ale co když jsou data zaujatá? Tady stejný klasifikátor (perceptron) dostane buď férová, nebo zaujatá historická rozhodnutí — a uvidíš, že zaujatá data = zaujatý model, i když jsme mu nikdy neřekli, aby někoho znevýhodňoval. The models in examples 5 and 6 learn from data. But what if the data is biased? Here the same classifier (a perceptron) is given either fair or biased historical decisions — and you'll see that biased data = a biased model, even though we never told it to disadvantage anyone.

Co a jak?What & how?

Co to jeWhat it is Stejný klasifikátor jako u perceptronu (5). Každý bod je člověk: vodorovně kvalifikace, svisle skupina (A/B — což by nemělo rozhodovat), barva = jak rozhodla historická data. Model se z nich naučí dělicí hranici.The same classifier as the perceptron (5). Each dot is a person: horizontally qualification, vertically group (A/B — which shouldn’t decide anything), color = how the historical data decided. The model learns a boundary from them.

Co zkusitWhat to try Přepínej mezi férovými a zaujatými daty a sleduj dole míru přijetí stejně kvalifikovaných lidí v obou skupinách. U férových je hranice svislá; u zaujatých se nakloní — a kvalifikovaní ze skupiny B najednou neprojdou.Switch between fair and biased data and watch the acceptance rate of equally qualified people in both groups below. With fair data the boundary is vertical; with biased data it tilts — and qualified people from group B suddenly don’t make it.

Proč je to důležitéWhy it matters Model nikdy nedostal pokyn někoho znevýhodnit — převzal nespravedlnost z dat. A tváří se objektivně. Tečka za sérií: každý model je jen tak dobrý jako data, na kterých se učí.The model was never told to disadvantage anyone — it inherited the unfairness from the data. And it looks objective. A coda to the series: a model is only as good as the data it learns from.

1 historická data (s rozhodnutími)historical data (with decisions) 2 model se naučí vzorthe model learns the pattern 3 model rozhoduje nověthe model makes new decisions
v datech přijataccepted in data v datech zamítnutrejected in data model přijímámodel accepts model zamítámodel rejects
Míra přijetí stejně kvalifikovaných lidí (kvalifikace vpravo od poloviny)Acceptance rate of equally qualified people (qualification right of the middle)
Skupina AGroup A
– %
Skupina BGroup B
– %
Proč na datech tak záležíWhy the data matters so much

Model nehledá „spravedlnost" — hledá vzor v datech a co nejvěrněji ho zopakuje. Když lidé v minulosti rozhodovali zaujatě, je ta zaujatost v datech — a model ji převezme, aniž by „chtěl". Nebezpečné je, že výsledek pak vypadá objektivně: „rozhodl počítač". The model isn't looking for "fairness" — it's looking for a pattern in the data and reproducing it as faithfully as it can. If people decided in a biased way in the past, that bias is in the data — and the model inherits it without "meaning to". The danger is that the result then looks objective: "the computer decided".

Model = zrcadlo datThe model mirrors the data

Model nezná „spravedlnost" — jen kopíruje vzory z trénovacích dat. Co bylo v datech, to bude i ve výstupu. The model has no notion of "fairness" — it just copies patterns from the training data. Whatever was in the data shows up in the output.

Odkud se bere zaujatostWhere bias comes from

Z historických rozhodnutí lidí, z nevyvážených dat (jedné skupiny málo) nebo z chybných štítků. Model to věrně zopakuje — a klidně i posílí. From people's historical decisions, from unbalanced data (too few of one group), or from wrong labels. The model faithfully repeats it — and may even amplify it.

Tváří se objektivněIt looks objective

„Rozhodl počítač" zní neutrálně, ale model jen zopakoval lidskou zaujatost schovanou za čísla. Proto je dobré výsledky kontrolovat podle skupin — jako tady. "The computer decided" sounds neutral, but the model only repeated human bias hidden behind numbers. That's why it's good to check outcomes by group — like here.

Týká se i LLMIt applies to LLMs too

Stejně jako tenhle klasifikátor (příklady 5–6) se i velké jazykové modely učí z dat — a přebírají jejich zaujatost a stereotypy. Větší model problém nevyřeší, jen schová. Just like this classifier (examples 5–6), large language models also learn from data — and pick up its biases and stereotypes. A bigger model doesn't solve the problem, it just hides it.