TwinLadder Nedēļas Apskats

Izdevums #2 | 2025. gada februāris

Redaktora piezīme

Pagājušajā nedēļā piedalījos piegādātāja demonstrācijā Briselē, kur pārdošanas inženieris ar pilnīgu pārliecību teica: "Mūsu rīks būtībā ir bez halucinācijām." Es viņam lūdzu definēt "būtībā." Viņš nespēja.

Tāds ir juridiskā MI mārketinga stāvoklis 2025. gadā. Piegādātāji izvirza apgalvojumus par uzticamību, ko neatkarīgi pētnieki ir tieši atspēkojuši. Un tā kā lielākā daļa praktiķu nelasa akadēmiskos rakstus, mārketings uzvar. Esmu šo shēmu vērojis divdesmit gadus juridiskajās tehnoloģijās — piegādātāja solījums vienmēr apsteidz verificēto realitāti. Šoreiz atšķirība ir tāda, ka plaisa starp solījumu un realitāti var izbeigt karjeras.

Stenfordas RegLab nolēma pārbaudīt piegādātāju apgalvojumus ar īstu metodoloģiju — iepriekš reģistrētu, recenzētu, publicētu Journal of Empirical Legal Studies. Viņu atklājumiem vajadzētu mainīt to, kā katrs no mums domā par MI palīdzētu izpēti. Ne tāpēc, ka rīki ir bezjēdzīgi — tie patiešām nav. Bet tāpēc, ka plaisa starp to, ko piegādātāji sola, un to, ko pētnieki mēra, ir pietiekami plata, lai atņemtu licences, izraisītu sankcijas un radītu profesionālās atbildības prasības. Eiropā, kur ES MI regulas 4. pants tagad pieprasa dokumentētu MI pratību, šo uzticamības skaitļu izpratne nav akadēmiska ziņkāre. Tas ir atbilstības pienākums.

Ko patiesībā nozīmē 17% halucināciju līmenis

Stenfordas RegLab pētījums "Bez halucinācijām?" bija vienkāršs pēc uzbūves un postoši pēc rezultātiem. Izveidot reālistiskus juridiskās izpētes vaicājumus, tos izpildīt vadošajos MI rīkos, manuāli verificēt katru atbildi un atsauci. Pēdējā daļa — manuālā verifikācija — bija, kā pētnieki atzīmēja, "ārkārtīgi laikietilpīga." Katra atbilde saturēja vairākas atsauces, un katra prasīja neatkarīgu apstiprinājumu.

Rīks	Halucināciju līmenis	Pilnībā precīzas atbildes
Lexis+ AI	~17%	65%
Westlaw MI palīdzētā izpēte	~34%	Nav atklāts
Ask Practical Law AI	~17%	18%
Universālais GPT-4 (bez juridiskā RAG)	~69%	Nav atklāts

Ļaujiet man to pārtulkot praksē. Ja dienā izpildāt piecus izpētes vaicājumus, izmantojot labāko pieejamo rīku, jūs katru dienu saskarsieties ar aptuveni vienu halucinētu atbildi. Divdesmit pieci vaicājumi nedēļā nozīmē četras līdz piecas potenciālas kļūdas. Mērogojiet to uz 20 juristu biroju, kas veic mērenu MI palīdzētu izpēti, un jūs katru nedēļu ģenerējat desmitiem izdomājumu — jebkurš no tiem var kļūt par sankciju pieteikumu, profesionālās atbildības prasību vai advokātu kolēģijas disciplinārlietu.

Pētnieki identificēja divus atšķirīgus neveiksmes veidus, un šī atšķirība ir būtiska. Nepareizas atbildes, kur MI apraksta tiesības nepareizi vai pieļauj faktu kļūdas — paziņo, ka likums nosaka kaut ko, ko tas nenosaka, vai nepareizi raksturo tiesas nolēmumu. Un nepamatotas atbildes, kur MI apraksta tiesības pareizi, bet atsaucas uz avotiem, kas neapstiprina apgalvojumu. Otrais veids ir bīstamāks tieši tāpēc, ka izklausās pareizi. Analīze ir ticama. Atsauce izskatās leģitīma. Bet, atverot nolēmumu, tas nesaka to, ko MI apgalvoja.

Kad Thomson Reuters sākotnēji kritizēja metodoloģiju — jo pētnieki bija testējuši Ask Practical Law AI, nevis Westlaw AI-Assisted Research, pēc tam kad Thomson Reuters noraidīja piekļuves pieprasījumus — Stenforda atkārtoja analīzi pēc piekļuves piešķiršanas. Rezultāts: Westlaw halucinēja divreiz biežāk nekā Lexis. Piegādātāja mēģinājums diskreditēt pētījumu radīja sliktākus skaitļus tā paša produktam. Neatkarīgas verifikācijas vērtība — tā ir mācība.

Eiropas praktiķiem tas saka kaut ko ļoti svarīgu. Šie ir vislabāk finansētie, visnobriedušākie juridiskie MI produkti pasaulē, būvēti uz īpašnieciskām juridiskajām datubāzēm, ko veidojuši uzņēmumi ar gadu desmitiem juridiskās publicēšanas pieredzes. Un labākais no tiem joprojām halucinē vienu reizi no sešām. Rīki, kas nonāk Eiropas tirgos — pielāgoti kontinentālās tiesību sistēmas jurisdikcijām, daudzvalodu, bieži būvēti uz mazākiem apmācības korpusiem — nedarbosies labāk. Tie var darboties sliktāk.

Tiem no mums, kas praktizē vairākās Eiropas jurisdikcijās, daudzjurisdikciju dimensija problēmu saasina. MI rīks, kas galvenokārt apmācīts uz ASV un AK precedentu tiesību judikatūras, uzrādīs atšķirīgus uzticamības rādītājus, atbildot uz jautājumiem par Vācijas komerclikumu, Francijas administratīvajām tiesībām vai Latvijas civilprocesu. Stenforda testēja angļu valodas, precedentu tiesību vaicājumus. Neviens vēl nav publicējis līdzvērtīgu pētījumu Eiropas kontinentālās tiesību sistēmām. Kamēr tas nav noticis, uztveriet Stenfordas skaitļus kā grīdu, nevis griestus.

Jūsu faktiskā pieredze mainīsies atkarībā no vaicājumu sarežģītības, jurisdikciju pārklājuma, prakses jomas specializācijas un jaunāko notikumu aktualitātes. Pētījums sniedz atskaites punktu, nevis garantiju. Jūsu konkrētais lietojuma gadījums varētu būt labāks. Vai sliktāks.

Kompetences jautājums

Tiesas vairs nav pacietīgas pret juristiem, kas nesaprot savus rīkus. Saskaņā ar Damjena Šarlotēna halucināciju izsekotāju, ar MI saistīto sankciju temps ir dramatiski pieaudzis: "Pirms šī 2025. gada pavasara mums bija varbūt divi gadījumi nedēļā. Tagad ir divi vai trīs gadījumi dienā." Vairāk nekā 600 lietu ASV vien ir ietvērušas juristus, kas atsaucas uz neeksistējošām tiesu lietām.

Sankciju trajektorija	Ko tas nozīmē
2023–2025. gada sākums: ~2 gadījumi nedēļā	Tiesas izsniedz brīdinājumus
2025. gada vidus un tālāk: 2–3 gadījumi dienā	Tiesas zaudē pacietību
600+ gadījumu ar safabricētām atsaucēm kopā	Tendence pārāk liela, lai ignorētu
$10 000 sods — Kalifornijas jurists, 21 no 23 atsaucēm safabricētas	Finansiālās sekas pieaug
90 dienu darbības apturēšana — Kolorādo advokāts	Profesionālās sekas klāt

Kalifornijas juristam tika uzlikts $10 000 naudas sods par apelāciju, kurā 21 no 23 lietu citātiem bija safabricēti. Advokātiem MyPillow tiesvedībā katram tika piemērots $3000 sods par "vairāk nekā divdesmit kļūdām." Kolorādo advokāts saņēma 90 dienu darbības apturēšanu par nespēju verificēt MI rezultātus. Tiesas ir atsaukušas pilnvaras un noteikušas obligātu ziņošanu advokātu disciplinārajām komisijām.

Un šeit ir pavērsiens, kam vajadzētu satraukt ikvienu: nesenais Kalifornijas nolēmums atteica piešķirt advokātu izdevumus daļēji tāpēc, ka pretējā puse nespēja atklāt — vai neziņoja par — viltotām atsaucēm otras puses dokumentā. Iespējams, mēs vērojam pienākuma formēšanos identificēt MI halucinācijas pretējās puses iesniegumos, ne tikai savējos.

Eiropas praktiķiem disciplinārā ainava veidojas citādi, bet ne maigāk. Austrālijā juristam tika aizliegta neuzraudzīta prakse uz diviem gadiem. Kanādā lietā Ko v. Li tika piemērotas sankcijas par tiesas necienīšanu. Eiropas advokātu kolēģijas uzmanīgi seko šiem precedentiem. Latvijas Zvērinātu advokātu kolēģija, Nīderlandes Advokātu kolēģija un Vācijas Federālā advokātu kolēģija — visas ir sākušas izstrādāt vai izdevušas vadlīnijas par MI lietošanu. ES MI regulas 4. panta pratības prasība pievieno regulatīvu dimensiju, kas ASV nepastāv — ja jūsu darbinieki nevar apliecināt "pietiekamu MI pratību," jūs saskaraties ar regulatīvajiem riskiem vēl pirms viena halucinācija nonāk tiesā.

Kompetences jautājums 2025. gadam nav tas, vai jūs lietojat MI. Tas ir, vai jūs to saprotat pietiekami labi, lai uztvertu tā kļūdas — un vai spējat to pierādīt regulatoram vai tiesai.

Ko darīt šonedēļ

Atvēliet 20–30% no "ietaupītā" laika verifikācijai. MI palīdzēta izpēte ir ātrāka pat ar iebūvētu verifikāciju. Taču laika ietaupījums pilnībā izzūd, ja iesniedzat dokumentu ar atsaucēm uz neeksistējošām lietām. Plānojiet to. Aizsargājieties. Laiks, ko ieguldāt verifikācijā, ir apdrošināšana pret karjeru izbeigošām kļūdām.
Verificējiet piecas lietas katrai MI ģenerētai atsaucei. Esamība — vai lieta eksistē primārajās datubāzēs? Precizitāte — vai atsauces formāts ir pareizs? Nolēmums — vai lieta saka to, ko MI apgalvo? Aktualitāte — vai tā nav atcelta vai nošķirta? Relevance — pareizā jurisdikcija, saistoša vai pārliecinoša? Eiropas praktiķiem pievienojiet sesto: valoda — vai oriģinālais nolēmums bija tajā valodā, kurā MI to prezentē, vai arī MI ir tulkojis un potenciāli sagrozījis nolēmumu?
Uzmanieties no brīdinājuma pazīmēm. Atsauces, kas izklausās pārāk perfekti piemērotas jūsu argumentam. Nolēmumi, kas šķiet neparasti plaši vai labvēlīgi. Lietas no negaidītām jurisdikcijām. Citāti, kas neparādās burtiski faktiskajā nolēmumā. Manā pieredzē — jo perfektāk MI atsauce atbalsta jūsu pozīciju, jo rūpīgāk tā jāverificē.
Dokumentējiet savu verifikācijas procesu. Saglabājiet MI rezultātu ekrānuzņēmumus ar laika zīmogiem. Atzīmējiet lietā, kuras daļas bija MI palīdzētas. Fiksējiet verifikācijas soļus. Ja kādreiz tiek uzdoti jautājumi — no tiesas, advokātu kolēģijas vai apdrošinātāja — jūsu dokumentētais process ir jūsu aizstāvība. Saskaņā ar 4. pantu šī dokumentācija var kalpot arī kā MI pratības atbilstības pierādījums.
Uztveriet MI izpēti kā pirmo atlases filtru, nevis galīgo atbildi. Tas palīdz ātrāk atrast potenciāli atbilstošos avotus nekā manuālā izpēte. Jums joprojām jālasa nolēmumi, jāverificē atsauces un pašam jāapstiprina to saturs. Tā nav tehnoloģijas neveiksme. Tas ir godīgs novērtējums par to, kur mēs šobrīd atrodamies. Juristi, kas saprot šo atšķirību, attīstīsies. Juristi, kas uzticas rezultātam, galu galā saskarsies ar sekām.

Ātrā lasīšana

Stenfordas pētījums tagad publicēts Journal of Empirical Legal Studies, ar metodoloģiju, kas pieejama replikācijai citās institūcijās. Tas ir recenzēta zinātne, nevis emuāra ieraksts. Eiropas juridiskajām fakultātēm vajadzētu replicēt šo metodoloģiju kontinentālās tiesību sistēmas jurisdikcijām.
Štatu advokātu kolēģijas paātrina MI ētikas vadlīnijas — aptuveni puse ASV štatu tagad ir izdevusi formālus atzinumus par MI lietošanu. Eiropā ES MI regula nodrošina regulatīvo ietvaru, bet nacionālās advokātu kolēģijas vēl tiek tam līdzi. Šī plaisa ir iespēja proaktīviem birojiem.
Gan Lexis, gan Westlaw turpina apgalvot uzlabotu precizitāti kopš pētījuma perioda, taču neatkarīga šo apgalvojumu verifikācija pagaidām nepastāv. Kamēr neatkarīgi pētnieki apstiprinās uzlabojumus, uztveriet piegādātāju precizitātes apgalvojumus kā mārketingu. Tas vienlīdz attiecas uz Eiropas juridiskajiem MI produktiem.
Stanford HAI analīze sniedz pieejamu atklājumu kopsavilkumu tiem, kas vēlas galvenās atziņas, nelasot pilnu rakstu. Kopīgojiet ar savu komandu — tas ir vissvarīgākais pētniecības materiāls jebkuram juristam, kas lieto MI rīkus.

Viens jautājums pārdomām

Ja labākais juridiskais MI rīks izdomā informāciju vienu reizi no sešām un jūs to lietojat divdesmit reizes šonedēļ, cik pārliecināts esat, ka jūsu verifikācijas process uztvert katru kļūdu? Un ja jums nav verifikācijas procesa — kāds tieši ir jūsu plāns?

TwinLadder Nedēļas Apskats | Izdevums #2 | 2025. gada februāris

Palīdzam Eiropas profesionāļiem veidot MI kompetenci caur godīgu izglītību.