TwinLadder Nedēļas Apskats

Izdevums #2 | 2025. gada februāris

Redaktora piezīme

Pagājušajā nedēļā piedalījos piegādātāja demonstrācijā Briselē, kur pārdošanas inženieris ar pilnīgu pārliecību teica: "Mūsu rīks būtībā ir bez halucinācijām." Es viņam lūdzu definēt "būtībā." Viņš nespēja.

Tāds ir juridiskā MI mārketinga stāvoklis 2025. gadā. Piegādātāji izvirza apgalvojumus par uzticamību, ko neatkarīgi pētnieki ir tieši atspēkojuši. Un tā kā lielākā daļa praktiķu nelasa akadēmiskos rakstus, mārketings uzvar. Šo shēmu esmu vērojis divdesmit gadus juridiskajās tehnoloģijās — piegādātāja solījums vienmēr apsteidz verificēto realitāti. Šoreiz atšķirība ir tāda, ka plaisa starp solījumu un realitāti var izmaksāt karjeras.

Stanford RegLab nolēma pārbaudīt piegādātāju apgalvojumus ar īstu metodoloģiju — iepriekš reģistrētu, recenzētu, publicētu Journal of Empirical Legal Studies. Viņu atklājumiem vajadzētu mainīt to, kā katrs no mums domā par MI palīdzētu izpēti. Ne tāpēc, ka rīki ir bezjēdzīgi — tie patiešām nav. Bet tāpēc, ka plaisa starp to, ko piegādātāji sola, un to, ko pētnieki mēra, ir pietiekami plata, lai atņemtu licences, izraisītu sankcijas un radītu profesionālās atbildības prasības. Eiropā, kur ES MI regulas 4. pants tagad pieprasa dokumentētu MI pratību, šo uzticamības skaitļu izpratne nav akadēmiska ziņkāre. Tas ir atbilstības pienākums.

Ko patiesībā nozīmē 17% halucināciju līmenis

Stanford RegLab pētījums "Bez halucinācijām?" bija vienkāršs pēc uzbūves un postoši pēc rezultātiem. Izveidot reālistiskus juridiskās izpētes vaicājumus, izpildīt tos vadošajos MI rīkos, manuāli verificēt katru atbildi un atsauci. Pēdējā daļa — manuālā verifikācija — bija, kā pētnieki atzīmēja, "ārkārtīgi laikietilpīga." Katra atbilde saturēja vairākas atsauces, un katra prasīja neatkarīgu apstiprinājumu.

Rīks	Halucināciju līmenis	Pilnībā precīzas atbildes
Lexis+ AI	~17%	65%
Westlaw MI palīdzētā izpēte	~34%	Nav atklāts
Ask Practical Law AI	~17%	18%
Universālais GPT-4 (bez juridiskā RAG)	~58%	Nav atklāts
Universālais GPT-3.5 (bez juridiskā RAG)	~69%	Nav atklāts

Pārtulkošu to praksē. Ja dienā izpildāt piecus izpētes vaicājumus, izmantojot labāko pieejamo rīku, katru dienu saskarsieties ar aptuveni vienu halucinētu atbildi. Divdesmit pieci vaicājumi nedēļā — četras līdz piecas potenciālas kļūdas. Mērogojiet to uz 20 juristu biroju ar mērenu MI palīdzētu izpēti, un katru nedēļu ģenerējat desmitiem izdomājumu — jebkurš no tiem var kļūt par sankciju pieteikumu, profesionālās atbildības prasību vai advokātu kolēģijas disciplinārlietu.

Pētnieki identificēja divus atšķirīgus kļūdu veidus, un šī atšķirība ir būtiska. Nepareizas atbildes — MI apraksta tiesības nepareizi vai pieļauj faktu kļūdas: paziņo, ka likums nosaka kaut ko, ko tas nenosaka, vai sagrozī tiesas nolēmumu. Un nepamatotas atbildes — MI apraksta tiesības pareizi, bet atsaucas uz avotiem, kas neapstiprina apgalvojumu. Otrais veids ir bīstamāks tieši tāpēc, ka izklausās pareizi. Analīze ir ticama. Atsauce izskatās leģitīma. Bet, atverot nolēmumu, tas nesaka to, ko MI apgalvoja.

Kad Thomson Reuters sākotnēji kritizēja metodoloģiju — jo pētnieki bija testējuši Ask Practical Law AI, nevis Westlaw AI-Assisted Research, pēc tam kad Thomson Reuters noraidīja piekļuves pieprasījumus — Stanford atkārtoja analīzi pēc piekļuves piešķiršanas. Rezultāts: Westlaw halucinēja divreiz biežāk nekā Lexis. Piegādātāja mēģinājums diskreditēt pētījumu radīja sliktākus skaitļus tā paša produktam. Lūk, mācība par neatkarīgas verifikācijas vērtību.

Eiropas praktiķiem tas saka kaut ko ļoti būtisku. Šie ir vislabāk finansētie, visnobriedušākie juridiskie MI produkti pasaulē, veidoti uz patentētām juridiskajām datubāzēm, ko būvējuši uzņēmumi ar gadu desmitiem juridiskās publicēšanas pieredzes. Un labākais no tiem joprojām halucinē vienu reizi no sešām. Rīki, kas nonāk Eiropas tirgos — pielāgoti kontinentālās tiesību sistēmai, daudzvalodu, bieži būvēti uz mazākiem apmācības korpusiem — nedarbosies labāk. Var darboties sliktāk.

Tiem no mums, kas praktizē vairākās Eiropas jurisdikcijās, daudzjurisdikciju dimensija problēmu saasina. MI rīks, kas galvenokārt apmācīts uz ASV un AK precedentu tiesību judikatūras, uzrādīs atšķirīgus uzticamības rādītājus, atbildot uz jautājumiem par Vācijas komerclikumu, Francijas administratīvajām tiesībām vai Latvijas civilprocesu. Stanford testēja angļu valodas, precedentu tiesību vaicājumus. Neviens vēl nav publicējis līdzvērtīgu pētījumu Eiropas kontinentālās tiesību sistēmām. Kamēr tas nav noticis, uztveriet Stanford skaitļus kā grīdu, nevis griestus.

Jūsu faktiskā pieredze mainīsies atkarībā no vaicājumu sarežģītības, jurisdikciju pārklājuma, prakses jomas specializācijas un jaunāko norišu aktualitātes. Pētījums sniedz atskaites punktu, nevis garantiju. Jūsu konkrētais lietojums varētu būt labāks. Vai sliktāks.

Kompetences jautājums

Tiesas vairs nav pacietīgas pret juristiem, kas nesaprot savus rīkus. Saskaņā ar Damjena Šarlotēna halucināciju izsekotāju, ar MI saistīto sankciju temps dramatiski pieaudzis: "Pirms šī 2025. gada pavasara mums bija varbūt divi gadījumi nedēļā. Tagad — divi vai trīs gadījumi dienā." Vairāk nekā 600 lietu ASV vien ir iesaistījušas juristus, kas atsaucās uz neeksistējošām tiesu lietām.

Sankciju trajektorija	Ko tas nozīmē
2023–2025. gada sākums: ~2 gadījumi nedēļā	Tiesas izsniedz brīdinājumus
No 2025. gada vidus: 2–3 gadījumi dienā	Tiesas zaudē pacietību
600+ gadījumu ar safabricētām atsaucēm	Tendence pārāk liela, lai ignorētu
$10 000 sods — Kalifornijas jurists, 21 no 23 atsaucēm safabricētas	Finansiālās sekas pieaug
90 dienu darbības apturēšana — Kolorādo advokāts	Profesionālās sekas ir klāt

Kalifornijas juristam piemēroja $10 000 naudas sodu par apelāciju, kurā 21 no 23 lietu citātiem bija safabricēti. Advokātiem MyPillow tiesvedībā katram piemēja $3000 sodu par "vairāk nekā divdesmit kļūdām." Kolorādo advokāts saņēma 90 dienu darbības apturēšanu par nespēju verificēt MI rezultātus. Tiesas ir atsaukušas pilnvaras un noteikušas obligātu ziņošanu advokātu disciplinārajām komisijām.

Un šeit ir pavērsiens, kam vajadzētu satraukt ikvienu: nesenais Kalifornijas nolēmums atteica piešķirt advokātu izdevumus daļēji tāpēc, ka pretējā puse neatklāja — vai neziņoja par — viltotām atsaucēm otras puses dokumentā. Iespējams, vērojam pienākuma formēšanos identificēt MI halucinācijas pretējās puses iesniegumos, ne tikai savējos.

Eiropas praktiķiem disciplinārā ainava veidojas citādi, bet ne maigāk. Austrālijā juristam aizliedza neuzraudzītu praksi uz diviem gadiem. Kanādā lieta Ko v. Li noveda pie tiesas necienīšanas procesa, kas tika atrisināts ar nosacījumiem, tostarp obligātiem profesionālās pilnveides kursiem. Eiropas advokātu kolēģijas uzmanīgi seko šiem precedentiem. Latvijas Zvērinātu advokātu kolēģija, Nīderlandes Advokātu kolēģija un Vācijas Federālā advokātu kolēģija — visas ir sākušas izstrādāt vai jau izdevušas vadlīnijas par MI lietošanu. ES MI regulas 4. panta pratības prasība pievieno regulatīvu dimensiju, kas ASV nepastāv — ja jūsu darbinieki nespēj apliecināt "pietiekamu MI pratību," jūs saskaraties ar regulatīvo risku vēl pirms viena halucinācija nonāk tiesā.

Kompetences jautājums 2025. gadam nav par to, vai jūs lietojat MI. Tas ir par to, vai jūs to saprotat pietiekami labi, lai uztvertu tā kļūdas — un vai spējat to pierādīt regulatoram vai tiesai.

Ko darīt

Atvēliet 20–30% no "ietaupītā" laika verifikācijai. MI palīdzēta izpēte ir ātrāka pat ar iebūvētu verifikāciju. Taču laika ietaupījums pilnībā izzūd, ja iesniedzat dokumentu ar atsaucēm uz neeksistējošām lietām. Plānojiet to. Aizsargājieties. Laiks, ko ieguldāt verifikācijā, ir apdrošināšana pret karjeru izbeigošām kļūdām.
Verificējiet piecas lietas katrai MI ģenerētai atsaucei. Esamība — vai lieta eksistē primārajās datubāzēs? Precizitāte — vai atsauces formāts ir pareizs? Nolēmums — vai lieta saka to, ko MI apgalvo? Aktualitāte — vai tā nav atcelta vai nošķirta? Relevance — pareizā jurisdikcija, saistoša vai pārliecinoša? Eiropas praktiķiem pievienojiet sesto: valoda — vai oriģinālais nolēmums bija tajā valodā, kurā MI to prezentē, vai arī MI ir tulkojis un potenciāli sagrozījis nolēmumu?
Uzmanieties no brīdinājuma pazīmēm. Atsauces, kas izklausās pārāk perfekti piemērotas jūsu argumentam. Nolēmumi, kas šķiet neparasti plaši vai labvēlīgi. Lietas no negaidītām jurisdikcijām. Citāti, kas neparādās burtiski faktiskajā nolēmumā. Manā pieredzē — jo perfektāk MI atsauce atbalsta jūsu pozīciju, jo rūpīgāk tā jāverificē.
Dokumentējiet savu verifikācijas procesu. Saglabājiet MI rezultātu ekrānuzņēmumus ar laika zīmogiem. Atzīmējiet lietā, kuras daļas bija MI palīdzētas. Fiksējiet verifikācijas soļus. Ja kādreiz tiek uzdoti jautājumi — no tiesas, advokātu kolēģijas vai apdrošinātāja — jūsu dokumentētais process ir jūsu aizstāvība. Saskaņā ar 4. pantu šī dokumentācija var kalpot arī kā MI pratības atbilstības pierādījums.
Uztveriet MI izpēti kā pirmo atlases filtru, nevis galīgo atbildi. Tas palīdz ātrāk atrast potenciāli relevantus avotus nekā manuālā izpēte. Jums joprojām jālasa nolēmumi, jāverificē atsauces un pašam jāapstiprina to saturs. Tā nav tehnoloģijas neveiksme. Tas ir godīgs novērtējums par to, kur mēs šobrīd atrodamies. Juristi, kas saprot šo atšķirību, attīstīsies. Juristi, kas uzticas rezultātam, galu galā saskarsies ar sekām.

Ātrā lasāmviela

Stanford pētījums tagad publicēts Journal of Empirical Legal Studies, ar metodoloģiju, kas pieejama replikācijai citās institūcijās. Tā ir recenzēta zinātne, nevis emuāra ieraksts. Eiropas juridiskajām fakultātēm vajadzētu replicēt šo metodoloģiju kontinentālās tiesību sistēmas jurisdikcijām.
Štatu advokātu kolēģijas paātrina MI ētikas vadlīnijas — aptuveni puse ASV štatu tagad ir izdevuši formālus atzinumus par MI lietošanu. Eiropā ES MI regula nodrošina regulatīvo ietvaru, bet nacionālās advokātu kolēģijas vēl tiek tam līdzi. Šī plaisa ir iespēja proaktīviem birojiem.
Gan Lexis, gan Westlaw turpina apgalvot uzlabotu precizitāti kopš pētījuma perioda, taču neatkarīga šo apgalvojumu verifikācija pagaidām nepastāv. Kamēr neatkarīgi pētnieki apstiprinās uzlabojumus, uztveriet piegādātāju precizitātes apgalvojumus kā mārketingu. Tas vienlīdz attiecas uz Eiropas juridiskajiem MI produktiem.
Stanford HAI analīze sniedz pieejamu atklājumu kopsavilkumu tiem, kas vēlas galvenās atziņas, nelasot pilnu rakstu. Dalieties ar komandu — tas ir vissvarīgākais pētniecības materiāls jebkuram juristam, kas lieto MI rīkus.

Viens jautājums

Ja labākais juridiskais MI rīks izdomā informāciju vienu reizi no sešām, un jūs to lietojat divdesmit reizes šonedēļ — cik pārliecināts esat, ka jūsu verifikācijas process uztver katru kļūdu? Un ja jums nav verifikācijas procesa — kāds tieši ir jūsu plāns?

TwinLadder Nedēļas Apskats | Izdevums #2 | 2025. gada februāris

Palīdzam profesionāļiem veidot MI kompetenci caur godīgu izglītību.