Jak rozpoznać tekst napisany przez chatGPT i dlaczego autorzy i specjaliści stosujący modele językowe tracą na tym?

Jakiś czas temu napotkałem się na raport przygotowany przez specjalistę ds. bezpieczeństwa. Raport był dość obszerny i zawierał pewne poprawne i ważne informacje, jednakże po lekturze pierwszych akapitów od razu wiedziałem, że mam do czynienia z tekstem wygenerowanym przez chat GPT. Pomyślałem sobie wtedy, że warto byłoby napisać o tym artykuł, ale zrezygnowałem z pomysłu zakładając, że temat będzie zbyt oczywisty. Tymczasem zarówno w kontekście prywatnym, jak i zawodowym coraz częściej napotykam się na teksty wygenerowane przez wspomniane narzędzie oparte o technologię sztucznej inteligencji. Czy Ty również to dostrzegasz?

Okazuje się, że osobom nie pracującym na co dzień z chatemGPT trudne dostrzec, że dany fragment lub cała praca została wygenerowana przez model językowy. Często intuicyjnie przeczuwają, że coś z tym tekstem jest nie w porządku. Podobnie osoby, które pracują z algorytmami językowymi po czasie obcowania z nimi intuicyjnie rozpoznają teksty generowane automatycznie. Jednocześnie mając taki tekst przed sobą niełatwo wskazać konkrety potwierdzających tezę, że autorem jest algorytm. Nasz mózg w jakimś stopniu, w nie do końca dla nas zrozumiały sposób rozpoznaje, że tekst nie pasuje do bliżej nieokreślonego wzorca. Inaczej mówiąc czujemy pewną nietypowość przy jednoczesnym wrażeniu, że wszystko wygląda ok. Tekst brzmi jak dobrze znana nam muzyka i z trudem przychodzi analiza, ale co konkretnie tu nie pasuje?

 

Czy Chat GPT może popsuć twoją pracę intelektualną?

 

Osobiście uważam, że nie ma nic złego w wspieraniu się chatemGPT, ponieważ jest to świetne narzędzie pomagające w efektywnej pracy. Pomaga ono w poszerzaniu horyzontów, inspiruje, poprawia i pomaga w edycji tekstów etc.

Dobrze użyty jest jak krytyczny kompan, z którym można wejść w dyskusje oraz pomaga nam zobiektywizować efekty pracy niczym pięcioosobowy zespół dr. House’a. Lekarze w tym serialu nie zawsze stawiali trafne tezy, ale pozwalali House’owi na krytyczną analizę, która działa się w jego głowie. Widać to szczególnie w odcinku gdy słynny diagnosta leci na pokładzie samolotu i okazuje się, że jeden z pasażerów potrzebuje medycznej pomocy. House wybiera przypadkowych pasażerów, aby pomogli mu w analizie medycznej. Przypomina to czasem pracę z chatemGPT. Ponieważ zdarza się, że nic mądrego nie odpowie ale w naszej głowie zadzieje się proces, który pozwala na pójść dalej w analizie tematu. To od ciebie zależy jak użyjesz młotka i kalkulatora, czy modelu językowego. Problem w tym gdy forma i narzędzie narzuca treść.

Jeżeli chcemy używać tego narzędzia w pracy zawodowej trzeba dokonać nieco wysiłku, aby takie działanie miało sens i nie było łatwo rozpoznawalne. Trzeba pamiętać, że to tylko narzędzie, która ma dużo potencjału, ale jednocześnie może zdyskredytować nas jako specjalistów, a wręcz podważać autentyczność naszych kompetencji.

 

Ważna zasada jak się nie skompromitować?

 

W ostatnich miesiącach pojawiło się, wiele poradników jak odpowiednio wykorzystać tego typu modele językowe niejako programując je za pomocą odpowiednich promptów czyli informacji/słów, które przekazujemy systemowi, aby wykonał zadanie.

Co do zasady, im więcej mamy wiedzy na temat używania takiej technologii oraz im więcej poświęcimy czasu na odpowiednie zapromptowanie algorytmu, tym konkretniejsze i zadawalające rezultaty otrzymamy. Ogólnie mówiąc im mądrzejszy operator(prompter) tym lepsze powstają teksty, a praca staje się wydajniejsza. Jakość wyników generowanych przez modele językowe zależy od jakości i szczegółowości promptów – inaczej mówić pisząc tekst specjalistyczny musimy tak czy inaczej wykazać się wiedzą specjalistyczną, aby zasugerować chatowi kierunek, które dla nas(!) będzie miał sens.

Niestety zasada ta działa także w drugą stronę. Ogólne pytanie wygeneruje ogólną odpowiedź i to najczęściej taką, która zanudzi odbiorcę trywializmami. Z jednej strony chat zaskakuje z drugiej strony rozczarowuje. Trzeba jednak powiedzieć, że chat potrafi te reguły ignorować, w końcu rozmawiamy z „chaosem ” 😉

Wracając do przypadku. Skąd wiedziałem, że otrzymany tekst został wygenerowany przez Chat?

Ponieważ miał charakterystyczny styl, o czym poniżej. Dość długo zajęło mi znalezienie błędów merytorycznych w raporcie ponieważ tekstu było bardzo dużo. Miałem wrażenie rozmydlonej wody. Wydobycie konkretnych wniosków istotnych dla firmy, która zamówiła raport było czasochłonne.

Tutaj chciałbym podkreślić dlaczego niektóre raporty dostarczone przez audytorów są w moim odczuciu wysoce irytujące?

Trzeba spędzić dużo czasu, aby je przeanalizować i wydobyć konkretne informacje np. dla zarządu lub na potrzeby budowania planu działania. Podobnie z procedurami. Wygenerowana automatycznie instrukcja postępowania, bez udziału ludzkiego redaktora będzie brzmiała dobrze, ale nie uwzględni kontekstu organizacji, ponieważ tej chatGPT oczywiście nie zna.

Ktoś jednak może powiedzieć, że nie da się rozpoznać sztucznej inteligencji bez odpowiednich algorytmów i oczywiście po części będzie miał racje. Jeżeli jako operatorzy/użytkownicy dołożymy starań do odpowiedniego promptu to tekst wygenerowany przez chatGPT będzie dla wielu osób niedorozróżnienia od twórczości człowieka. Nawet chatGPT odnosząc się krytycznie do tekstu, który drogi czytelniku czytasz uważa on, że:

„Twierdzenie, że teksty wygenerowane przez ChatGPT mają „charakterystyczny styl” może być subiektywne. Modele językowe są trenowane na różnorodnych danych, co pozwala im generować teksty o różnorodnym stylu.”

Problem w tym, że wiele osób zachwyconych technologią używa chatu w sposób podstawowy. Wrzucają proste ogólne zapytania i liczą na efekt cud tzn. że chat domyśli się o co im chodzi, a następnie doda „hiper galaktycznej” mądrości, a finalnie nastąpi efekt wow! Chat jest trochę jak mężczyźni, choć lubią dużo mędrkować, rzadko się domyślają 🙂

Profesjonaliści już wiedzą, że to tak nie działa. Tymczasem adepci sztuki AI zachwyceni szybkim efektem lub efektownością AI nie dostrzegają, że ich tekst jest charakterystyczny i łatwy do rozpoznania. Następnie używają tego tekstu w pracy zawodowej i narażają się na kompromitację.

 

Po czym wstępnie rozpoznać poznać tekst generowany przez AI?

 

Moje wrażenie potwierdzone przez znajomych jest takie, że człowiek często pisze teksty jakby ostrzejsze i bardziej wyraziste. Częściej skupia się nieproporcjonalnie na jednym wątku, który odkrył lub który chce zaakcentować. Chat lubi opisać temat kompleksowo i wyjść od ogółu. Częściej stworzy podręcznik, który kompleksowo opisuje wszystko niż rozprawkę, która będzie intrygować. Człowiek na ogół jest bardziej konkretny, pomysłowy i emocjonalny. Tekst przygotowany przez chat zazwyczaj jest długi, nieostry z małą ilością faktów, dużą ilością przewidywań i hipotez, a przede wszystkim ogólników. Nawet jeżeli postanowimy opisać dość dokładnie nasz pomysł i pozostawimy chatowi jego dokładniejsze opracowanie otrzymamy coś co zazwyczaj nie ma polotu i nie zachwyca bystrością autora – co najwyżej prezentuje pewne poukładanie i poprawność gramatyczną.

Do tego wszystkiego trzeba powiedzieć, że tekst wykonany przez AI nie musi tak wyglądać. ChatGPT daje potężne możliwości, ale poruszam tutaj problem używania tego narzędzia w sposób nieprofesjonalny przez profesjonalistów w swoich branżach.

Zdarzało mi się przygotowywać teksty dla znajomych na różne okazje. Ostatnio rozmawiałem z autorem jednej książki, który podzielił się podobnymi spostrzeżeniami. To daje do myślenia. Powiedział on, że

Po czasie zauważyłem, że to co było w nich najciekawsze i doceniane w tekstach opracowanych przy pomocy ChatGPT to … właśnie mój własny pomysł, czyli oryginalny wkład do prompta.

Tu mój apel. Jeżeli przygotowujesz opinię, raport to twoja ocena będzie bardziej wartościowa ostra, subiektywna i dzięki temu wartościowa. Chat może być bardzo pomocnym kompanem, ale tylko w roli pomocnika. Zapoznaj się z poradnikami jak przygotować to narzędzie do swojej pracy np., poprzez tworzenie własnych modeli chatów.

 

Pogadaliśmy to idziemy do konkretów 🙂 Po czym rozpoznać niewłaściwe użycie chatuGPT?

 

1. Ogólnie mówiąc częste mówienie o hipotetycznych ryzykach, ogólnych zasadach. Chat naturalnie skręca w tę stronę – ogólności i szerokiego omawiania tematu.

2. Nadużywanie słowa „może”. Częstotliwość słowa „może” czy „mogą” może być  istotnym wskaźnikiem użycia chatuGPT. Nazywam to hipotetyzowaniem (gdybaniem). Może istnieje lepsza nazwa, która może będzie bardziej tu pasować?

3. Nadużywanie słów takich jak: zawsze, każdy, znane jako, istotne, najczęściej, co może świadczyć o… , ważne, kluczowe. Słowa te odzwierciedlają cechy chatuGPT, który stosuje:

a.    Absolutyzmy – „zawsze”, „każdy”

b.    Generalizacje – „najczęściej”

c.     Wyrażenia wartościujące – „istotne”, „ważne” „kluczowe”.

d.    Terminy wprowadzające wnioski – „co może świadczyć o…”

e.    Definicje/wyjaśnienia – „znane jako”.

4. Nadużywanie słowa „ oto:”. O to przykłady wskaźników mogących świadczyć o użyciu czatu:

a.    Oto kilka kluczowych aspektórw związanych z …:

b. Oto kilka zagrożeń związanych z… :

Polacy rzadko używają tej formy chyba, że chcą powiedzieć: Oto idzie król, o to mały krok dla człowieka…, itp. Przed oczami mam tekst gdzie „oto” występuje 15 razy i jest to typowy wskaźnik użycia chatu.

5. Wątki bez punktora ale z dwukropkiem: Kolejne wylistowane wątki kończą się  charkterystycznym dwukropkiem na końcu (tak jak w tym akapicie). Jest to bardzo charakterystyczne.

6. Równa ilość zdań: Potem oczywiście następują zdania w równej liczbie dla każdego akapitu. Może to świadczyć o użyciu chatu GPT.

7.    Praktycznie brak odniesienia do faktów lub przytaczanie ich w szczątkowej ilości.

8.    Nawet jeżeli tekst odnosi się do faktów to szybko temat przechodzi w „gdybanie”. Widać wyraźną dysproporcję między konkretami a licznymi wnioskami autora.

9. Zmyślone fakty: Chyba nikogo nie dziwi, że chat wymyśla fakty, ponieważ jest to związane z naturą działania algorytmów, które tylko imitują inteligencję, ale nie wchodźmy w filizofię. Chat wybiera właściwe pasujące wyuczone słowa a nie prawdę.

10. Tezy popularne, ale nieprawdziwe.Swego czasu w necie było sporo artykułów RODO pisanych w celach reklamowych przez osoby nieznającej się w temacie. Chat tą całą mądrość ludu „zassał” do bazy, a więc w tematach RODO często mija się z prawdą. Notabene potrafi przytaczać teksty ustaw których nie ma, czy  zbierać zgody na przetwarzania danych na podstawie uzasadnionego interesu administratora etc.

11. Odnośniki do źródeł, które nie potwierdzają udowadnianej tezy (są w tym samym temacie ale mówią o czymś innym).

12. Praktycznie nie istnieją przykłady, a jeżeli są to raczej ogólne.

13. Równoważenie wydźwięku zdań: Dotyczy tez, które nie pokrywają się z ogólnie przyjętymi koncepcjami będącymi częścią algorytmu: np. Trzeba jednak pamiętać, że … częste używanie słowa „może” nie zawsze oznacza, że mamy do czynienia z czatemGPT i może ono mylnie wskazywać na udział maszyny.

14. Disclaimer:Pouczające zastrzeżenie. Pada po pytaniach dotyczących kwestii dyskutowanych w kontekście globalnym czy w tematach kontrowersyjnych. Chat na końcu dodaje klauzulę, która ma zapobiegać skutkom nieodpowiedniego wykorzystania treści lub (mam wrażenie) znieść odpowiedzialność z jego twórców. Nie mniej mogę nie mieć racji i najlepiej skontaktować się ze specjalistą od AI.

15. Brak konsekwencji typologicznej. Problem polegający niekonsekwentnym grupowaniu przedmiotów według ich podobieństwa do przedmiotu wzorcowego (zwanego typem). Inaczej mówiąc czat dzieli nam zagadnienia na pojęcia lub wątki do omówienia i raz robi to ze względu na dany aspekt a innym razem ze względu na inny .

16. W większych pracach trudno dostrzec klucz tematów.Jeżeli mamy wątpliwość dlaczego autor pisze o tym a nie tamtym, a następnie płynnie prowadzi nas po różnych wątkach, które po dłuższej analizie łączy jedynie powiązanie tematyczne a nie sensowna myśl, może oznaczać użycie modelu językowego np. Zapytajmy ogólnie chat tak jakby zrobiła to każda osoba z marszu (model tymczasowy bez innych własnych promptów):

Ja: Dlaczego bezpieczeństwo jest ważne?

ChatGPT: Bezpieczeństwo jest ważne, ponieważ:
•           Chroni życie i zdrowie ludzi.
•           Zapewnia ochronę mienia i infrastruktury.
•           Zabezpiecza dane osobowe i wrażliwe informacje przed kradzieżą i nieuprawnionym dostępem.
•           Umożliwia ciągłość działania firm i instytucji.
•           Buduje zaufanie klientów, partnerów biznesowych i społeczeństwa.
•           Minimalizuje ryzyko strat finansowych i reputacyjnych.
•           Zapewnia zgodność z przepisami prawnymi i regulacjami i poprawia bezpieczeństwo. 

Bezpieczeństwo jest kluczowym elementem stabilności i rozwoju w każdym aspekcie życia społecznego i gospodarczego.

Ja: Czy widzisz niespójność w tym co napisałeś?
ChatGPT: Tak, widzę niespójność. Napisałem kilka punktów, które nie są jednorodne typologicznie, ponieważ mieszają różne aspekty bezpieczeństwa (fizyczne, informacyjne, operacyjne).

W kolejny kroku poprosiłem o to, aby tekst został poprawiony a w odpowiedzi dostałem praktycznie to samo. To jest przykład złego promptu 🙂 zgodnie z zasadą wlałem mało dostałem mało. Chat próbował odpowiedzieć maksymalnie horyzontalnie.

PS. Nie warto pytać algorytmu czy coś widzi, lub że popełnił błąd gdy tego nie zrobił, ponieważ w tym momencie dokładamy mu sugestię o dużej wadze, którą uwzględni przy odpowiedzi. Jest jak łatwowierny człowiek – bardzo podatny na sugestie. Nie dotyczy to wątków ideologicznych, tu wyraźnie chat będzie prezentował stanowisko poprawnie polityczne wyuczone przez swoich twórców.

17. Brak sensu w zdaniach tzn. Jest logika ale nie ma sensu. Np. „Cisza krzyczy głośniej niż najgłośniejszy hałas, ponieważ jest absolutnie niema.” 🙂

18. Ponadprzeciętna poprawność gramatyczna, której czytelniku nie znajdziesz w moich tekstach. 🙂

19. Zdania, które są poprawne i prawdziwe, ale nic nie wnoszące do sprawy.

20. Rzadko występuje  tzw. story telling. W niniejszym tekście bazujemy na moim doświadczeniu raportu napisanego przez audytora bezpieczeńtwa, aby nadać tekstowi ciekawość i autentyczność. Bez odpowiedniej sugestii chat wykona takiego zabiegu.

21. Doklejone tło z aplikacji chatu – tak zdarza się , że niektórzy nawet nie czyszczą formatu domyślnego chatu i wklejają treść razem ze stylem tekstu wprost z aplikacji chatu.

22. iczne brakujące pierwsze litery akapitów sugeruje, że tekst był przeklejany.

23. Podsumowanie na końcowe tekstu zazwyczaj nie wnosi nic nowego do tematu. Człowiek częściej naświetli konkretną kwestię lub zaprezentuje tezę, którą chciał udowodnić od początku tekstu, potrafi spiąć wszystko zaskaującą konkluzją i zaciekawić człowieka. Chat najczęściej powie ogólnie w kilku zdaniach to samo co mówił wcześniej ale w formie syntetycznej.

 

Czy słusznie czujemy się oszukani, gdy dostajemy tekst wygenerowany przez AI?

 

Dokonałem kilku prób użycia chatu GPT aby rozpoznał sam siebie. Chat czytając własny tekst oczywiście stoi na stanowisku, że zaprezentowany mu materiał nie był pisany przez AI, a nawet wręcz przeciwnie rozpoznaje pracę ludzkiego specjalisty w danej branży. Trudno się dziwić to ludzie go trenowali ludzkim językiem.

Tymczasem my jako specjaliści w danej branży otrzymując tak przygotowany tekst czujemy się oszukani przez ludzkiego autora, który miał być przecież profesjonalistą? Czy wykorzystanie chatu podważa profesjonalizm specjalisty?

Oczywiście, że nie! Niestety odkrycie tego faktu dla wielu domyślnie oznacza rozczarowanie i jest jednoznaczne z kompromitacją autora: niskie kompetencje lub lenistwo, a może cwaniactwo? Ludzie słysząc, że przygotowaliśmy dany tekst przy użyciu chatuGPT często myślą, że tekst jest dobry właśnie dlatego ponieważ wsparła nas technologia. Wszystko jasne! Użyłeś chatu tzn. poszedłeś na łatwiznę! Tymczasem bardzo często dobry tekst to nierzadko efekt i identyfikator ludzkiej pracy!

Przygotowanie chatu do pracy, aby nie działał tak ja powyżej opisałem wymaga wiedzy i poświęcenia czasu – to również jest praca i wysiłek. To prawdopodobnie jest nasza przyszłość.

Połączenie modelu językowego i świadomego operatora, który wie co robi i co chce osiągnąć to mnożenie potencjału i wartości.

Dostawcy i entuzjaści tej technologii wiedzą to doskonale i prześcigają się w wykonywaniu narzędzi pozwalających nadać tekstowi humanoidalny charakter. Często nie wiedzą tego osoby rozpoczynające prace z tego typu narzędziami, nawet jeżeli mają spory dorobek naukowy czy zawodowy. W skrócie mówiąc nie warto iść na łatwiznę, ponieważ ktoś może łatwo to odkryć!

Po dużym entuzjazmie AI niczym po erze dotcom przychodzi refleksja, że te wspaniałe zabawki technologiczne potrzebują jednak dobrych operatorów.

Mam nadzieję, że to opracowanie choć skromne w swojej formie i pisane z przymrużeniem oka pozwoli kolegom i koleżanką uniknąć sytuacji w której odbiorca waszej pracy uśmiechnie się i skwituje: o znowu chatGPT 🙂

Piotr Sowa

P.S  Poniżej ten sam artykuł napisany przez chatGPT bez żadnego przygotowania. Mam nadzieję, drogi czytelniku, że mój tekst podobał Ci się bardziej 😉

Jak rozpoznać tekst napisany przez ChatGPT i dlaczego specjaliści stosujący AI tracą na tym?

W ostatnich latach sztuczna inteligencja (AI) znacząco zmieniła sposób, w jaki komunikujemy się i przetwarzamy informacje. Jednym z najbardziej zaawansowanych przykładów jest model językowy GPT (Generative Pre-trained Transformer), który umożliwia generowanie tekstu na podstawie ogromnej ilości danych treningowych. Choć narzędzie to ma wiele zastosowań, jego używanie może również prowadzić do wyzwań, zwłaszcza w kontekście rozpoznawania autentyczności tekstu.

Jak rozpoznać tekst napisany przez ChatGPT?

1.     Styl i spójność: Teksty generowane przez ChatGPT często cechują się wysoką spójnością i gramatyczną poprawnością. Model potrafi generować długie, logicznie skonstruowane zdania bez widocznych błędów interpunkcyjnych czy gramatycznych.

2.     Zawartość i tematyka: ChatGPT potrafi dostosować się do różnorodnych tematów i stylów pisarskich, co czyni go wszechstronnym narzędziem do generowania treści na różne potrzeby.

3.     Brak kontekstu lub błędne informacje: Mimo wysokiej jakości generowanego tekstu, ChatGPT może popełniać błędy związane z brakiem aktualnych informacji lub kontekstu, co może prowadzić do nieścisłości w treści.

4.     Szybkość odpowiedzi: Teksty generowane przez AI są zazwyczaj szybkie i natychmiastowe, co odróżnia je od odpowiedzi człowieka, które mogą wymagać czasu na przemyślenie. [Szybkość odpowiedzi w tekście publikowanym lub na dokumencie nie ma znaczenia ale chat o tym nie wie ]

Dlaczego specjaliści stosujący AI tracą na tym?

1.     Autentyczność i wiarygodność: W kontekście publikacji zawierających unikalne spostrzeżenia lub analizy, teksty generowane przez AI mogą być postrzegane jako mniej autentyczne i mniej wiarygodne niż te napisane przez ludzi. To może obniżać zaufanie czytelników do publikacji i wpływać na reputację autora.

2.     Etyka i przejrzystość: Używanie AI do generowania treści wiąże się z wyzwaniami etycznymi, zwłaszcza gdy czytelnicy mogą nie być świadomi, że tekst nie został napisany przez człowieka. W takich przypadkach przejrzystość jest kluczowa dla utrzymania zaufania.

3.     Umiejętności specjalistyczne i analizy: Specjaliści, którzy opierają swoją pracę na dogłębnych analizach lub specjalistycznej wiedzy, mogą tracić na automatycznie generowanych tekstach, które nie są w stanie dostarczyć takiej samej głębi merytorycznej i doświadczenia.

Podsumowanie

Choć AI, takie jak ChatGPT, oferuje niezaprzeczalne korzyści, takie jak automatyzacja i szybkość w generowaniu treści, to stosowanie jej w celach komunikacyjnych wymaga ostrożności i przejrzystości. Warto zawsze pamiętać o rosnących oczekiwaniach czytelników co do autentyczności i jakości informacji, które publikujemy. Integracja sztucznej inteligencji powinna iść w parze z dbałością o wysoką jakość, etykę i przejrzystość komunikacji.