Opracowanie asystenta konwersacyjnego opartego na wytycznych, uzupełniającego informacje z sieci, odnoszącego się do internetowych wytycznych praktyki klinicznej dotyczących raka

Podsumowanie

Ten protokół opisuje rozwój i ocenę chatbota z generowaniem opartym na odzyskiwaniu, który odzyskuje i podsumowuje treści z internetowych wytycznych praktyki klinicznej dotyczących raka, aby generować odpowiedzi oparte na referencjach na zapytania użytkowników.

Streszczenie

Szeroka dostępność informacji medycznych w Internecie poprawiła dostęp pacjentów do wiedzy związanej ze zdrowiem; jednak zwiększyło to także narażenie na niedokładne informacje medyczne. Opieka nad chorymi na raka obejmuje złożone informacje, co utrudnia pacjentom identyfikację dokładnych i opartych na dowodach źródeł. Duże modele językowe umożliwiają interakcję w języku naturalnym, ale często generują halucynacje, co ogranicza ich zastosowanie w dostarczaniu informacji medycznych. Generowanie ulepszone o odwołania (RAG) ma potencjał do zmniejszenia tych ryzyk poprzez oparcie odpowiedzi na zewnętrznych źródłach referencyjnych. Niniejsze badanie opisuje opracowanie i ocenę przewodnika opartego na wytycznych, który korzysta z publicznie dostępnych, internetowych wytycznych praktyki klinicznej dotyczących raka. System wyodrębnia adresy URL ze stron zawierających spis treści wytycznych, przetwarza tekst stron za pomocą analizy morfologicznej i podobieństwa cosinusowego na podstawie częstości występowania terminów–odwrotnej częstości dokumentów, oraz konstruuje informacje referencyjne z wysoce istotnych stron. Duży model językowy wykorzystuje te odniesienia do generowania odpowiedzi ograniczanych do treści wytycznych. Jako wytyczna referencyjna została użyta Książeczka JLCS dla Pacjentów z Rakiem Płuc i Ich Rodzin. Zestawy pytań zawierały zarówno typy raka objęte wytycznymi, jak i typy raka nieobjęte wytycznymi, aby ocenić kontrolę odpowiedzi. Informacje medyczne zostały pomyślnie wyodrębnione ze stron zawierających spis treści, a 98% wyodrębnionych adresów URL zawierało referencyjną treść medyczną. W przypadku pytań objętych wytycznymi, chatbot generował odpowiedzi poprzez podsumowanie treści wytycznych i nie zidentyfikowano żadnych halucynacji podczas manualnej rewizji w zdefiniowanych warunkach testowych. W przypadku pytań nieobjętych wytycznymi, chatbot konsekwentnie odmawiał odpowiedzi i wskazywał, że dostępne informacje były niewystarczające. Struktura internetowa wytycznych ułatwiała efektywne skrobing i organizację treści referencyjnych na poziomie adresów URL. Ten protokół dostarcza praktycznych wskazówek dotyczących budowy systemów sztucznej inteligencji, które dostarczają informacji medycznych przy użyciu internetowych wytycznych praktyki klinicznej.

Wprowadzenie

Szerokie wykorzystanie internetu i mediów społecznościowych ułatwiło pacjentom dostęp do informacji medycznych^1,2. Informacje dotyczące opieki nad chorobą nowotworową są często złożone i rozległe, co sprawia, że szczególnie trudno jest pacjentom zidentyfikować źródła, które są dokładne, odpowiednie i oparte na dowodach naukowych³. Podczas gdy zasoby internetowe mogą wspierać zrozumienie przez pacjenta, zawierają również znaczne ilości niepoprawnych informacji medycznych³, co może negatywnie wpływać na decyzje pacjentów dotyczące ich opieki⁴. Ponieważ dezinformacja dotycząca chorób nowotworowych może wpływać na wyniki pacjentów⁵, rośnie potrzeba systemów sztucznej inteligencji (AI), które mogą pomóc indywidualnym użytkownikom w wyszukiwaniu, podsumowaniu i interpretacji informacji medycznych⁶.

Duże modele językowe (LLM) umożliwiają użytkownikom dostęp do informacji poprzez naturalną konwersację językową⁷; jednakże, generacja dezinformacji (tj. halucynacje) pozostaje poważnym problemem w dziedzinie medycznej^8,9,10,11. Jednym z kluczowych źródeł dezinformacji jest jakość i dokładność danych treningowych wykorzystanych do opracowania chatbota. Ponadto, statyczna natura szkolenia modelu oznacza, że wiedza może stać się przestarzała z czasem, ograniczając zdolność LLM do dostarczania aktualnych i odpowiednich kontekstowo informacji^12,13. Te ograniczenia podkreślają znaczenie skutecznych strategii zarządzania wiedzą, aby zapewnić, że odpowiedzi chatbota pozostają dokładne, odpowiednie i aktualne. W szczególności, systemy, które mogą szybko uzyskać dostęp i odwołać się do aktualnych opartych na dowodach zasobów, takich jak wytyczne dotyczące praktyki klinicznej, są pożądane w środowiskach medycznych, gdzie zalecenia i standardy opieki nieustannie ewoluują. Aby sprostać temu wyzwaniu, generacja wzbogacona o odzyskiwanie (RAG), która generuje odpowiedzi poprzez uwzględnienie informacji z zewnętrznych źródeł wiedzy, przyciąga coraz większą uwagę^{10,13,14,15,16,17}.

Mimo że RAG jest coraz częściej stosowany w chatbotach medycznych, ograniczona uwaga została poświęcona na to, jak wytyczne dotyczące praktyki klinicznej powinny być systematycznie włączane jako źródła informacji referencyjnych¹⁸. Wiele wytycznych dotyczących praktyki klinicznej jest dostępnych publicznie w sieci; jednakże, nadal nie jest jasne, czy ich istniejąca struktura internetowa może bezpośrednio służyć jako struktura odzyskiwania dla systemów RAG¹⁸. Ponadto, praktyczne metody konstruowania informacji referencyjnych bez manualnego rozwoju bazy wiedzy nie zostały dobrze ustalone.

W niniejszym badaniu, dążyliśmy do ustanowienia zasad projektowych dla systemów AI odwołujących się do wytycznych w dziedzinie medycznej poprzez opracowanie i ocenę chatbota RAG opartego na wytycznych, który wykorzystuje publicznie dostępne, internetowe wytyczne dotyczące praktyki klinicznej w dziedzinie chorób nowotworowych, umożliwiając w ten sposób prosty i terminowy dostęp do informacji opartych na wytycznych. Jako dowód koncepcji, oceniliśmy techniczną wykonalność pobierania wytycznych, generowania odpowiedzi i ograniczenia odpowiedzi przy użyciu istniejącej struktury internetowej publicznie dostępnych wytycznych dotyczących praktyki klinicznej, z celem zaproponowania powtarzalnego protokołu rozwoju dla systemów RAG odwołujących się do wytycznych.

Protokół

To studium nie dotyczy osób, które wymagają ochrony przed ryzykiem związanym z badaniami. Dlatego nie wymaga przeglądu przez komitet etyczny zgodnie z japońskimi wytycznymi etycznymi dotyczącymi badań medycznych z udziałem ludzi¹⁹. To studium jest raportowane zgodnie z wytycznymi Transparent Reporting of a Multivariable Model for Individual Prognosis or Diagnosis (TRIPOD)-LLM²⁰.

Zobacz Rysunek 1 dla schematycznego przeglądu protokołu chatbota RAG opartego na wytycznych.

Rysunek 1. Przepływ pracy protokołu chatbota RAG opartego na wytycznych. Schematyczny przegląd przepływu pracy chatbota RAG opartego na wytycznych. URL-e są wyciągane ze strony zawartości wytycznych klinicznych dostępnych w Internecie i są używane do skonstruowania informacji referencyjnych. Zapytania użytkowników są konwertowane na słowa kluczowe, a treść stron internetowych jest przetwarzana przez tokenizację, wektoryzowanie częstości występowania terminów – odwrotnej częstości występowania dokumentu i analizę podobieństwa cosinusowego w celu zidentyfikowania odpowiednich stron wytycznych. Wybrane informacje referencyjne są zintegrowane i dostarczane modelowi językowemu dużego zakresu, aby generować odpowiedzi wyłącznie na podstawie referencyjnego treści wytycznych. Prawa panel podsumowuje elementy oceny używane dla wyciągniętych URL-ów, informacji referencyjnych i odpowiedzi chatbota. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

1. Przygotowanie informacji referencyjnych z wytycznych internetowych

1. Wyciągnij wszystkie URL-e ze stron zawartości docelowych internetowych wytycznych klinicznych za pomocą BeautifulSoup 4 (biblioteki parsowania HTML) zaimplementowanej w języku programowania Python (wersja 3.12).
   UWAGA: Zaimplementuj skrypt wyciągania URL-ów za pomocą języka programowania z następującymi pakietami: biblioteka parsowania HTML (wersja 4.12.3) i requests (biblioteka pobierania stron internetowych; wersja 2.32.3). Zainstaluj pakiety za pomocą pip. Pełny kod źródłowy do wyciągania URL-ów znajduje się w Pliku uzupełniającym 1. Zobacz Tablicę materiałów dla szczegółów dotyczących oprogramowania.
2. Ręcznie przejrzyj wszystkie wyciągnięte URL-e, aby potwierdzić pomyślny dostęp i istotność dla docelowych wytycznych klinicznych.
3. Sklasyfikuj każdy URL jako zawierający informacje medyczne lub niemedyczne. Przeprowadź klasyfikację URL-ów przez jednego autora (S.N.).
   UWAGA: Informacje medyczne zostały zdefiniowane jako treść wytycznych odniesienia, w tym pytania kliniczne (CQ), pytania wstępne i zestawy pytań. Informacje niemedyczne obejmowały linki, strony społecznościowe lub organizacyjne i inne pomocnicze treści, które nie były odpowiednie do odniesienia.
4. Skompiluj zweryfikowane URL-e do arkusza Microsoft Excel (format.xlsx), z jednym URL-em zapisanym na jednym rzędzie. Przechowuj wynikowy zestaw URL-ów jako zestaw danych wejściowych do dalszego pobierania tekstu, przetwarzania i analiz podobieństwa.

2. Generowanie słów kluczowych z zapytań użytkowników

1. Wprowadź naturalne zapytanie językowe do modelu słów kluczowych w wersji 4o (model generowania słów kluczowych).
2. Zażądaj od modelu wyciągnięcia dwóch słów kluczowych odpowiadających zapytaniu użytkownika.
3. Użyj następującego polecenia, napisanego w języku japońskim, do generowania słów kluczowych:
   ""
   (Tłumaczenie na język angielski: “Wyciągnij dwa słowa kluczowe z poniższego tekstu.”)
4. Dołącz naturalne zapytanie użytkownika do tej instrukcji i prześlij je do modelu generowania słów kluczowych w celu wygenerowania słów kluczowych.
5. Nie modyfikuj ręcznie żadnych parametrów modelu. Przeprowadź generowanie słów kluczowych przy użyciu domyślnych ustawień modelu generowania słów kluczowych.
6. Generuj dwa słowa kluczowe dla każdego zapytania użytkownika. Zachowaj oba słowa kluczowe bez dalszych modyfikacji, filtrowania lub ręcznej selekcji i użyj ich do dalszych obliczeń podobieństwa.
7. Przechowuj wygenerowane słowa kluczowe w arkuszu Microsoft Excel (format.xlsx). Dla każdego rekordu przechowuj oryginalne zapytanie użytkownika i jego odpowiednie wygenerowane słowa kluczowe do dalszego pobierania opartego na podobieństwie.

3. Przetwarzanie tekstu i obliczanie podobieństwa

1. Pobierz pełny tekst z każdego wyciągniętego URL-u za pomocą biblioteki pobierania stron internetowych i biblioteki parsowania HTML. Wyciągnij treść tekstu z źródła HTML za pomocą funkcji get_text() z biblioteki BeautifulSoup.
2. Prze

Wyniki

Dostępność treści medycznych za pomocą stron z spisem treści

Architektura web-scraping zbierała adresy URL z strony ze spisem treści wytycznych. Z Książki Płuc wyodrębniono 106 adresów URL ze strony ze spisem treści, z których 104 (98%) zawierały informacje medyczne (Dodatek Tabela 1). Skuteczność odpowiedzi chatbota opartych na stronach treści wytycznych podsumowano w Tabeli 1. Chatbot generował odpowiedzi dla wszystkich czterech słów kluczowych dotyczących klinicznych, gdy pytania mieściły się w zakresie wytycznych. W przypadku „rozpoznania guza tymusowego” i „rozpoznania patologicznego” wyodrębniono po trzy powiązane adresy URL dla każdego słowa kluczowego, a wszystkie wyodrębnione adresy URL uznano za skuteczne (100%). W przypadku „metod leczenia” i „leczenia chirurgicznego” wyodrębniono 15 adresów URL dla każdego słowa kluczowego, przy czym 14 pozycji było skutecznych (93%).

Pytanie	Słowa kluczowe	Przypisane elementy treści, n	Skuteczne przypisane elementy, n (%)
Jakie metody diagnostyczne są dostępne w przypadku guzów tymusowych?	Rozpoznanie guza tymusowego	3	3 (100)
Jakie są podejścia diagnostyczne w przypadku guzów tymusowych?	Rozpoznanie patologiczne guza tymusowego	3	3 (100)
Jakie opcje leczenia są dostępne w przypadku guzów tymusowych?	Metody leczenia guza tymusowego	15	14 (93)
Jakie są opcje leczenia chirurgicznego guzów tymusowych?	Leczenie chirurgiczne guza tymusowego	15	14 (93)

Tabela 1: Treść informacji referencyjnych i odpowiedzi chatbota na podstawie Książki JLCS dla pacjentów z rakiem płuca i ich rodzin. Podsumowanie pytań użytkowników, wygenerowanych słów kluczowych, liczby przypisanych elementów treści zidentyfikowanych na podstawie odnośności oraz liczby skutecznych przypisanych elementów zawierających informacje medyczne. Przypisane elementy treści reprezentują całkowitą liczbę powiązanych stron internetowych zidentyfikowanych na poziomie URL na podstawie każdego słowa kluczowego. Skuteczne przypisane elementy reprezentują liczbę i procent unikalnych stron zawierających informacje medyczne po wykluczeniu duplikatów adresów URL i stron niemedycznych.

Odpowiedzi chatbota na pytania w zakresie wytycznych

Tabela 2 przedstawia odpowiedzi chatbota na pytania, które mieściły się w zakresie dostarczonych wytycznych. Gdy dostępne informacje referencyjne były wystarczające, chatbot generował odpowiedzi poprzez podsumowanie odpowiednich części tekstu wytycznych. Wygenerowane odpowiedzi składały się z około 350 znaków japońskich. Podczas ręcznej rewizji w zdefiniowanych warunkach testowych nie zidentyfikowano żadnych halucynacji. Dla tych pytań w zakresie wytycznych wiele skutecznych przypisanych elementów wsparło generowane odpowiedzi (Tabela 1). Wygenerowany tekst w języku japońskim został przetłumaczony na język angielski za pomocą wersji 5.2 modelu ChatGPT, a następnie przejrzany przez badaczy pod kątem dokładności i spójności z oryginalnymi odpowiedziami w języku japońskim.

Pytanie	Odpowiedzi					Liczba znaków
Jakie metody diagnostyczne są dostępne w przypadku guzów tymusowych?	Rozpoznanie guzów tymusowych wymaga zarówno rozpoznania obrazowego, jak i rozpoznania patologicznego. W przypadku rozpoznania obrazowego wykonuje się tomografię komputerową klatki piersiowej i rezonans magnetyczny klatki piersiowej. Guz tymusowy i rak tymusowy to guzy stałe, które nie zawierają składników powietrznych lub płynnych wewnątrz guza, a nawałka w tkanki otaczające jest znana jako lekka w guzie tymusowym i bardziej zauważalna w raku tymusowym. Gdy badania obrazowe stwierdzają, że nie ma nawałki w tkankach otaczających lub nie ma guzów oddalonych od pierwotnej zmiany (przerzuty), guz jest chirurgicznie resekowany, a rozpoznanie patologiczne jest wykonywane za pomocą preparatu chirurgicznego. Gdy resekcja chirurgiczna jest trudna, wykonuje się biopsję pod kontrolą TK, a rozpoznanie jest ustalone przez uzyskanie części tkanki guza. W rozpoznaniu patologicznym guzy tymusowe są klasyfikowane na podstawie proporcji normalnych limfocytów wewnątrz guza i morfologii komórek nowotworowych, podczas gdy rak tymusowy jest klasyfikowany szczegółowo według podtypu histologicznego. W celu ustalenia stadiowania klinicznego (stadium) bierze się pod uwagę stopień rozprzestrzenienia zmian guzów tymusowych, a guzy są klasyfikowane w stadiach od I do IV na podstawie trzech systemów klasyfikacji stadiowania.					366
Jakie są podejścia diagnostyczne w przy

Dyskusja

W tej studii zbadaliśmy przydatność chatbota RAG opartego na wytycznych, który korzystał z internetowej wytycznej dotyczącej praktyki klinicznej—Przewodnika JLCS dla Pacjentów z Rakiem Płuca i Ich Rodzin—jako źródła informacji referencyjnych. Chatbot generował odpowiedzi oparte na treści wytycznych poprzez wykorzystanie struktury internetowej wytycznych i pobieranie stron na podstawie ich podobieństwa do pytań użytkowników. Takie podejście wykazało, że pobieranie na podstawie podobieństwa w połączeniu z generowaniu odpowiedzi opartych na wytycznych może wspierać niezawodne i efektywne dostarczanie informacji medycznych. Ostatnie badania podkreśliły zarówno potencjał, jak i ograniczenia chatbotów medycznych opartych na LLM, szczególnie w odniesieniu do halucynacji i niezawodności odpowiedzi^12,13,14. W przeciwieństwie do poprzednich badań, które koncentrowały się na ogólnych strukturach chatbotów^10,12,13, obecny protokół demonstruje wykonalny i powtarzalny podejście RAG oparte na wytycznych, które pobiera treści pacjent-wytyczne na poziomie URL i generuje odpowiedzi oparte na identyfikowalnych informacjach referencyjnych. Niniejsze badanie zapewnia więc przejrzysty protokół dostarczania informacji o raku, a nie w pełni zweryfikowany system chatbota klinicznego.

Zamiast uczyć sztucznej inteligencji na całym korpusie wytycznych, nasz system wybierał tylko pytania CQ najbardziej istotne dla każdego zapytania użytkownika jako informacje referencyjne (Rysunek 1). Relacja między tekstem pytania a każdym CQ była kwantowana za pomocą obliczeń podobieństwa kątowego opartych na języku programowania z reprezentacjami wektorowymi TF–IDF. Na podstawie tych wyników podobieństwa, CQ były rangowane i wybierane w malejącej kolejności istotności, umożliwiając systematyczne wyciąganie odpowiednich źródeł informacji z wytycznych bez konieczności opierania się na subiektywnym osądzie (Tabela 1). Ponadto, łączenie pobranego tekstu CQ i przedstawianie ich łącznie AI pomogło zachować spójną bazę dowodową dla generowanych odpowiedzi, poprawiając tym samym dokładność i spójność kontekstową wygenerowanych odpowiedzi. W systemach RAG, generacja poprawnych informacji zależy krytycznie od dokładnych i odpowiednich źródeł referencyjnych¹⁴. Ta konstrukcja pozwoliła systemowi na rekompensatę informacji, które nie mogły być wystarczająco opisane przez pojedyncze CQ, przyczyniając się do bardziej kompleksowych i klinicznie wiarygodnych odpowiedzi. Dodatkowo, RAG umożliwia elastyczne pobieranie aktualnej treści CQ i jest dobrze przystosowany do zastosowań medycznych opartych na dowodach^10,11. Chociaż podejścia RAG oparte na wytycznych zostały wcześniej opisane^11,18, obecny protokół różni się użyciem istniejącej struktury webowej opartej na CQ wytycznych pacjent-zorientowanych jako podstawowej ramy pobierania. Ta konstrukcja zapewnia przejrzysty i powtarzalny proces, który może być zaimplementowany bez konieczności manualnej budowy bazy wiedzy lub ponownego trenowania modelu.

Ważne jest, że chatbot ograniczał swoje odpowiedzi do zakresu odniesionych wytycznych. Kiedy pytania wyszły poza treść wytycznych, system wyraźnie powstrzymywał się od generowania odpowiedzi, zmniejszając tym samym ryzyko niepotwierdzonych odpowiedzi. Zastosowanie podobieństwa kątowego do kontroli selekcji referencji zwiększyło dalsze bezpieczeństwo i niezawodność wygenerowanych odpowiedzi (Tabela 2). Strony referencyjne były również pobieranie dla pytań poza zakresem wytycznych (Tabela 3). Wartości podobieństwa kątowego były wyższe dla pytań w zakresie (0,20–0,65) niż dla pytań poza zakresem (0,20–0,31; dane nie pokazane), ale niskie wyniki podobieństwa nadal były przypisywane niektórym stronom wytycznych, nawet gdy treść nie była klinicznie istotna. Stało się tak, ponieważ podobieństwo kątowe było obliczane wyłącznie na podstawie dopasowania słów kluczowych między zapytaniem a tekstem wytycznych. Ważne jest, że te referencje o niskiej istotności nie skutkowały niewłaściwymi odpowiedziami, ponieważ chatbot powstrzymywał się od generowania odpowiedzi, gdy nie było wystarczającej informacji referencyjnej. Podczas manualnej rewizji w zdefiniowanych warunkach testowych nie zidentyfikowano żadnych halucynacji. Próg podobieństwa kątowego wynoszący 0,2 został dobrany empirycznie podczas wstępnych testów, aby zbilansować wrażliwość i specyficzność pobierania. Chociaż ten próg był skuteczny w obecnych warunkach testowych, systematyczna ocena wrażliwości progu wykraczała poza zakres niniejszej studii protokolu. Przyszłe badania powinny zbadać wpływ alternatywnych ustawień progów za pomocą większych zestawów danych bazowych i metryk pobierania ilościowych. Zaobserwowane zachowanie sugeruje, że kontrola wyjścia oparta na RAG może być użyteczna w zastosowaniach sztucznej inteligencji w medycynie. Jednak obecna ocena była oparta na ograniczonym zakresie pytań w zakresie i poza zakresem i miała być przede

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Beautiful Soup 4 (wersja 4.12.3)	Beautiful Soup Project	N/A	Biblioteka Pythonu używana do wyciągania URL i parsowania HTML
ChatGPT wersja 4o	OpenAI	N/A	Używany do generowania słów kluczowych
GPT-3.5-turbo	OpenAI	N/A	Używany do generowania odpowiedzi
JLCS Guidebook for Lung Cancer Patients and Families	Japan Lung Cancer Society	N/A	Kliniczna wytyczna dostępna w sieci używana jako informacja referencyjna
MeCab (wersja 0.996)	MeCab Project	N/A	Japoński morfologiczny analizator
OpenAI API	OpenAI	N/A	Używany do generowania odpowiedzi opartych na AI
Python (wersja 3.12)	Python Software Foundation	N/A	Środowisko programistyczne
Requests (wersja 2.32.3)	Requests Project	N/A	Biblioteka Pythonu używana do pobierania stron internetowych
scikit-learn (wersja 1.6.1)	scikit-learn Developers	N/A	Używany do wektoryzacji TF–IDF i obliczania podobieństwa cosinusowego.
urllib.parse	Python Software Foundation	N/A	Biblioteka Pythonu używana do normalizacji URL i łączenia