Szukam programisty, który pomoże mi stworzyć system do scrapowania treści z wybranych stron internetowych, przetwarzania tych treści za pomocą AI (ChatGPT) oraz ich automatycznej publikacji na portalu zbudowanym na WordPress. Chciałbym, aby cały proces był maksymalnie zautomatyzowany i zminimalizował ręczne zaangażowanie.

Zakres projektu obejmuje:

Stworzenie scrapera do pobierania treści z innych stron internetowych

Potrzebuję dedykowanego scrapera, który będzie automatycznie pobierał treści z wybranych stron internetowych (np. artykuły, wiadomości, poradniki, publicystyka). Scraper powinien:

Wykorzystywać popularne narzędzia do scrapowania, takie jak BeautifulSoup, Requests lub Scrapy (w zależności od wielkości projektu).

Obsługiwać dynamiczne zmiany na stronach (np. zmiany w strukturze HTML, CSS, JavaScript) i radzić sobie z potencjalnymi blokadami (np. CAPTCHA, blokady User-Agent).

Zapisywać pobrane dane w formacie JSON lub w lekkiej bazie danych (np. SQLite).

Przetwarzanie pobranych danych przez AI (ChatGPT)

Kolejnym krokiem będzie zautomatyzowane przesyłanie zebranych danych do AI (ChatGPT) za pomocą API. Na podstawie zebranych artykułów AI ma:

Generować własne pełne artykuły, poradniki lub teksty publicystyczne na podstawie pobranych materiałów źródłowych.

Tworzyć treści unikalne, z odpowiednio dobranym stylem oraz formatem pasującym do tematyki portalu.

Automatyczna publikacja treści na WordPressie za pomocą API

Po przetworzeniu treści przez AI, system ma:

Przesyłać wygenerowane artykuły do portalu opartego na WordPressie za pomocą jego REST API.

Zapisywać treści jako szkic lub automatycznie publikować je na portalu w zależności od ustawień.

Zarządzać kategoriami, tagami oraz innymi metadanymi, aby odpowiednio organizować treści na stronach.

Automatyzacja całego procesu

Cały proces powinien być w pełni zautomatyzowany i uruchamiany według ustalonego harmonogramu

Wymagania techniczne: Zaawansowana znajomość Pythona oraz bibliotek do scrapowania (BeautifulSoup, Requests, Scrapy). Doświadczenie w pracy z API ChatGPT oraz API WordPress (REST API). Znajomość baz danych oraz formatów zapisu danych (JSON, SQLite). Umiejętność tworzenia skalowalnych i odpornych na zmiany skryptów scrapujących. Znajomość narzędzi do automatyzacji procesów (Task Scheduler, Cron, Heroku). Proszę o wycenę i wskazanie przybliżonego czasu realizacji. Zdaję sobie sprawę, że istnieją gotowe rozwiązania na rynku, jednak interesuje mnie stworzenie dedykowanego narzędzia, które najlepiej odpowie na moje potrzeby. W załączniku znajduje się szczegółowy opis procesu działania scrapera – proszę się z nim zapoznać przed przedstawieniem oferty.