Automatyzacja

Solvart Import

Pliki od kontrahentów wczytywane do wspólnej struktury danych: mapowanie kolumn ustawia analityk, a przed zapisem widać, co plik zmieni w bazie.

Zobacz, jak to działa

Krótki film pokazuje Solvart Import w działaniu.

Funkcje Solvart Import

Wszystko, czego potrzeba, żeby plik od kontrahenta trafił do wspólnej struktury danych bez pisania kodu i bez niespodzianek w bazie.

Wejście

Pliki od kontrahenta, także kilka naraz

Dane przychodzą w formatach, które kontrahent ma pod ręką. Import przyjmuje je takimi, jakie są, zamiast wymagać jednego wzorca.

  • Obsługiwane formaty: XLSX, CSV oraz TXT rozdzielany znakiem.
  • Pakiet z kilku plików: dane osobowe i harmonogramy w osobnych plikach tworzą jeden pakiet, w którym każdy plik jest zakładką wiązaną relacjami z pozostałymi, tak samo jak arkusze jednego skoroszytu.
  • CSV bez ustawiania: separator wykrywany samodzielnie, kodowanie rozpoznawane po znaczniku BOM, a gdy bajty nie są poprawnym UTF-8, plik czytany jest jako Windows-1250.
Krok wyboru pliku w kreatorze szablonu: wgrany pakiet XLSX z trzema zakładkami, z liczbą wierszy i listą kolumn każdej z nich

Mapowanie

Nowe źródło ustawia analityk, bez programisty

Kreator prowadzi przez cały szablon: kontrahent i portfel, wskazanie pliku, relacje między zakładkami i mapowanie kolumn na wspólną strukturę.

  • Podpowiedź mapowania: pola dopasowywane po nazwach kolumn, a przy każdej kolumnie widać jej wypełnienie i przykładową wartość.
  • Transformacje w stylu arkusza: 21 funkcji, między innymi wytnij, podstaw, jeżeli i złącz.
  • Normalizatory i walidacje: 14 reguł dla numeru PESEL, NIP, adresu e-mail, telefonu, kodu pocztowego, kwoty i daty.
  • Słowniki wartości: oznaczenia kontrahenta zamieniane na własne, raz ustawione i używane w kolejnych plikach.
  • Szablon jako plik tekstowy: da się go obejrzeć, porównać z poprzednią wersją i przenieść na inne środowisko.
Mapowanie kolumn pliku na pola wspólnej struktury: przy każdej kolumnie źródłowej jej wypełnienie i przykładowa wartość, wybrane pole docelowe, transformacja i walidacja

Symulacja

Widzisz, co plik zrobi w bazie, zanim cokolwiek zapiszesz

Symulacja odpowiada na pytanie, którego po zapisie nie da się już zadać: co ten plik zmieni w danych.

  • Rozbicie na encje: ile rekordów powstanie w każdej z nich, osobno dla dłużników, spraw, wierzytelności i pozostałych.
  • Skutek każdego wiersza: widać, który rekord jest nowy, który zmieniony i który nie wnosi nic.
  • Decyzja przed zapisem: import uruchamiasz dopiero po obejrzeniu wyniku symulacji.
Symulacja przed zapisem: liczby rekordów w rozbiciu na encje i lista wierszy ze skutkiem każdego z nich

Wykrywanie zmian

Po drugim pliku wychodzi lista zmian, a nie portfel od nowa

Kontrahent przysyła kolejną wersję tego samego portfela. Import rozpoznaje, co się w niej zmieniło, zamiast nadpisywać wszystko.

  • Powtórzony plik: liczony jest skrót SHA-256 treści, więc ten sam plik pod inną nazwą zostaje rozpoznany i pominięty.
  • Powtórzony rekord: klucz naturalny z pliku i odcisk treści dają status „bez zmian”, a rekord nie jest nadpisywany.
  • Historia wersji: poprzednie wersje rekordu zostają w tabelach historii, więc widać, co i kiedy się zmieniło oraz z którego pliku.
  • Ślad przebiegu: kto uruchomił import, ile wierszy weszło oraz ile rekordów jest nowych, zmienionych, bez zmian, zamkniętych i odrzuconych.
SHA-256 treści kolejna wersja portfela nowe rekordy zmienione rekordy bez zmian, nic nie nadpisane

Harmonogram i błędy

Import chodzi sam, a błędny wiersz nie zatrzymuje reszty

Wpis harmonogramu to szablon, katalog na serwerze, wzorzec nazwy pliku oraz godzina i dni tygodnia. Usługa w tle sprawdza terminy co minutę.

  • Pliki z katalogu: brane są te pasujące do wzorca, a wczytane wcześniej zostają pominięte.
  • Kwarantanna zamiast przerwania: błędny wiersz trafia do kwarantanny z powodem i nazwą pola, a reszta pliku wchodzi normalnie.
  • Ostrzeżenia osobno: wartość podejrzana nie blokuje rekordu, ale zostaje odnotowana.
  • Bezpiecznik na cały plik: gdy z portfela znika więcej rekordów niż zadany procent, przebieg zostaje wstrzymany i do bazy nie trafia nic.
katalog wzorzec nazwy pliku usługa w tle sprawdza terminy co minutę baza kwarantanna

Obszar zastosowań

Wszędzie tam, gdzie dane przychodzą w cudzym układzie, a pracować trzeba na własnym.

Nowy portfel od kontrahenta

Pierwsza paczka plików staje się szablonem, z którego korzystają kolejne przesyłki.

Cykliczne aktualizacje

Katalog na serwerze i harmonogram zamiast ręcznego wgrywania tego samego pliku co tydzień.

Każdy dostawca z własnym układem

Inne nazwy kolumn i inny format zapisu, a po zmapowaniu ta sama struktura docelowa.

Czego nie robi

Żeby nie było nieporozumień przy pierwszej rozmowie.

Kończy pracę na wspólnej strukturze

Dane trafiają do struktury pośredniej. Moduł nie wysyła ich dalej do systemu windykacyjnego ani księgowego.

Nie sięga sam po pliki

Nie pobiera ich ze skrzynki pocztowej ani z serwera SFTP. Plik trzeba wgrać albo położyć w katalogu na serwerze.

Nie łączy tożsamości między portfelami

Ten sam numer PESEL w dwóch portfelach to dziś dwa osobne rekordy.

Kwarantanna jest do czytania

Nie ma w niej przycisku ponownego przetworzenia wiersza. Poprawia się szablon i uruchamia import jeszcze raz.