Materiały Informacyjne

[mmateja]

W załączniku opis analizy i działania aplikacji CREDO Detector App.

Wiki(2).pdf

(1.17 MiB) Pobrany 422 razy

[Wibig]

Mam kilka szczegółowych dość pytań, co do działania aplikacji. Istnieją w USTAWIENIACH trzy parametry wyzwalania. Jednen z nich jest jasny: MAX FACTOR. Poziom BLACK FACTOR wydaje się również zrozumiały, ale nie wiem na pewno, czy jest używany TYLKO do określania "jakości ramki", czy też może i do szacowania poziomu tła. Nie mogłem znaleźć za to opisu parametru "AVERAGE FACTOR". Prawdopodobnie coś przeoczyłem. Czy ktoś może mi powiedzieć, w jaki sposób jest on używany?
Kolejne pytanie: w ustawieniach istnieje adres, pod który mają zostać wysłane dane. A co się stanie, gdy adres ten zmienię?
I jeszcze jedno: czy można uzyskać jakoś "surowe" dane z serwera CREDO?
I ostatnia pytanie związane z poprzednim: Czy można pobrać dane bezpośrednio z telefonu? Czy są zapisane gdzieś w pamięci?
pozdrowienia,
t.w.

[slawekstu]

Average Factor odpowiada za średnią wartość jasności obrazu.
Nie jestem specjalista od analizy zdjęć, ale każdy pixel ma swoje informacje, jedną z nich jest jego jasność.
By obraz był zaakceptowany musi mieć średnią jasność zdjęcia poniżej tej wartości.

Black Factor pomaga określić czy kamera jest zasłonięta: (pozwolę sobie zacytować tekst z FAQ):
Jeżeli średnia jasność jest poniżej Average Factor oraz ilość promilowa pixeli poniżej progu Black jest wyższa niż Black Count to klatka(matryca aparatu) jest uznawana za prawidłowo zasłoniętą i przechodzi do wyszukiwania hitów (detekcji).

w ustawieniach istnieje adres, pod który mają zostać wysłane dane. A co się stanie, gdy adres ten zmienię?

Myślę, że po zmianie adresu dane mogą nie dotrzeć na nasz serwer,ale
Skontaktuję się z odpowiednimi osobami i dowiem się na jakiej zasadzie to działa.

czy można uzyskać jakoś "surowe" dane z serwera CREDO?

Tak, można, ale pobrać można je jako dane *.json.
Pojedyńczą detekcje w pliku mamy opisaną następująco:
{"user_id": 327, "latitude": 49.94, "timestamp": 1522704166478, "altitude": 352.0, "visible": false, "longitude": 19.99, "height": 320, "frame_content": "bardzo dluga nazwa znaków szyfrowanych", "width": 880, "team_id": 333, "source": "legacy", "provider": "gps", "y": null, "x": null, "device_id": 213, "id": 38464, "time_received": 1526396913432, "accuracy": 15.17}},

Jeśli chcemy uzyskać dostęp do tych plików, musimy napisać maila na credodetector@credo.science z uzasadnieniem dlaczego chcemy uzyskać dane, np: analiza danych, chęć wykorzystania do publikacji czy do jakiś innych prac naukowych itp. Jeśli dobrze uzasadnimy prośbę, to mail zostaję przesłany do administratorów zarządzających danymi z aplikacji i przydzielą oni dostęp umożliwiając nam pobranie paczek danych przy pomocy python3 i biblioteki requests.
Wszystkich danych jest już ponad 15GB.

Czy można pobrać dane bezpośrednio z telefonu? Czy są zapisane gdzieś w pamięci?
pozdrowienia,

Nie zapisujemy danych z aplikacji na telefonie, by nie zapchać pamięci telefonu.
Ale można zobaczyć w aplikacji detekcje z ostatnich 10 dni, lub na stronie api.credo.science wszystkie swoje detekcjie wpisując :
https://api.credo.science/web/user/naszlogin/

[Wibig]

Dziękuję za informacje.
Moje pytania wzięły się stąd, że nie jestem przekonany, by ustawienia default parametrów rejestracji były zupełnie OK. Znaczy może są, ale mam wątpliwości. Częstość rejestracji wydaje mi się za niska. Uważam, że rozsądne by było zebrać widmo "wielkości sygnału", a do tego potrzeba by mieć sporą liczbę rejestracji z możliwie małymi progami, w tym rejestracji ewidentnie "szumowych". Przesyłanie tego wszystkiego na serwer CREDO byłoby zaśmiecaniem go niepotrzebnym i dlatego chciałbym w jakiś sposób ominąć ten etap. Nie jest to oczywiście konieczne, ale byłoby niegłupie. Poza tym aby ustalić optymalną miarę "wielkości sygnału" trzeba by mieć odpowiednio dużą ilość rejestracji w postaci cyfrowej, a nie obrazków do pooglądania na stronie. Najlepszym rozwiązaniem byłoby napisanie zmienionej nieco aplikacji, która zapisywałaby jednak dane na karcie pamięci w telefonie. Są pewnie ludzie, którzy potrafią to zrobić bez większego trudu. No może z niewielkim trudem.
Zdaję sobie sprawę, że wchodzę w szczegóły i może forum ogólne nie jest miejscem na taką dyskusję. Ale nie zorientowałem się jeszcze, kto jest osobą najbardziej kompetentną w tym temacie i jak do niego dotrzeć. Kwestia czasu.
Pozdrawiam i dziękuję raz jeszcze.

[slawekstu]

Informację/ uwagi przekazałem osobą zajmującym się aplikacją, jeśli będę miał jakąś odpowiedź dam znać.

Zdaję sobie sprawę, że wchodzę w szczegóły i może forum ogólne nie jest miejscem na taką dyskusję.

Bardzo nas cieszy każde zainteresowanie projektem czy aplikacją. Uwagi użytkowników są dla nas w pewnym rodzaju wskazówkami, dzięki którym wiemy co użytkownicy chcieli by widzieć w projekcie czy w aplikacji.
Forum jest o tyle dobrym miejscem do komunikacji, że inne osoby też mogą widzieć dany temat, rozmowę i dodać też swoje uwagi,przemyślenia.

Ale nie zorientowałem się jeszcze, kto jest osobą najbardziej kompetentną w tym temacie i jak do niego dotrzeć. Kwestia czasu.

Jest kilka osób pracujących nad aplikacją. Skontaktować się można poprzez adres:
credodetector[at]credo.science lub contact[at]credo.science lub poprzez formularz kontaktowy na stronie.
Bez względu na który adres się napiszę, mail dotrze (zostanie przesłany) do odpowiednich osób.

[Wibig]

dziękuję,
postaram się zebrać myśli i napisać pod któryś z tych adresów.
A z nieco innej beczki. "Bawiąc się" w ustawienia aplikacji zauważyłem, że włączając "AUTOKALIBRACJĘ" parametry max, average i black ustawiając się na jakiś poziom chyba "default" niezależnie jak ustawię je "ręcznie". Czy AUTOKALIBRACJA działa poprawnie? (i jak)
Pozdrawiam,

[mpknap]

Częstość rejestracji wydaje mi się za niska. Uważam, że rozsądne by było zebrać widmo "wielkości sygnału", a do tego potrzeba by mieć sporą liczbę rejestracji z możliwie małymi progami, w tym rejestracji ewidentnie "szumowych".

Aplikacja zanim zacznie rejestrować, wykonuje kalibrację dla danej kamery. Analizuje serię klatek wyciągając średnią jasność dla wszystkich. Następnie podczas pracy ta średnia jest wykładnikiem, jeśli wypadnie coś jaśniejszego mamy potencjalną detekcję.

Ponieważ każda matryca jest inna, częstotliwość detekcji też od niej zależy. Z doświadczenia wiem że im nowszy smartfon tym mniej detekcji.

Przesyłanie tego wszystkiego na serwer CREDO byłoby zaśmiecaniem go niepotrzebnym i dlatego chciałbym w jakiś sposób ominąć ten etap.

Po stronie serwera poddawane są wstępnej analizie, czy to nie badPixel, hotPixel, lub odkryta kamera, lub jeszcze coś nietypowego powodującego wysoką powtarzalność np.dla danych współrzędnych klatki.

Co do dostępu do danych, sam jestem tym zainteresowany . te 15GB to jeden plik? tekstowy? SQL?
Można go pobrać?

[slawekstu]

Co do dostępu do danych, sam jestem tym zainteresowany . te 15GB to jeden plik? tekstowy? SQL?

Są to pliki tekstowe w formacie JSON, ich wielkość wachą się od 100 do ok 300 Mb.
Każdy plik opisany jest zakresem dat(w systemie UNIXowym) detekcji np: export_1547559712275_1547560059339.

Można go pobrać?

Tak, oto etapy jakie trzeba spełnić by móc pobrać:

• Napisać mail na credodetector[at]credo.science, w wiadomości należy opisać, dlaczego chcesz uzyskać dostęp i co zamierzasz zrobić z danymi. Należy też podać swoją nazwę użytkownika. Wiadomość powinna być wysłana z adresu e-mail użytego podczas rejestracji.

• Jeśli w/w wymogi zostaną spełnione, wiadomość zostanie przekazana do administratorów odpowiadających za dostęp do danych. Na podstawia danych podanych w wiadomości zostaje przydzielony dostęp do danych

• By móc pobierać dane należy mieć zainstalowany Python3 i bibliotekę requests oraz pobrany plik credo-data-exporter.py

• Dane pobieramy z poziomu terminala/konsoli poleceniem:
  ./credo-data-exporter.py --user nazwa_użytkownika --password haslo_uzytkownika

• Przy pierwszym pobieraniu, może się okazać, że będzie trzeba nadać odpowiednie prawa dla wykonywanego pliku tj.:
  chmod +x credo-data-exporter.py

• Możemy także decydować co dokładnie chcemy pobrać np: detekcje, pingi,listę użytkowników, zespołów czy użądzeń

Każdy użytkownik na dzień może zadać ograniczoną liczbę zapytań do danych, dlatego pobranie wszystkich danych w 1 dzień nie będzie możliwe. (Po osiągnieciu max zapytań na dzień należy poczekać ok 24 godzin by móc ponownie pobrań kolejne paczki).

Całą dokumentacje można znaleźć na Git-Hubie naszego projektu:
https://github.com/credo-science/credo- ... ata_export
https://github.com/credo-science/credo-api-tools