W załączniku opis analizy i działania aplikacji CREDO Detector App.
Materiały Informacyjne
Re: Materiały Informacyjne
Mam kilka szczegółowych dość pytań, co do działania aplikacji. Istnieją w USTAWIENIACH trzy parametry wyzwalania. Jednen z nich jest jasny: MAX FACTOR. Poziom BLACK FACTOR wydaje się również zrozumiały, ale nie wiem na pewno, czy jest używany TYLKO do określania "jakości ramki", czy też może i do szacowania poziomu tła. Nie mogłem znaleźć za to opisu parametru "AVERAGE FACTOR". Prawdopodobnie coś przeoczyłem. Czy ktoś może mi powiedzieć, w jaki sposób jest on używany?
Kolejne pytanie: w ustawieniach istnieje adres, pod który mają zostać wysłane dane. A co się stanie, gdy adres ten zmienię?
I jeszcze jedno: czy można uzyskać jakoś "surowe" dane z serwera CREDO?
I ostatnia pytanie związane z poprzednim: Czy można pobrać dane bezpośrednio z telefonu? Czy są zapisane gdzieś w pamięci?
pozdrowienia,
t.w.
Kolejne pytanie: w ustawieniach istnieje adres, pod który mają zostać wysłane dane. A co się stanie, gdy adres ten zmienię?
I jeszcze jedno: czy można uzyskać jakoś "surowe" dane z serwera CREDO?
I ostatnia pytanie związane z poprzednim: Czy można pobrać dane bezpośrednio z telefonu? Czy są zapisane gdzieś w pamięci?
pozdrowienia,
t.w.
Re: Materiały Informacyjne
Average Factor odpowiada za średnią wartość jasności obrazu.
Nie jestem specjalista od analizy zdjęć, ale każdy pixel ma swoje informacje, jedną z nich jest jego jasność.
By obraz był zaakceptowany musi mieć średnią jasność zdjęcia poniżej tej wartości.
Black Factor pomaga określić czy kamera jest zasłonięta: (pozwolę sobie zacytować tekst z FAQ):
Jeżeli średnia jasność jest poniżej Average Factor oraz ilość promilowa pixeli poniżej progu Black jest wyższa niż Black Count to klatka(matryca aparatu) jest uznawana za prawidłowo zasłoniętą i przechodzi do wyszukiwania hitów (detekcji).
Skontaktuję się z odpowiednimi osobami i dowiem się na jakiej zasadzie to działa.
Pojedyńczą detekcje w pliku mamy opisaną następująco:
{"user_id": 327, "latitude": 49.94, "timestamp": 1522704166478, "altitude": 352.0, "visible": false, "longitude": 19.99, "height": 320, "frame_content": "bardzo dluga nazwa znaków szyfrowanych", "width": 880, "team_id": 333, "source": "legacy", "provider": "gps", "y": null, "x": null, "device_id": 213, "id": 38464, "time_received": 1526396913432, "accuracy": 15.17}},
Jeśli chcemy uzyskać dostęp do tych plików, musimy napisać maila na credodetector@credo.science z uzasadnieniem dlaczego chcemy uzyskać dane, np: analiza danych, chęć wykorzystania do publikacji czy do jakiś innych prac naukowych itp. Jeśli dobrze uzasadnimy prośbę, to mail zostaję przesłany do administratorów zarządzających danymi z aplikacji i przydzielą oni dostęp umożliwiając nam pobranie paczek danych przy pomocy python3 i biblioteki requests.
Wszystkich danych jest już ponad 15GB.
Ale można zobaczyć w aplikacji detekcje z ostatnich 10 dni, lub na stronie api.credo.science wszystkie swoje detekcjie wpisując :
https://api.credo.science/web/user/naszlogin/
Nie jestem specjalista od analizy zdjęć, ale każdy pixel ma swoje informacje, jedną z nich jest jego jasność.
By obraz był zaakceptowany musi mieć średnią jasność zdjęcia poniżej tej wartości.
Black Factor pomaga określić czy kamera jest zasłonięta: (pozwolę sobie zacytować tekst z FAQ):
Jeżeli średnia jasność jest poniżej Average Factor oraz ilość promilowa pixeli poniżej progu Black jest wyższa niż Black Count to klatka(matryca aparatu) jest uznawana za prawidłowo zasłoniętą i przechodzi do wyszukiwania hitów (detekcji).
Myślę, że po zmianie adresu dane mogą nie dotrzeć na nasz serwer,alew ustawieniach istnieje adres, pod który mają zostać wysłane dane. A co się stanie, gdy adres ten zmienię?
Skontaktuję się z odpowiednimi osobami i dowiem się na jakiej zasadzie to działa.
Tak, można, ale pobrać można je jako dane *.json.czy można uzyskać jakoś "surowe" dane z serwera CREDO?
Pojedyńczą detekcje w pliku mamy opisaną następująco:
{"user_id": 327, "latitude": 49.94, "timestamp": 1522704166478, "altitude": 352.0, "visible": false, "longitude": 19.99, "height": 320, "frame_content": "bardzo dluga nazwa znaków szyfrowanych", "width": 880, "team_id": 333, "source": "legacy", "provider": "gps", "y": null, "x": null, "device_id": 213, "id": 38464, "time_received": 1526396913432, "accuracy": 15.17}},
Jeśli chcemy uzyskać dostęp do tych plików, musimy napisać maila na credodetector@credo.science z uzasadnieniem dlaczego chcemy uzyskać dane, np: analiza danych, chęć wykorzystania do publikacji czy do jakiś innych prac naukowych itp. Jeśli dobrze uzasadnimy prośbę, to mail zostaję przesłany do administratorów zarządzających danymi z aplikacji i przydzielą oni dostęp umożliwiając nam pobranie paczek danych przy pomocy python3 i biblioteki requests.
Wszystkich danych jest już ponad 15GB.
Nie zapisujemy danych z aplikacji na telefonie, by nie zapchać pamięci telefonu.Czy można pobrać dane bezpośrednio z telefonu? Czy są zapisane gdzieś w pamięci?
pozdrowienia,
Ale można zobaczyć w aplikacji detekcje z ostatnich 10 dni, lub na stronie api.credo.science wszystkie swoje detekcjie wpisując :
https://api.credo.science/web/user/naszlogin/
Re: Materiały Informacyjne
Dziękuję za informacje.
Moje pytania wzięły się stąd, że nie jestem przekonany, by ustawienia default parametrów rejestracji były zupełnie OK. Znaczy może są, ale mam wątpliwości. Częstość rejestracji wydaje mi się za niska. Uważam, że rozsądne by było zebrać widmo "wielkości sygnału", a do tego potrzeba by mieć sporą liczbę rejestracji z możliwie małymi progami, w tym rejestracji ewidentnie "szumowych". Przesyłanie tego wszystkiego na serwer CREDO byłoby zaśmiecaniem go niepotrzebnym i dlatego chciałbym w jakiś sposób ominąć ten etap. Nie jest to oczywiście konieczne, ale byłoby niegłupie. Poza tym aby ustalić optymalną miarę "wielkości sygnału" trzeba by mieć odpowiednio dużą ilość rejestracji w postaci cyfrowej, a nie obrazków do pooglądania na stronie. Najlepszym rozwiązaniem byłoby napisanie zmienionej nieco aplikacji, która zapisywałaby jednak dane na karcie pamięci w telefonie. Są pewnie ludzie, którzy potrafią to zrobić bez większego trudu. No może z niewielkim trudem.
Zdaję sobie sprawę, że wchodzę w szczegóły i może forum ogólne nie jest miejscem na taką dyskusję. Ale nie zorientowałem się jeszcze, kto jest osobą najbardziej kompetentną w tym temacie i jak do niego dotrzeć. Kwestia czasu.
Pozdrawiam i dziękuję raz jeszcze.
Moje pytania wzięły się stąd, że nie jestem przekonany, by ustawienia default parametrów rejestracji były zupełnie OK. Znaczy może są, ale mam wątpliwości. Częstość rejestracji wydaje mi się za niska. Uważam, że rozsądne by było zebrać widmo "wielkości sygnału", a do tego potrzeba by mieć sporą liczbę rejestracji z możliwie małymi progami, w tym rejestracji ewidentnie "szumowych". Przesyłanie tego wszystkiego na serwer CREDO byłoby zaśmiecaniem go niepotrzebnym i dlatego chciałbym w jakiś sposób ominąć ten etap. Nie jest to oczywiście konieczne, ale byłoby niegłupie. Poza tym aby ustalić optymalną miarę "wielkości sygnału" trzeba by mieć odpowiednio dużą ilość rejestracji w postaci cyfrowej, a nie obrazków do pooglądania na stronie. Najlepszym rozwiązaniem byłoby napisanie zmienionej nieco aplikacji, która zapisywałaby jednak dane na karcie pamięci w telefonie. Są pewnie ludzie, którzy potrafią to zrobić bez większego trudu. No może z niewielkim trudem.
Zdaję sobie sprawę, że wchodzę w szczegóły i może forum ogólne nie jest miejscem na taką dyskusję. Ale nie zorientowałem się jeszcze, kto jest osobą najbardziej kompetentną w tym temacie i jak do niego dotrzeć. Kwestia czasu.
Pozdrawiam i dziękuję raz jeszcze.
Re: Materiały Informacyjne
Informację/ uwagi przekazałem osobą zajmującym się aplikacją, jeśli będę miał jakąś odpowiedź dam znać.
Forum jest o tyle dobrym miejscem do komunikacji, że inne osoby też mogą widzieć dany temat, rozmowę i dodać też swoje uwagi,przemyślenia.
credodetector[at]credo.science lub contact[at]credo.science lub poprzez formularz kontaktowy na stronie.
Bez względu na który adres się napiszę, mail dotrze (zostanie przesłany) do odpowiednich osób.
Bardzo nas cieszy każde zainteresowanie projektem czy aplikacją. Uwagi użytkowników są dla nas w pewnym rodzaju wskazówkami, dzięki którym wiemy co użytkownicy chcieli by widzieć w projekcie czy w aplikacji.Zdaję sobie sprawę, że wchodzę w szczegóły i może forum ogólne nie jest miejscem na taką dyskusję.
Forum jest o tyle dobrym miejscem do komunikacji, że inne osoby też mogą widzieć dany temat, rozmowę i dodać też swoje uwagi,przemyślenia.
Jest kilka osób pracujących nad aplikacją. Skontaktować się można poprzez adres:Ale nie zorientowałem się jeszcze, kto jest osobą najbardziej kompetentną w tym temacie i jak do niego dotrzeć. Kwestia czasu.
credodetector[at]credo.science lub contact[at]credo.science lub poprzez formularz kontaktowy na stronie.
Bez względu na który adres się napiszę, mail dotrze (zostanie przesłany) do odpowiednich osób.
Re: Materiały Informacyjne
dziękuję,
postaram się zebrać myśli i napisać pod któryś z tych adresów.
A z nieco innej beczki. "Bawiąc się" w ustawienia aplikacji zauważyłem, że włączając "AUTOKALIBRACJĘ" parametry max, average i black ustawiając się na jakiś poziom chyba "default" niezależnie jak ustawię je "ręcznie". Czy AUTOKALIBRACJA działa poprawnie? (i jak)
Pozdrawiam,
postaram się zebrać myśli i napisać pod któryś z tych adresów.
A z nieco innej beczki. "Bawiąc się" w ustawienia aplikacji zauważyłem, że włączając "AUTOKALIBRACJĘ" parametry max, average i black ustawiając się na jakiś poziom chyba "default" niezależnie jak ustawię je "ręcznie". Czy AUTOKALIBRACJA działa poprawnie? (i jak)
Pozdrawiam,
Re: Materiały Informacyjne
Aplikacja zanim zacznie rejestrować, wykonuje kalibrację dla danej kamery. Analizuje serię klatek wyciągając średnią jasność dla wszystkich. Następnie podczas pracy ta średnia jest wykładnikiem, jeśli wypadnie coś jaśniejszego mamy potencjalną detekcję.Częstość rejestracji wydaje mi się za niska. Uważam, że rozsądne by było zebrać widmo "wielkości sygnału", a do tego potrzeba by mieć sporą liczbę rejestracji z możliwie małymi progami, w tym rejestracji ewidentnie "szumowych".
Ponieważ każda matryca jest inna, częstotliwość detekcji też od niej zależy. Z doświadczenia wiem że im nowszy smartfon tym mniej detekcji.
Przesyłanie tego wszystkiego na serwer CREDO byłoby zaśmiecaniem go niepotrzebnym i dlatego chciałbym w jakiś sposób ominąć ten etap.
Po stronie serwera poddawane są wstępnej analizie, czy to nie badPixel, hotPixel, lub odkryta kamera, lub jeszcze coś nietypowego powodującego wysoką powtarzalność np.dla danych współrzędnych klatki.
Co do dostępu do danych, sam jestem tym zainteresowany
. te 15GB to jeden plik? tekstowy? SQL?Można go pobrać?
Re: Materiały Informacyjne
Są to pliki tekstowe w formacie JSON, ich wielkość wachą się od 100 do ok 300 Mb.Co do dostępu do danych, sam jestem tym zainteresowany . te 15GB to jeden plik? tekstowy? SQL?
Każdy plik opisany jest zakresem dat(w systemie UNIXowym) detekcji np: export_1547559712275_1547560059339.
Tak, oto etapy jakie trzeba spełnić by móc pobrać:Można go pobrać?
- Napisać mail na credodetector[at]credo.science, w wiadomości należy opisać, dlaczego chcesz uzyskać dostęp i co zamierzasz zrobić z danymi. Należy też podać swoją nazwę użytkownika. Wiadomość powinna być wysłana z adresu e-mail użytego podczas rejestracji.
- Jeśli w/w wymogi zostaną spełnione, wiadomość zostanie przekazana do administratorów odpowiadających za dostęp do danych. Na podstawia danych podanych w wiadomości zostaje przydzielony dostęp do danych
- By móc pobierać dane należy mieć zainstalowany Python3 i bibliotekę requests oraz pobrany plik credo-data-exporter.py
- Dane pobieramy z poziomu terminala/konsoli poleceniem:
./credo-data-exporter.py --user nazwa_użytkownika --password haslo_uzytkownika
- Przy pierwszym pobieraniu, może się okazać, że będzie trzeba nadać odpowiednie prawa dla wykonywanego pliku tj.:
chmod +x credo-data-exporter.py
- Możemy także decydować co dokładnie chcemy pobrać np: detekcje, pingi,listę użytkowników, zespołów czy użądzeń
Całą dokumentacje można znaleźć na Git-Hubie naszego projektu:
https://github.com/credo-science/credo- ... ata_export
https://github.com/credo-science/credo-api-tools
