Kommunedata i GSAK

Duppeditter og programvare
pjacklam
Senior
Senior
Innlegg:810
Registrert:tir 13 mai 2008 09:39
Sted:Der bekken stilner av og blir til en svart kulp mellom granene
Re: Kommunedata i GSAK

Legg inn av pjacklam » ons 09 okt 2013 15:03

Kjedalen skrev:Også Horten har en liten eksklave (inne i Re). Men kanskje den er lite å bry seg om siden det neppe vil komme cacher her?
Horten har ingen enklave i dataene jeg lastet ned, og en sånn enklave er heller ikke med i PDF-filen "Enklaver.pdf" som du henviste til i et tidligere innlegg. Uten noen data om denne enklaven, kan ikke jeg ta hensyn til den. Finnes enklaven fremdeles eller har Re annektert området? :)
~/.signature: No such file or directory.

Brukeravatar
Kjedalen
Senior
Senior
Innlegg:356
Registrert:tir 11 jan 2011 20:14
Sted:Tromsø

Re: Kommunedata i GSAK

Legg inn av Kjedalen » ons 09 okt 2013 17:25

pjacklam skrev:
Kjedalen skrev:Også Horten har en liten eksklave (inne i Re). Men kanskje den er lite å bry seg om siden det neppe vil komme cacher her?
Horten har ingen enklave i dataene jeg lastet ned, og en sånn enklave er heller ikke med i PDF-filen "Enklaver.pdf" som du henviste til i et tidligere innlegg. Uten noen data om denne enklaven, kan ikke jeg ta hensyn til den. Finnes enklaven fremdeles eller har Re annektert området? :)
Ut fra siste ABAS-versjon (administrative grenser) fra januar i år har Horten en eksklave i Re, og denne er med på Pdf-fila mi øverst side 2. Den består av tre boligtomter. Jeg sjekket nå også mot matrikkelen som er originalkilden for ABAS, og den eksisterer fortsatt. Hvor har du lastet ned data fra?
BildeBilde

Brukeravatar
Kjedalen
Senior
Senior
Innlegg:356
Registrert:tir 11 jan 2011 20:14
Sted:Tromsø

Re: Kommunedata i GSAK

Legg inn av Kjedalen » ons 09 okt 2013 18:24

Kjedalen skrev:Ut fra siste ABAS-versjon (administrative grenser) fra januar i år har Horten en eksklave i Re, og denne er med på Pdf-fila mi øverst side 2. Den består av tre boligtomter. Jeg sjekket nå også mot matrikkelen som er originalkilden for ABAS, og den eksisterer fortsatt. Hvor har du lastet ned data fra?
Jeg tok nå også nedlasting via http://data.kartverket.no/download/ som alle har tilgang til (etter å ha registrert seg, fungerer ikke i IE, men ikke i Chrome), og i versjonen der fra 1. oktober finner vi også denne enklaven i Re som eksklave for Horten.
BildeBilde

pjacklam
Senior
Senior
Innlegg:810
Registrert:tir 13 mai 2008 09:39
Sted:Der bekken stilner av og blir til en svart kulp mellom granene

Re: Kommunedata i GSAK

Legg inn av pjacklam » ons 09 okt 2013 18:47

Kjedalen skrev:
pjacklam skrev:Horten har ingen enklave i dataene jeg lastet ned, og en sånn enklave er heller ikke med i PDF-filen "Enklaver.pdf" som du henviste til i et tidligere innlegg. Uten noen data om denne enklaven, kan ikke jeg ta hensyn til den. Finnes enklaven fremdeles eller har Re annektert området? :)
Ut fra siste ABAS-versjon (administrative grenser) fra januar i år har Horten en eksklave i Re, og denne er med på Pdf-fila mi øverst side 2.
Jeg overså det i PDF-filen. Beklager det.
Kjedalen skrev:Den består av tre boligtomter. Jeg sjekket nå også mot matrikkelen som er originalkilden for ABAS, og den eksisterer fortsatt. Hvor har du lastet ned data fra?
Dataene er fra filen «n50/adminflate.geojson», som er i zip-filen «Kartdata_Norge_WGS84_N50_geoJSON.zip», som jeg lastet ned fra http://data.kartverket.no/download/
~/.signature: No such file or directory.

Brukeravatar
Kjedalen
Senior
Senior
Innlegg:356
Registrert:tir 11 jan 2011 20:14
Sted:Tromsø

Re: Kommunedata i GSAK

Legg inn av Kjedalen » ons 09 okt 2013 20:02

pjacklam skrev:Dataene er fra filen «n50/adminflate.geojson», som er i zip-filen «Kartdata_Norge_WGS84_N50_geoJSON.zip», som jeg lastet ned fra http://data.kartverket.no/download/
Da tror jeg at jeg har funnet ut av dette. Her foreligger det så mange varianter at det er lett å gå i surr. Siden dette er så ferskt, har heller ikke jeg studert dette i detalj før. Men det ser ut til at fila du har lastet ned er ikke originale administrative data, men ei fil som er beskrevet slik i nedlastingsløsninga:

geoJSON filene kan være en forenkling av dataene i de origiale SOSI filene.
N50 Kartdata er kartografisk redigert i forhold til presentasjonsregler tilsvarende hovedkartserien Norge 1:50 000.


Siden denne Horten-eksklaven er så liten, er den rett og slett kartografisk redigert bort da den ikke kan presenteres fornuftig på N50-kart. Jeg har ikke lastet ned disse dataene selv nå, men regner med at det kan være andre ting som også er forenklet her. Fila har kanskje heller ikke centimeter-nøyaktighet, men det har jeg foreløpig ikke sjekket.

For å laste ned originale administrative grenser, må man velge Grenser og ikke Vektor- og rasterkart på startsiden. Datafila heter ADM_enheter_Norge.sos og ligger i Grensedata_Norge_UTM33_Adm_enheter_SOSI.zip. SOSI-fila er på 20,1 Mb og zip-fila på 4,9 Mb.

Jeg har foreløpig ikke funnet originaldataene i JSON-format, men kanskje finnes det også...
BildeBilde

pjacklam
Senior
Senior
Innlegg:810
Registrert:tir 13 mai 2008 09:39
Sted:Der bekken stilner av og blir til en svart kulp mellom granene

Re: Kommunedata i GSAK

Legg inn av pjacklam » tor 10 okt 2013 07:42

Kjedalen skrev:Da tror jeg at jeg har funnet ut av dette. Her foreligger det så mange varianter at det er lett å gå i surr. Siden dette er så ferskt, har heller ikke jeg studert dette i detalj før. Men det ser ut til at fila du har lastet ned er ikke originale administrative data, men ei fil som er beskrevet slik i nedlastingsløsninga:

geoJSON filene kan være en forenkling av dataene i de origiale SOSI filene.
N50 Kartdata er kartografisk redigert i forhold til presentasjonsregler tilsvarende hovedkartserien Norge 1:50 000.


Siden denne Horten-eksklaven er så liten, er den rett og slett kartografisk redigert bort da den ikke kan presenteres fornuftig på N50-kart.
Mange takk for oppklaringen.
Kjedalen skrev:Jeg har ikke lastet ned disse dataene selv nå, men regner med at det kan være andre ting som også er forenklet her. Fila har kanskje heller ikke centimeter-nøyaktighet, men det har jeg foreløpig ikke sjekket.
De geodetiske koordinatene har fire desimaler, som gir rundt 10 meters nøyaktighet i nord–sør-retning og rundt 5 meters nøyaktighet i øst–vest-retning. Jeg legger også merke til at flere påfølgende koordinater i polygondataene er identiske. En gjetning er at dataene har vært ulike ved høyere oppløsning, men pga. avrunding er de blitt identiske.
Kjedalen skrev:For å laste ned originale administrative grenser, må man velge Grenser og ikke Vektor- og rasterkart på startsiden. Datafila heter ADM_enheter_Norge.sos og ligger i Grensedata_Norge_UTM33_Adm_enheter_SOSI.zip. SOSI-fila er på 20,1 Mb og zip-fila på 4,9 Mb.
Den filen har jeg, men jeg vet ikke hvordan jeg gjør om dataene fra SOSI-format. Jeg har lastet ned spesifikasjonen på SOSI-format, i håp om å klare å trekke ut grensedataene, men jeg vet ikke om jeg kommer i mål med det.
Kjedalen skrev:Jeg har foreløpig ikke funnet originaldataene i JSON-format, men kanskje finnes det også...
Det tror jeg ikke, ikke ennå. Jeg har lastet ned alt jeg fant, og det er ingen grensedata i JSON-format med høyere oppløsning enn dem som er for Norge 1:50000.
~/.signature: No such file or directory.

anders99

Re: Kommunedata i GSAK

Legg inn av anders99 » tor 10 okt 2013 08:01

pjacklam skrev: Den filen har jeg, men jeg vet ikke hvordan jeg gjør om dataene fra SOSI-format. Jeg har lastet ned spesifikasjonen på SOSI-format, i håp om å klare å trekke ut grensedataene, men jeg vet ikke om jeg kommer i mål med det.
Mulig at denne vil hjelpe, sikkert lettere å jobbe med KML enn SOSI?

http://sourceforge.net/projects/sosi2other/

anders99

Re: Kommunedata i GSAK

Legg inn av anders99 » tor 10 okt 2013 08:02

anders99 skrev:
pjacklam skrev: Den filen har jeg, men jeg vet ikke hvordan jeg gjør om dataene fra SOSI-format. Jeg har lastet ned spesifikasjonen på SOSI-format, i håp om å klare å trekke ut grensedataene, men jeg vet ikke om jeg kommer i mål med det.
Mulig at denne vil hjelpe, sikkert lettere å jobbe med KML enn SOSI?

http://sourceforge.net/projects/sosi2other/
Eller denne:

https://github.com/espena/sosicon

Brukeravatar
Kjedalen
Senior
Senior
Innlegg:356
Registrert:tir 11 jan 2011 20:14
Sted:Tromsø

Re: Kommunedata i GSAK

Legg inn av Kjedalen » tor 10 okt 2013 09:54

pjacklam skrev:Den filen har jeg, men jeg vet ikke hvordan jeg gjør om dataene fra SOSI-format. Jeg har lastet ned spesifikasjonen på SOSI-format, i håp om å klare å trekke ut grensedataene, men jeg vet ikke om jeg kommer i mål med det.
Dersom poenget er å få det ut i JSON-format, kan i alle fall programmet Global Mapper lese SOSI-data og eksportere i JSON-format.
BildeBilde

pjacklam
Senior
Senior
Innlegg:810
Registrert:tir 13 mai 2008 09:39
Sted:Der bekken stilner av og blir til en svart kulp mellom granene

Re: Kommunedata i GSAK

Legg inn av pjacklam » tor 10 okt 2013 15:50

anders99 skrev:
pjacklam skrev: Den filen har jeg, men jeg vet ikke hvordan jeg gjør om dataene fra SOSI-format. Jeg har lastet ned spesifikasjonen på SOSI-format, i håp om å klare å trekke ut grensedataene, men jeg vet ikke om jeg kommer i mål med det.
Mulig at denne vil hjelpe, sikkert lettere å jobbe med KML enn SOSI?

http://sourceforge.net/projects/sosi2other/
KML er definitivt enklere for meg enn SOSI, så takk for tipset. Dessverre krever verktøyet at man først setter opp en postgresql-database. Etter å ha balet meg gjennom diverse postgresql- og python-feilmeldinger, gav jeg opp. Det tar mer tid enn jeg har til rådighet.
~/.signature: No such file or directory.

pjacklam
Senior
Senior
Innlegg:810
Registrert:tir 13 mai 2008 09:39
Sted:Der bekken stilner av og blir til en svart kulp mellom granene

Re: Kommunedata i GSAK

Legg inn av pjacklam » tor 10 okt 2013 15:56

Kjedalen skrev:Dersom poenget er å få det ut i JSON-format, kan i alle fall programmet Global Mapper lese SOSI-data og eksportere i JSON-format.
JSON, KML, GPX, CSV … bare ikke SOSI. :) Global Mapper ser ut til å fungere, men er et kommersielt produkt. For å kunne eksportere data fra Global Mapper, trenger man en lisens.
~/.signature: No such file or directory.

Brukeravatar
Kjedalen
Senior
Senior
Innlegg:356
Registrert:tir 11 jan 2011 20:14
Sted:Tromsø

Re: Kommunedata i GSAK

Legg inn av Kjedalen » tor 10 okt 2013 18:12

pjacklam skrev:
Kjedalen skrev:Dersom poenget er å få det ut i JSON-format, kan i alle fall programmet Global Mapper lese SOSI-data og eksportere i JSON-format.
JSON, KML, GPX, CSV … bare ikke SOSI. :) Global Mapper ser ut til å fungere, men er et kommersielt produkt. For å kunne eksportere data fra Global Mapper, trenger man en lisens.
SOSI-formatet er i grunnen veldig enkelt som vist under, og jeg kan i vårt verktøy veldig enkelt forenkle alle 428 kommunefilene ved å fjerne alle opplysninger om kvalitet, datafangstdato etc og transformere til desimalgrader. Vi sitter da tilbake med ei enkel SOSI-fil med et filhode, en enkel koordinatstreng og .SLUTT. Det som da gjenstår er å bytte ut filhodet med det som skal stå i GSAK-fila, legge inn punktum etter gradtallet og erstatte mellomrommet mellom nord og øst med komma og fjerne .SLUTT. Det burde kanskje være overkommelig om ingen har en mer profesjonell løsning?

Et forkortet eksempel:

.HODE
..TEGNSETT ISO8859-1
..OMRÅDE
...MIN-NØ 69 18
...MAX-NØ 70 23
..SOSI-VERSJON 4.0
..SOSI-NIVÅ 4
..EIER 'Statens kartverk'
..PRODUSENT 'Statens kartverk'
..KOMM 1940
..TRANSPAR
...GEOSYS 2
...GEOKOORD 2
...ORIGO-NØ 0 0
...ENHET 0.0000001
..PROSESS_HISTORIE "20131010: Transformert fra 23 til 84 -- DLL: Transformasjonsbib. for hele Norge - versjon 4.2."
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
.KURVE 1:
..OBJTYPE Kommunegrense
..NØ
693212693 211961016
693080285 212650062
692921150 212080247
692609119 210961699
693212693 211961016
.SLUTT
BildeBilde

pjacklam
Senior
Senior
Innlegg:810
Registrert:tir 13 mai 2008 09:39
Sted:Der bekken stilner av og blir til en svart kulp mellom granene

Re: Kommunedata i GSAK

Legg inn av pjacklam » tor 10 okt 2013 21:03

Kjedalen skrev:SOSI-formatet er i grunnen veldig enkelt som vist under, og jeg kan i vårt verktøy veldig enkelt forenkle alle 428 kommunefilene ved å fjerne alle opplysninger om kvalitet, datafangstdato etc og transformere til desimalgrader. Vi sitter da tilbake med ei enkel SOSI-fil med et filhode, en enkel koordinatstreng og .SLUTT. Det som da gjenstår er å bytte ut filhodet med det som skal stå i GSAK-fila, legge inn punktum etter gradtallet og erstatte mellomrommet mellom nord og øst med komma og fjerne .SLUTT. Det burde kanskje være overkommelig om ingen har en mer profesjonell løsning?
Det sparer mye arbeid. Vil resultatet være 400-og-noe sammenhengende polygoner, en for hver kommune samt eksklaver/enklaver, eller vil det fremdeles være 22179 kurver/fragmenter, som nå?

Jeg forstår essensen i SOSI-formatet brukt i filen ADM_enheter_Norge.sos, men jeg ser at for alle kurver, f.eks.

.KURVE 173174:
..OBJTYPE Kommunegrense
..OMTVISTET NEI
..DATAFANGSTDATO 20061221
..KVALITET 82 1000
..IDENT
...NAVNEROM NO.KARTVERKET.AdmEnheterNorge
...LOKALID 173174
..OPPHAV "Matrikkelen - SOSI rapport for kommunegrenser basert på DEK"
..DATAUTTAKSDATO 20130715
..NØ
789781070 108368922 ...KP 1
..NØ
789781059 108368916
789764102 108360314
789393765 108172074 ...KP 1

så er det sånn at koordinatene i alle kurver starter med ett enkelt, adskilt punkt (her: 789781070 108368922) før resten av punktene følger etter på rekke og rad. Hvorfor er det første punktet adskilt fra de etterfølgende? Betyr det noe?
~/.signature: No such file or directory.

Brukeravatar
Kjedalen
Senior
Senior
Innlegg:356
Registrert:tir 11 jan 2011 20:14
Sted:Tromsø

Re: Kommunedata i GSAK

Legg inn av Kjedalen » tor 10 okt 2013 22:17

pjacklam skrev:Det sparer mye arbeid. Vil resultatet være 400-og-noe sammenhengende polygoner, en for hver kommune samt eksklaver/enklaver, eller vil det fremdeles være 22179 kurver/fragmenter, som nå?
En kort grunnleggende SOSI-innføring: For linjer i SOSI har vi normalt grupper bestående av bare to punkt, og opplysning om kvalitet og datafangstdato m.m. knyttes ofte opp mot disse gruppene. I tidligere SOSI-versjon hadde disse navnet .LINJE, men kunne også bestå av flere punkt/koordinatsett. For typiske kurver som bekker, kystkontur, vannkanter etc. ble benyttet .KURVE med mange punkt/koordinatsett der hvert punkt egentlig ikke hadde noen egenverdi. Fra SOSI-versjon 4.0 ble .LINJE og .KURVE slått sammen til .KURVE. Tidligere .LINJE er splittet opp slik at hver gruppe består av bare to punkt. Tidligere .KURVE vil som tidligere inneholde mange punkt/koordinatsett og kalles kurver med mellomliggende punkt.

Men dette hadde jeg egentlig tenkt å spare dere for og glemte å presisere følgende: Jeg vil slå sammen alle grupper til én sammenhengende kurve for alle punkt/koordinatsett rundt hele kommunepolygonet med felles start- og sluttpunkt. For kommunene med enklaver blir det da to eller tre slike sammenhengende kurver i fila. (Men hvordan dette skal presenteres i GSAK-fila har jeg ikke helt klart for meg, om disse bare skal skilles med ei blank linje?)
pjacklam skrev:Jeg forstår essensen i SOSI-formatet brukt i filen ADM_enheter_Norge.sos, men jeg ser at for alle kurver, f.eks.

.KURVE 173174:
..OBJTYPE Kommunegrense
..OMTVISTET NEI
..DATAFANGSTDATO 20061221
..KVALITET 82 1000
..IDENT
...NAVNEROM NO.KARTVERKET.AdmEnheterNorge
...LOKALID 173174
..OPPHAV "Matrikkelen - SOSI rapport for kommunegrenser basert på DEK"
..DATAUTTAKSDATO 20130715
..NØ
789781070 108368922 ...KP 1
..NØ
789781059 108368916
789764102 108360314
789393765 108172074 ...KP 1

så er det sånn at koordinatene i alle kurver starter med ett enkelt, adskilt punkt (her: 789781070 108368922) før resten av punktene følger etter på rekke og rad. Hvorfor er det første punktet adskilt fra de etterfølgende? Betyr det noe?
Grunnen til at første punkt i eksempelet her står atskilt er at det er knyttet en egenskap til dette punktet, i dette tilfellet at det er et knutepunkt (...KP) som betyr at det er knyttet til (f.eks.) en annen kurve. Denne egenskapen ligger på 3-prikksnivå, men siden koordinatene ligger på 2-prikksnivå må egenskapen ..NØ gjentas for å komme tilbake til rett prikknivå. Siden knutepunktegenskapen ikke benyttes i GSAK-fila, vil jeg fjerne alle KP-ene slik at alle koordinatsettene kommer sammenhengende med identiske første og siste koordinatsett. Fila blir da slik som eksempelet mitt i forrige innlegg.

Så må det avklares hva som må gjøres med tilfellene Nome/Skien og Frogn/Ås der to polygoner for henholdsvis Nome og Frogn møtes i ett punkt. Kanskje kan det gå bra med kun ei kurve for alle disse kommunene selv om vi underveis i den har et felles punkt?
BildeBilde

Brukeravatar
GadgetCats
Bruker
Bruker
Innlegg:239
Registrert:man 05 okt 2009 11:47
Sted:Bergen
Kontakt:

Re: Kommunedata i GSAK

Legg inn av GadgetCats » fre 11 okt 2013 09:38

Kjedalen skrev:For kommunene med enklaver blir det da to eller tre slike sammenhengende kurver i fila. (Men hvordan dette skal presenteres i GSAK-fila har jeg ikke helt klart for meg, om disse bare skal skilles med ei blank linje?)
Enklavepolygon(er) kan følge direkte etter hovededpolygonet. Ikke nødvendig med blank linje, ifølge mine tester i hvert fall.
Bilde

Svar