본문 바로가기

Function

벡터 타일 3 : 웹에서 대용량 공간 데이터 시각화하기
Function 2024. 8. 11. 벡터 타일 3 : 웹에서 대용량 공간 데이터 시각화하기 이 글은 앞서 설명한 벡터 타일맵 만들기 1,2 편에 이어지는 3편이다. 1부 : 폴리곤 데이터 벡터 타일링  벡터 타일 : 웹에서 대용량 공간 데이터 시각화하기 - 1웹에서 대용량 공간 데이터를 시각화하는건 2024년이라는 시점에서 이미 새로운 기술은 아니다. 구글 맵이나 카카오 네이버 맵에서는 오래 전부터 전세계나 우리나라 전체의 지도를 브라우징하www.vw-lab.com 2부 : 라인, 포인트 데이터 벡터 타일링 벡터 타일 : 웹에서 대용량 공간 데이터 시각화하기 - 2이 글에서는 라인과 포인트 데이터를 벡터 타일로 만드는 방법을 설명한다.앞서 폴리곤 먼저 진행했고, 이 글은 두 번째 글이다. 앞에서 제시한 코드들을 대부분 이용한다.  라인 shape  전처리www.vw-lab.com 앞에서 행정동..
벡터 타일 2 : 웹에서 대용량 공간 데이터 시각화하기
Function 2024. 8. 11. 벡터 타일 2 : 웹에서 대용량 공간 데이터 시각화하기 이 글에서는 라인과 포인트 데이터를 벡터 타일로 만드는 방법을 설명한다.앞서 폴리곤 먼저 진행했고, 이 글은 두 번째 글이다. 앞에서 제시한 코드들을 대부분 이용한다. 앞의 글은 다음의 링크에 있다. 벡터 타일 : 웹에서 대용량 공간 데이터 시각화하기 - 1웹에서 대용량 공간 데이터를 시각화하는건 2024년이라는 시점에서 이미 새로운 기술은 아니다. 구글 맵이나 카카오 네이버 맵에서는 오래 전부터 전세계나 우리나라 전체의 지도를 브라우징하www.vw-lab.com  라인 shape  전처리 라인 shape 파일은 LineString와 MultiLineString 으로 된 도형을 말한다. 폴리곤 처럼 단순화 작업 먼저 수행한다. 단선으로 된 도로 레이어를 작업했고, 6레벨부터 14레벨까지 만들었다.inpu..
벡터 타일 1 : 웹에서 대용량 공간 데이터 시각화하기
Function 2024. 8. 11. 벡터 타일 1 : 웹에서 대용량 공간 데이터 시각화하기 웹에서 대용량 공간 데이터를 시각화하는건 2024년이라는 시점에서 이미 새로운 기술은 아니다. 구글 맵이나 카카오 네이버 맵에서는 오래 전부터 전세계나 우리나라 전체의 지도를 브라우징하면서 필요한 장소들을 찾을 수 있도록 서비스 해 왔다. 브이월드 같은 3차원 지도 역시 서비스된 지 10년이 넘었다.그런데 그런 대규모 기업형 서비스가 아니라 다소 소박한 환경에서 웹 컨텐츠를 만든다고 해보자. 로컬에서 파일을 올려 웹브라우저에서 시각화하는 경우라면 그리 문제는 안 된다. 보통의 컴퓨터들의 성능이 많이 좋아졌기 때문에 웬만한 컴퓨터에서 웹브라우저로 100MB 남짓의 데이터를 올려서 그리는건 큰 문제가 되지 않는다.kepler.gl 같은 deck.gl 기반의 서비스가 바로 그러한 경우다. 사이트에 접속한 후 ..
벡터필드 : 웹에서 해류데이터 표현하기
Function 2024. 2. 24. 벡터필드 : 웹에서 해류데이터 표현하기 벡터 필드 형식의 데이터로 웹에서 해류를 표현해보자. 이 글에서 설명하는 우리나라 주변 해류 시각화는 한국해양과학기술원의 의뢰를 받아 작업한 결과물이다. 아래의 링크에서 서비스되고 있다. 독도종합정보시스템 이 서비스는 해양수산부의 지원으로 한국해양과학기술원에서 개발한 운용해양예보시스템(KOOS)자료를 사용합니다 한국해양과학기술원 www.kiost.ac.kr www.dokdo.re.kr 2년 전에 OpenGL로 구현한 내용을 올린 적이 있다. 벡터필드의 기본적인 개념과 구현 방식에 대한 설명이 있다. 벡터필드 : 풍속 데이터로 바람 그리기 풍속 데이터로 바람을 표현해보자. 이 글은 두 개의 레퍼런스와 본 글로 구성된다. 이 글에서는 OpenGL을 이용해서 그리는 방식을 설명한다. 필요한 데이터와 기본적인 ..
OD 시각화 4 : python에서 그리는 화살표 머리 이동선
Function 2023. 8. 16. OD 시각화 4 : python에서 그리는 화살표 머리 이동선 오랜만에 올리는 OD 시각화 시리즈. 이번에는 파이썬에서 pydeck을 이용해서 이동선들을 그려보겠다. 예전에 올렸던 OD 시각화 시리즈는 아래 링크들에 있다. 세 번째 생활이동 데이터 시각화에서 QGIS 를 이용했다면, 이번에는 python에서 그려보려고 한다. OD 시각화 1 : 여러가지 시도 지도 위에 데이터를 표현할 때 아주 까다로운 대상 중 하나는 OD 데이터다. Origin-Destination 데이터는 지도 위의 두 지점을 선으로 이어야 한다. 노드와 링크가 있는 추상공간 위의 네트워크 시각화 www.vw-lab.com OD 시각화 2 : 전국 인구 순이동 앞의 글에서 여러가지 사례를 들어 OD 시각화에서 고민했던 점들을 썼다면, 이번에는 전국 인구 순이동 시각화를 조작해보면서 설명해보겠다...
서로 간섭이 덜 되어 보이는 네트워크 링크 그리기
Function 2023. 2. 24. 서로 간섭이 덜 되어 보이는 네트워크 링크 그리기 2만개의 노드와 2만6천개 정도의 링크를 구성된 네트워크를 그렸던 작업에 대해 개략적으로 기록해보려 한다. (데이터는 비공개 보안 데이터였으므로 그림에서 표현했던 텍스트들은 모두 제거했다.) 노드들은 1,2,3 계열로 크게 구분되었고, 2,3 계열은 각각 20여개의 그룹으로 구분되었다. 주어진 링크 그대로 그렸더니, 알아볼 수 있는 자연스러운 force 네트워크는 그려지지 않았으며 실타래처럼 뭉쳐져버렸다. 그래서 일단 노드들을 계열과 그룹으로 구분해보기로 했다. 계열은 중심으로부터 떨어진 반지름으로 구분했으며, 하나의 원을 이루는 동일 계열들을 20여개의 그룹으로 분리해서 그룹 각각이 구심점을 갖도록 했다. 네트워크의 정착과 드로잉에 다른 라이브러리를 사용했다 처음에 노드들을 입력해서 자리를 잡는 과정에..
<화물차를 쉬게 하라> - 1. DTG 데이터의 처리
Function 2023. 2. 15. <화물차를 쉬게 하라> - 1. DTG 데이터의 처리 이 글에서는 시사IN 기사 를 위해 했던 작업을 다룬다. 시사IN x VWL 특별기획 화물차를 쉬게 하라 DTG 데이터로 본 365일 24시간의 노동 truck.sisain.co.kr 첫번째 글로, DTG 데이터를 처리하는 R 코드와 시각화에 사용된 자바스크립트 코드일부를 기술해본다. DTG 데이터는 용량이 매우 크다. 20여개의 항목들을 차량마다 1초 단위로 기록하는데, 한행 한행마다 200자 넘는 텍스트로 구성되어 있다. 예를 들어 교통안전공단에 제출된 전국 화물차 DTG 한 달 치의 용량은 333GB정도가 된다. 물론 압축을 했을 때 그렇고 압축을 풀면 4.4TB 정도로 커진다. 사실 아예 빅데이터 시스템을 갖춘 상황이라면 4.4TB는 그렇게 큰 용량이 아니다. 그런데 이 데이터를 PC에서 분석하려..
Vulkan 에서 Mesh Shader + Ray Tracing
Function 2023. 2. 14. Vulkan 에서 Mesh Shader + Ray Tracing 작업 환경을 OpenGL에서 Vulkan으로 바꿨다. 물론 Vulkan 같은 경우 삼각형 하나 그리는데 1000줄 정도의 코드가 필요하고 동기화 문제 등 여간 작업이 까다로운게 아니라 아직 경우에 따라 OpenGL 기반 작업을 병행하고 있다. Vulkan은 DirectX12 처럼 차세대 라이브러리라서, Nvidia 와 AMD의 최신 하드웨어가 제공하는 기술들을 모두 지원해준다. 반면 OpenGL을 사용할 경우 Ray Tracing 관련 API가 좀 제한적이다. Optix와 병행해야 하는데, 이종의 라이브러리를 결합하는 격이라 어딘가 매끄럽지 못하다. Vulkan으로 넘어온 김에 Mesh Shader와 Ray Tracing 기능을 결합해봤다. Mesh Shader Mesh Shader 관련해서는 지난번에 ..
폴리곤을 삼각형 격자로 분할하기
Function 2023. 2. 14. 폴리곤을 삼각형 격자로 분할하기 위와 같은 연두색 폴리곤 하나를 아래와 같은 폴리곤들로 분할해 주는 방법에 대해 개략적으로 설명해보겠다. 폴리곤의 분할 기준은 크기가 입력된 정사각형 격자를 대각선으로 가르는 직각삼각형들이다. 직각삼각형 하나가 폴리곤 안에 온전히 포함된다면 그대로 온전히 포함되고, 직각삼각형 하나가 폴리곤의 경계와 만난다면 만나는 부분들의 계산해서 부정형의 도형을 만들어준다. 구멍(hole)이 있는 폴리곤도 문제없이 분할해준다. 단, 여러개의 독립된 도형으로 이루어지는 MultiPolygon 은 Polygon 단위로 나누어 함수에 넣어야 한다. 이러한 작업은 Qgis에서 폴리곤과 삼각형 그리드를 미리 만들어놓고, intersect 기능을 이용해서 만들어낼 수 있다. 다만, 그리드 분할에 최적화된 함수가 아니기 때문에 대..
Deck.gl 의 기초
Function 2023. 2. 10. Deck.gl 의 기초 deck.gl 은 WebGL 기반으로 만들어진 라이브러리다. deck.gl 라이브러리를 사용하면 경위도 좌표가 있는 공간정보 표현을 쉽게 할 수 있다. GPU 성능을 활용할 수 있기 때문에 수십만개의 점이나 선들을 웹에서 화면 끊김 없이 돌려볼 수 있다. 물론 공간정보 표현만 가능한 것은 아니다. d3.js를 이용해 위치를 정한 force 다이어그램의 좌표들을 넘겨주면 복잡한 네트워크도 빠르게 표현할 수 있다. 차트 표현에 최적화된 라이브러리를 별도로 제공해주지는 않지만, 점선면 도형과 축선을 직접 그린다고 생각하면 복잡한 산포도와 선형 그래프 등도 빠르게 그릴 수 있다. deck.gl에서 만들 수 있는 시각화의 유형이 궁금하다면 아래 페이지에서 '레이어'들을 하나씩 클릭해보면 된다. Deck.gl에서는..
하천범람지도를 QGIS에서 이용하는 방법
Function 2022. 10. 3. 하천범람지도를 QGIS에서 이용하는 방법 이 글은 지난 9월 29일 에서 발표했던 내용 중, 하천범람지도 이용 방법만 별도로 발췌하여 정리한 내용입니다. 현재 행안부에서 서비스되고 있는 생활안전지도 중 하천범람지도를 QGIS에서 읽어들이고, 래스터와 벡터 형식의 파일로 변환 및 저장하는 방법을 다루었습니다. 현재 서비스되고 있는 방식으로는 웹 브라우저에서 지점별 조회만 가능하고 막상 분석에 이용할 수 없었습니다. 그래서 일단 임시로 내부 통신 방식(웹서버~클라이언트) 중 일부를 이용하여 Qgis에서 배경지도 레이어로 읽어들인 후 QGIS의 메뉴를 이용하여 분석 가능한 레이어로 변환하게 됩니다. 원래 발표에서는, 정식으로 WMS 방식으로 개방하거나, 이런 불필요한 과정을 거치지 않도록 GeoTIFF나 SHP 파일로 다운로드 받게 해 주었으면 좋겠..
레이 마칭(Ray-Marching) 방식의 인구막대 시각화
Function 2022. 2. 2. 레이 마칭(Ray-Marching) 방식의 인구막대 시각화 레이 마칭(Ray Marching)이란 3차원 물체를 렌더링하는 방식 중 하나다. 물체가 모두 그려진 2차원 이미지 한 장이 있다고 가정하고, 픽셀 하나하나의 색을 어떻게 칠할지를 결정하는 방식으로 접근한다. 아래 그림처럼, 3차원 실제 공간이 2차원의 투영막에 투영된다고 하자. 그 투영된 이미지가 화면에 렌더링 될 이미지가 된다. 이때 아래 그림에서 카메라의 시점이 곧 관찰자의 시점이 된다. 시선과 물체의 한 점을 잇는 선분을 만들어볼 수 있고, 이 투영막의 어떤 픽셀 하나가 있다고 가정할 때, 그 선분과 투영막이 교차하는 지점이 바로 그 픽셀이 된다. 여기까지의 서술이 잘 이해가지 않고 생소하다면, 잠시 이 글을 덮어두고 3차원 렌더링 방식의 기본 지식들을 공부할 것을 권한다. 트라이앵글 기반의 3차..
맵 매칭(Map Matching)
Function 2022. 2. 2. 맵 매칭(Map Matching) 맵 매칭(map matching)은 GPS처럼 측정된 궤적(trajectory)을, 노드와 링크로 구성된 기존의 지도(map)에 맞추는(matching) 작업이다. 차량 내비게이션의 경우에도 GPS의 궤적들을 기존에 입력된 지도 위에 매칭시킴으로써 주행하고 있는 도로의 전방 상황을 미리 안내해주기도 한다. 간혹 안내된 경로 밖으로 벗어나서 주행할 경우, 일정 시간이 지나면 경로 이탈을 인지한 후 다시 돌아가는 길을 안내해 주기도 하는데, 이는 측정된 궤적을 토대로 가장 그럴법한 링크들로 매칭시키는 작업이 끊임없이 반복되고 있기 때문이다. 가장 쉽게 해 볼 수 있는 맵 매칭 방식은 측정된 점으로부터 가장 가까운 링크에 곧바로 점들을 수선을 내려 투영시켜주는 방식이다. GPS 측정 주기가 매우 짧고 보행처럼..
벡터필드 : 풍속 데이터로 바람 그리기
Function 2022. 1. 24. 벡터필드 : 풍속 데이터로 바람 그리기 풍속 데이터로 바람을 표현해보자. 이 글은 두 개의 레퍼런스와 본 글로 구성된다. 이 글에서는 OpenGL을 이용해서 그리는 방식을 설명한다. 필요한 데이터와 기본적인 원리들을 설명하고 있으므로, 다른 방식으로 그리려면 글 내용을 이해한 후 스스로 시도해봐야 한다. 그리기 위한 전체 코드를 설명하지는 않고 핵심적인 부분만 다루므로 OpenGL의 기본적인 부분들은 알고 있어야 한다. 예시 1 : Cameron Beccario의 아래 사이트에 들어가면 둥근 지구 표면 위에서 바람이 흐르는 모습을 볼 수 있다. (바람 이외에도 여러가지 기상 정보를 볼 수 있다) earth :: a global map of wind, weather, and ocean conditions See current wind, weat..
겹치지 않는 원으로 인구 그려보기
Function 2021. 12. 29. 겹치지 않는 원으로 인구 그려보기 여기서는 시군구 인구를 원으로 시각화한 과정의 기술적인 내용에 대해 적어보겠다. 관련된 두 글은 다음과 같다. 대한민국 시군구 인구 변화 시각화(1975~2020) 우리나라 인구 변화를 지도 위에 시군구 단위로 시각화 한 이 글에 새로운 발견은 없다. 인구 변화에 관심있던 사람이라면 대부분 아는 내용이다. 서울-인천-경기를 포괄하는 '수도권'으로 인구 www.vw-lab.com 시군구별 연령별 인구 변화 시각화(2000~2020) 앞의 글에 이어 이번에는 성연령별로 구분해본 인구의 변화를 본다. 앞의 글(아래 링크)에서 대체적인 취지와 개요를 설명했다. 대한민국 시군구 인구 변화 시각화(1975~2020) 우리나라 인구 변화 www.vw-lab.com 데이터 두 글에서 사용한 데이터가 다르다. 첫번째 1..
반응형 유동인구/매출액 Viewer
Function 2021. 12. 20. 반응형 유동인구/매출액 Viewer PC에서 다루기에 데이터가 커지면, 즉 대략 몇 GB정도를 넘어가면 작업 속도가 현저히 떨어지기 시작한다. 속성값을 필터링하고 group by 해서 집계해보는데도 몇 초 정도는 걸리며, 혹은 그 결과물을 서로 비교하는 그래프를 그리는데도 적지 않은 노력이 든다. 많은 양의 데이터를 탐색할 때는 생각의 끊김 없이 데이터를 헤집어볼 수 있는게 중요한데, 속성을 덜어내거나 더할 때, 혹은 날짜를 바꿔가면서 값들을 비교해볼때, 시군구 단위처럼 넓은 지역의 집계량을 비교해볼 때 실시간으로 결과물을 확인할 수 있다면 데이터가 가진 특성을 빠른 시간안에 이해할 수 있고 문제점 혹은 특별한 현상을 발견하기가 매우 용이해진다. 데이터 필터링에서 시각화로 이어지는 반복되는 작업들을, 현대의 빠른 PC성능을 최대한 활용해서..
지구를 그려보자
Function 2021. 10. 29. 지구를 그려보자 지구를 만들어보자. 아무것도 없는 공간에 구를 그리고 지구의 이미지를 덮어씌워보자. 낮과 밤을 촬영한 NASA 이미지 두 장을 태양이 비추는 곳과 그렇지 않은 곳에 적절히 맵핑해주자. 그리고 두 부분이 만나는 곳을 황혼처럼 약간 붉게 만들어보자. 푸르스름한 지구 주변의 대기도 표현하면 그럭저럭 완성이 된다. 아, 당연히 연월일시에 따라 지구의 상태가 변해야 한다. cpp에서 OpenGL 라이브러리를 사용하여 만들었다. OpenGL에서 직접적으로 코딩하는 사람들에게는 도움이 되겠지만, 그런 사람은 많지 않을테니... WebGL 사용자들은 비슷하게 응용할 수 있을 것 같고, 안써봐서 잘 모르겠지만 유니티나 언리얼엔진같이 셰이더 기반으로 작업하는 환경에서도 적절히 옮겨쓸 수 있을 것 같다. 1년 전쯤 한 포럼..
스마트서울 도시데이터센서(S-DoT)기온 데이터 시각화
Function 2021. 10. 11. 스마트서울 도시데이터센서(S-DoT)기온 데이터 시각화 서울 열린데이터 광장에는 서울 전역에 설치된 온도, 습도, 미세먼지 등의 센서들이 측정한 환경정보를 제공하고 있다. 여기서는 그 중 기온데이터를 지도에 등온선과 그라데이션으로 그려보는 작업을 해보겠다. 시각화는 cpp와 OpenGL 라이브러리를 통해서 작업했기 때문에 모든 과정을 설명할 수는 없지만, 핵심 방법론은 간단하므로 그 부분을 설명해보려 한다. 데이터는 아래에 있다. 지속적으로 올라오는데 포맷도 한번 바뀌어서 전체를 병합하면 안된다. 열린데이터광장 메인 데이터분류,데이터검색,데이터활용 data.seoul.go.kr 간혹 엉뚱한 시점에 40도가 넘는이상치도 있고, 누락된 곳도 있으므로 분석을 하려면 어느 정도 전처리가 필요할 것 같다. 여기서는 그저 시각화 연습이 목적이므로 이상치는 특별히 검증하..
OD 시각화 3 : 서울 생활이동 데이터를 지도 위에 옮겨보자
Function 2021. 9. 10. OD 시각화 3 : 서울 생활이동 데이터를 지도 위에 옮겨보자 서울시에서 '생활이동' 데이터를 공개했다. KT의 휴대폰 시그널을 바탕으로 언제 어디서 어디로 어떤 사람들이(성연령) 이동했는지에 대한 데이터다. 서울 열린데이터광장 서울 생활이동 인구란? 서울 안에서 이동하거나 서울 외부에서 서울로 오고 간 이동으로 통근, 통학, 쇼핑, 여가 등 행정수요를 유발하는 모든 이동 data.seoul.go.kr 공개된 형식은 한 달을 기준으로, 요일별, 시간대별, 행정동별, 성별, 연령별 이동량이 있는데, 부가적인 속성을 통해 출근 혹은 통학 이동인지도 알 수 있다. 서울시 빅데이터 캠퍼스에서는 좀 더 상세한 단위의 데이터를 다룰 수 있다고 한다. 이렇게 출발지와 도착지가 있어, 선으로 그릴수 있는 데이터를 OD(Origin-Destination) 데이터, 혹은 플로우(fl..
15분만에 전국 음식점 개폐업 지도 만들어보기
Function 2021. 7. 12. 15분만에 전국 음식점 개폐업 지도 만들어보기 로컬데이터(localdata.kr)의 개폐업 데이터를 바탕으로 위와 같은 히트맵을 만들어보려고 한다. 언론에서 종종 작년과 올해 사이에 폐업이 증가한 곳들을 보도하는데, 실제 데이터를 보면 개업과 폐업은 순환하는 신진대사처럼 일어난다. 잘 되는 곳 역시 개업도 많겠지만 폐업도 많다. 드는 곳이 있으면 나는 곳도 있고 나는 곳이 있으면 드는 곳도 있기 마련이다. 그래서 일반적인 히트맵 그리는 방식에서 개업과 폐업에 가중치를 양과 음으로 부여하여 많이 늘어난 지역과 많이 줄어든 지역을 동시에 보려고 한다. 그럼 만들어보자. 정말 15분만에 될까? Qgis와 Rstudio가 깔려있다면 가능할 것 같기도 하다. 물론 R과 Qgis의 기본적인 기능은 사용할 수 있어야 한다. 데이터 준비 localdata.kr 에..
OD 시각화 2 : 전국 인구 순이동
Function 2021. 4. 25. OD 시각화 2 : 전국 인구 순이동 앞의 글에서 여러가지 사례를 들어 OD 시각화에서 고민했던 점들을 썼다면, 이번에는 전국 인구 순이동 시각화를 조작해보면서 설명해보겠다. 앞의 글이란 이것 OD 시각화 1 : 여러가지 시도 지도 위에 데이터를 표현할 때 아주 까다로운 대상 중 하나는 OD 데이터다. Origin-Destination 데이터는 지도 위의 두 지점을 선으로 이어야 한다. 노드와 링크가 있는 추상공간 위의 네트워크 시각화 www.vw-lab.com 그리고 여기서 계속 다루게 될 "전국 시군구간 인구 순이동"은 조금 밑에서 소개하기로 하고, 일단 첫 시도로 거슬러 올라가보겠다. 첫 시도와 표현의 규칙들 이 작업의 출발은 2017년이었다. 대구MBC에서 제작하는 기획프로그램에 짧게 삽입될 목적이었는데, 요청사항은 '인구이동 데이터..
OD 시각화 1 : 여러가지 시도
Function 2021. 4. 24. OD 시각화 1 : 여러가지 시도 지도 위에 데이터를 표현할 때 아주 까다로운 대상 중 하나는 OD 데이터다. Origin-Destination 데이터는 지도 위의 두 지점을 선으로 이어야 한다. 노드와 링크가 있는 추상공간 위의 네트워크 시각화와는 조금 다른데, 되도록이면 정점의 위치를 움직이지 않음으로써 실제 지리 공간의 거리를 유지해야 한다는 전제가 있기 때문이다. 비교적 간단한 OD 시각화 처음 시도해봤던 OD 시각화는 d3.js를 공부해보던 시절에 그려봤던 패스 분포도였다. 지도 위의 공간 정보는 아니었지만 선수들 포지션에 따라 대략적으로 위치가 정해졌다고 전제로 깔고 그렸다. 전후반 출전 선수를 모두 포함하여 열댓개의 노드가 있는 OD 데이터였는데, 링크의 수는 이론적으로 노드의 제곱수까지 가능하므로 사실 노드가 열개만 되어도..
서울 생활인구 데이터를 격자로 재할당하기 ver2
Function 2020. 12. 19. 서울 생활인구 데이터를 격자로 재할당하기 ver2 이글에서는 서울시에서 KT와 협약을 맺어 공개하는 데이터인 '생활인구'데이터를 격자로 재할당하는 방법을 다룬다. 이 글은 전에 올렸던 두 개의 글과 연관이 있다. 첫번째로, 2년전에 올렸던 서울 생활인구 데이터를 격자 단위로 재할당하기 글 : 김승범 이 글은 불규칙한 형상의 집계구 단위로 배포된 서울 생활인구 데이터를 정사각형 격자 단위로 재할당하는 방법에 대해 다룬다. 여러가지 방법이 있겠지만, 건물 연면적 데이터를 www.vw-lab.com 생활인구를 건물 연면적에 가중치를 두어 50m 격자로 재할당했는데, 이 방식은 몇 가지 문제가 있다. 1. 건물 연면적을 가중치로 두기 때문에, 공원 처럼 건물이 없는 곳은 인구를 배분하지 않는다. '생활인구'의 개념 자체가 집에 거주하는 인구가 아닌, 움직이는 ..
10만개의 수를 draw call 한번으로 그리기
Function 2020. 12. 18. 10만개의 수를 draw call 한번으로 그리기 (이 글은 shader 작업이 가능한 사람에게만 유용합니다) 공간 데이터 시각화를 하다보면 많은 양의 숫자를 렌더링해야 할 경우가 종종 있다. 어떤 경우에는 몇 개의 숫자가 크고 명료하게 보여야 하지만, 때로는 '데이터스러운 느낌'을 주기 위해서 많은 양의 숫자가 필요할 때도 있다. 물론, 그 숫자들은 임의로 생성한 것이 아니라 데이터에서 비롯된 정확한 숫자가 되어야 한다. 인터랙션의 경우를 생각한다면 선택적으로 확대해서 볼 수도 있어야 하기 때문이다. 여기서는 많은 양의 숫자들을 빠르게 렌더링하는 간단한 팁을 소개한다. 최적화를 고민했던 누군가는 아래에 소개한 내용을 이미 당연하게 쓰고 있을 것 같기도 한데, 검색해도 잘 나오지 않아서 약간의 코드로 직접 만들어봤다. 셰이더를 통해 텍스쳐 작업을 하는 ..
통계청 집계구 인구를 격자로 재할당하기
Function 2020. 12. 15. 통계청 집계구 인구를 격자로 재할당하기 통계청 SGIS에서 신청하면 받을 수 있는 공개 자료 중, 집계구 기반 데이터들은 꽤 자세하기 때문에 상세하게 들여다보고 싶을 때는 아주 유용하다. 그렇지만 자세하다는 장점은 늘 다루기 까다롭다는 단점과 함께하기 마련이다. 빠르게 훑어보고 싶거나 전체를 놓고 비교해보고 싶을 때는 그 커다란 덩치 때문에 다소 불편하다. 그리고, 형상이 불규칙하고 크기도 제각각이다. 거주 인구를 기반으로 구획되었기 때문에 사람이 많이 살지 않는 곳은 아주 넓게 잡혀 있고, 반대로 집계구 하나가 아파트 한 동 크기에 불과한 경우도 있다. 때문에, 집계구 경계에 인구를 그대로 join 시켜서 GIS에서 인구에 연동되도록 색상을 설정하게 되면 한 눈에 밀도를 파악하기 어렵다. 여기서는 집계구에 할당된 인구를 격자로 재분배하는 작..
Nvidia Mesh Shader 코드를 작성해보자
Function 2020. 5. 17. Nvidia Mesh Shader 코드를 작성해보자 얼마 전 Unreal Engine 5의 데모가 공개되면서 엄청난 디테일의 표현을 가능하게 한 Nvidia 의 Mesh Shader 방식이 화제가 되었다. A first look at Unreal Engine 5 Get a glimpse of new and improved real-time rendering features currently in development. www.unrealengine.com 이 글에서는 Mesh Shader 를 직접 구성해보는 방법에 대해 설명한다. OpenGL 기준이며, 최소한 glDrawArrays 와 같은 드로우 명령을 통해 vertex shader - geometry shader - fragment shader 를 통과시키면서 개체들을 그려본 경험이 있는 사람들을 대..
데이터로서의 이미지 : 수백만개 선들의 적층과 재분해
Function 2020. 4. 25. 데이터로서의 이미지 : 수백만개 선들의 적층과 재분해 데이터로 만든 이미지 3년 전에 프로세싱으로 한 해 동안의 인구 이동을 표현했었다. 580만개 가구 이동 각각을 선 하나로 나타냈는데, 적절한 결과물을 얻기 위해 선의 굵기와 색, 그리고 투명도를 바꿔가면서 수십장의 다른 이미지들을 만들었었다. 수치를 조금 작게 하면 너무 흐려지거나 조금 크게하면 모두 하얗게 날아가기도 했고, 선들이 모두 겹쳐진 최종 색상이 마음에 들지 않아 다시 작업하기도 했다. 그래서 결국 마지막에는 위와 같은 코드로 마무리했다. 랜덤하게 발생시킨 색상을 겹치고, 중간 진행 정도를 나타내는 t값을 세제곱 네제곱해보면서 적절한 변화 정도를 찾고, 굵기와 진하기는 영쩜 몇몇몇몇을 해야 적절한지를 여러차례 시도한 끝에 결정지었다. 그렇게 얻은 이미지를 마지막으로 포토샵에서 약간 조정했는데..
국토교통부 실거래가 데이터 전처리
Function 2020. 4. 19. 국토교통부 실거래가 데이터 전처리 이 글에서는 국토교통부에서 공개중인 실거래가 데이터를 지도에 표시하기 위해 주로 좌표값을 연결하는 과정을 설명한다. 간단히 말해 '지오코딩'하는 과정 + 알파 정도가 되겠다. 형식적으로는 다음의 내용을 담고 있으며 실거래가 데이터를 예로 들어서 설명한다고 보면 된다. - 법정동 주소 형식을 PNU 코드로 바꾸기 - PNU 코드의 좌표값 얻기 - 현재 존재하지 않는 과거 주소의 좌표값 얻기 - 한 좌표점으로 겹치는 좌표값 처리하기 - 전월세 전환율 적용시켜 월세를 전세가로 만들기 이 데이터를 처리하기 위해서는 어떤 파이썬이든 R이든 자바든 파일 입출력과 문자열 처리 정도는 할 수 있어야 한다. 세세한 디테일은 설명하지 않으므로, 혹시 설명이 부족한 부분이 있다면 각자 익숙한 언어와 도구에서 검색하기를 권한..
공시지가 - 전국 모든 땅의 가격은 얼마나 높고 낮은가?
Function 2020. 3. 2. 공시지가 - 전국 모든 땅의 가격은 얼마나 높고 낮은가? 국토교통부 지적통계에 따르면, 2018년 말 기준으로 전국의 필지는 38,786,795개가 있다.*** 우리나라는 1990년부터 모든 토지에 대해 개별공시지가를 산정해서 발표했는데, 작년 말에 처음으로 전국 모든 토지의 30년간 공시지가 변동 이력을 csv 형식으로 공개하기 시작했다. ***. 국토부 통계누리 지적통계 참고 http://bitly.kr/MTojEnUl 국가공간정보 포털에 30년치가 한번에 올라와 있다 데이터는 국가공간정보 포털에 있다. http://openapi.nsdi.go.kr/nsdi/eios/ServiceDetail.do?svcSe=F&svcId=F012&provOrg=NIDO 서울같은 경우는 엑셀로 이미 공개하고 있었지만 다른 시도의 데이터는 잘 찾기가 어려웠는데, 기존에 이 곳..
텍스트 빈도와 네트워크 인터랙티브 시각화
Function 2019. 8. 31. 텍스트 빈도와 네트워크 인터랙티브 시각화 시각화의 목적 중 하나는 빠르고 직관적인 데이터 탐색이다. 여기서는 그 목적대로 만들어졌던 시각화를 소개한다. 2014년에 다량의 텍스트 데이터셋을 크롤링한 후 빠르게 내용을 파악하기 위해 D3.js로 인터랙티브 시각화를 만들어 놓았었다. 보여주기 위해서라기보다 반복되는 분석 작업의 사이클을 조금 더 빠르게 하기 위해서 만들었던 코드다. 요새는 텍스트 분석을 하지 않으므로 2년 가까이 컴퓨터 한 구석에 잠자고 있던 코드를 깃헙에 올려놓았다. 필요한 분들은 가져다 쓰시거나 응용하는데 사용하시기 바란다. https://github.com/vuski/textFrequencyAndNetwork 나는 첫 언어로 javascript를 익혔다. 그리고 얼마 안되어 네트워크를 그리기 위해 d3.js에 곧바로 도전을 했..

티스토리툴바