본문 바로가기

ALL

서로 간섭이 덜 되어 보이는 네트워크 링크 그리기
Function 2023. 2. 24. 서로 간섭이 덜 되어 보이는 네트워크 링크 그리기 2만개의 노드와 2만6천개 정도의 링크를 구성된 네트워크를 그렸던 작업에 대해 개략적으로 기록해보려 한다. (데이터는 비공개 보안 데이터였으므로 그림에서 표현했던 텍스트들은 모두 제거했다.) 노드들은 1,2,3 계열로 크게 구분되었고, 2,3 계열은 각각 20여개의 그룹으로 구분되었다. 주어진 링크 그대로 그렸더니, 알아볼 수 있는 자연스러운 force 네트워크는 그려지지 않았으며 실타래처럼 뭉쳐져버렸다. 그래서 일단 노드들을 계열과 그룹으로 구분해보기로 했다. 계열은 중심으로부터 떨어진 반지름으로 구분했으며, 하나의 원을 이루는 동일 계열들을 20여개의 그룹으로 분리해서 그룹 각각이 구심점을 갖도록 했다. 네트워크의 정착과 드로잉에 다른 라이브러리를 사용했다 처음에 노드들을 입력해서 자리를 잡는 과정에..
<화물차를 쉬게 하라> - 2. 타이어 같은 운행 기록의 표현
Content 2023. 2. 15. <화물차를 쉬게 하라> - 2. 타이어 같은 운행 기록의 표현 이 글에서는 시사IN 기사 를 위해 했던 작업을 다룬다. 시사IN x VWL 특별기획 화물차를 쉬게 하라 DTG 데이터로 본 365일 24시간의 노동 truck.sisain.co.kr 두 번째 글로, 한 달의 운행 기록을 타이어 모양의 시간표로 표현했던 과정을 적어보았다. 사실, 한 달의 시간표가 나오기 전까지 꽤 많은 주제로 탐색을 했다. trip의 기종점만 모아보기도 하고, 사고다발구간과 비교해보기도 하고, 특정 지역을 지나는 궤적만 분석해보기도 하는 등, 운전자의 피로도와 사고의 관계를 찾아보려고 했지만, 데이터의 한계로 인해 명확하게 말할 수 없는 부분들이 있었다. 서울대학교 환경대학원 한상진 교수님, 시사IN의 변진경, 전혜원 기자님 이렇게 세 분과의 여러 차례 논의 끝에 시간표 형식의 그래프 ..
<화물차를 쉬게 하라> - 1. DTG 데이터의 처리
Function 2023. 2. 15. <화물차를 쉬게 하라> - 1. DTG 데이터의 처리 이 글에서는 시사IN 기사 를 위해 했던 작업을 다룬다. 시사IN x VWL 특별기획 화물차를 쉬게 하라 DTG 데이터로 본 365일 24시간의 노동 truck.sisain.co.kr 첫번째 글로, DTG 데이터를 처리하는 R 코드와 시각화에 사용된 자바스크립트 코드일부를 기술해본다. DTG 데이터는 용량이 매우 크다. 20여개의 항목들을 차량마다 1초 단위로 기록하는데, 한행 한행마다 200자 넘는 텍스트로 구성되어 있다. 예를 들어 교통안전공단에 제출된 전국 화물차 DTG 한 달 치의 용량은 333GB정도가 된다. 물론 압축을 했을 때 그렇고 압축을 풀면 4.4TB 정도로 커진다. 사실 아예 빅데이터 시스템을 갖춘 상황이라면 4.4TB는 그렇게 큰 용량이 아니다. 그런데 이 데이터를 PC에서 분석하려..
Vulkan 에서 Mesh Shader + Ray Tracing
Function 2023. 2. 14. Vulkan 에서 Mesh Shader + Ray Tracing 작업 환경을 OpenGL에서 Vulkan으로 바꿨다. 물론 Vulkan 같은 경우 삼각형 하나 그리는데 1000줄 정도의 코드가 필요하고 동기화 문제 등 여간 작업이 까다로운게 아니라 아직 경우에 따라 OpenGL 기반 작업을 병행하고 있다. Vulkan은 DirectX12 처럼 차세대 라이브러리라서, Nvidia 와 AMD의 최신 하드웨어가 제공하는 기술들을 모두 지원해준다. 반면 OpenGL을 사용할 경우 Ray Tracing 관련 API가 좀 제한적이다. Optix와 병행해야 하는데, 이종의 라이브러리를 결합하는 격이라 어딘가 매끄럽지 못하다. Vulkan으로 넘어온 김에 Mesh Shader와 Ray Tracing 기능을 결합해봤다. Mesh Shader Mesh Shader 관련해서는 지난번에 ..
폴리곤을 삼각형 격자로 분할하기
Function 2023. 2. 14. 폴리곤을 삼각형 격자로 분할하기 위와 같은 연두색 폴리곤 하나를 아래와 같은 폴리곤들로 분할해 주는 방법에 대해 개략적으로 설명해보겠다. 폴리곤의 분할 기준은 크기가 입력된 정사각형 격자를 대각선으로 가르는 직각삼각형들이다. 직각삼각형 하나가 폴리곤 안에 온전히 포함된다면 그대로 온전히 포함되고, 직각삼각형 하나가 폴리곤의 경계와 만난다면 만나는 부분들의 계산해서 부정형의 도형을 만들어준다. 구멍(hole)이 있는 폴리곤도 문제없이 분할해준다. 단, 여러개의 독립된 도형으로 이루어지는 MultiPolygon 은 Polygon 단위로 나누어 함수에 넣어야 한다. 이러한 작업은 Qgis에서 폴리곤과 삼각형 그리드를 미리 만들어놓고, intersect 기능을 이용해서 만들어낼 수 있다. 다만, 그리드 분할에 최적화된 함수가 아니기 때문에 대..
Deck.gl 의 기초
Function 2023. 2. 10. Deck.gl 의 기초 deck.gl 은 WebGL 기반으로 만들어진 라이브러리다. deck.gl 라이브러리를 사용하면 경위도 좌표가 있는 공간정보 표현을 쉽게 할 수 있다. GPU 성능을 활용할 수 있기 때문에 수십만개의 점이나 선들을 웹에서 화면 끊김 없이 돌려볼 수 있다. 물론 공간정보 표현만 가능한 것은 아니다. d3.js를 이용해 위치를 정한 force 다이어그램의 좌표들을 넘겨주면 복잡한 네트워크도 빠르게 표현할 수 있다. 차트 표현에 최적화된 라이브러리를 별도로 제공해주지는 않지만, 점선면 도형과 축선을 직접 그린다고 생각하면 복잡한 산포도와 선형 그래프 등도 빠르게 그릴 수 있다. deck.gl에서 만들 수 있는 시각화의 유형이 궁금하다면 아래 페이지에서 '레이어'들을 하나씩 클릭해보면 된다. Deck.gl에서는..
하천범람지도를 QGIS에서 이용하는 방법
Function 2022. 10. 3. 하천범람지도를 QGIS에서 이용하는 방법 이 글은 지난 9월 29일 에서 발표했던 내용 중, 하천범람지도 이용 방법만 별도로 발췌하여 정리한 내용입니다. 현재 행안부에서 서비스되고 있는 생활안전지도 중 하천범람지도를 QGIS에서 읽어들이고, 래스터와 벡터 형식의 파일로 변환 및 저장하는 방법을 다루었습니다. 현재 서비스되고 있는 방식으로는 웹 브라우저에서 지점별 조회만 가능하고 막상 분석에 이용할 수 없었습니다. 그래서 일단 임시로 내부 통신 방식(웹서버~클라이언트) 중 일부를 이용하여 Qgis에서 배경지도 레이어로 읽어들인 후 QGIS의 메뉴를 이용하여 분석 가능한 레이어로 변환하게 됩니다. 원래 발표에서는, 정식으로 WMS 방식으로 개방하거나, 이런 불필요한 과정을 거치지 않도록 GeoTIFF나 SHP 파일로 다운로드 받게 해 주었으면 좋겠..
레이 마칭(Ray-Marching) 방식의 인구막대 시각화
Function 2022. 2. 2. 레이 마칭(Ray-Marching) 방식의 인구막대 시각화 레이 마칭(Ray Marching)이란 3차원 물체를 렌더링하는 방식 중 하나다. 물체가 모두 그려진 2차원 이미지 한 장이 있다고 가정하고, 픽셀 하나하나의 색을 어떻게 칠할지를 결정하는 방식으로 접근한다. 아래 그림처럼, 3차원 실제 공간이 2차원의 투영막에 투영된다고 하자. 그 투영된 이미지가 화면에 렌더링 될 이미지가 된다. 이때 아래 그림에서 카메라의 시점이 곧 관찰자의 시점이 된다. 시선과 물체의 한 점을 잇는 선분을 만들어볼 수 있고, 이 투영막의 어떤 픽셀 하나가 있다고 가정할 때, 그 선분과 투영막이 교차하는 지점이 바로 그 픽셀이 된다. 여기까지의 서술이 잘 이해가지 않고 생소하다면, 잠시 이 글을 덮어두고 3차원 렌더링 방식의 기본 지식들을 공부할 것을 권한다. 트라이앵글 기반의 3차..
맵 매칭(Map Matching)
Function 2022. 2. 2. 맵 매칭(Map Matching) 맵 매칭(map matching)은 GPS처럼 측정된 궤적(trajectory)을, 노드와 링크로 구성된 기존의 지도(map)에 맞추는(matching) 작업이다. 차량 내비게이션의 경우에도 GPS의 궤적들을 기존에 입력된 지도 위에 매칭시킴으로써 주행하고 있는 도로의 전방 상황을 미리 안내해주기도 한다. 간혹 안내된 경로 밖으로 벗어나서 주행할 경우, 일정 시간이 지나면 경로 이탈을 인지한 후 다시 돌아가는 길을 안내해 주기도 하는데, 이는 측정된 궤적을 토대로 가장 그럴법한 링크들로 매칭시키는 작업이 끊임없이 반복되고 있기 때문이다. 가장 쉽게 해 볼 수 있는 맵 매칭 방식은 측정된 점으로부터 가장 가까운 링크에 곧바로 점들을 수선을 내려 투영시켜주는 방식이다. GPS 측정 주기가 매우 짧고 보행처럼..
벡터필드 : 풍속 데이터로 바람 그리기
Function 2022. 1. 24. 벡터필드 : 풍속 데이터로 바람 그리기 풍속 데이터로 바람을 표현해보자. 이 글은 두 개의 레퍼런스와 본 글로 구성된다. 이 글에서는 OpenGL을 이용해서 그리는 방식을 설명한다. 필요한 데이터와 기본적인 원리들을 설명하고 있으므로, 다른 방식으로 그리려면 글 내용을 이해한 후 스스로 시도해봐야 한다. 그리기 위한 전체 코드를 설명하지는 않고 핵심적인 부분만 다루므로 OpenGL의 기본적인 부분들은 알고 있어야 한다. 예시 1 : Cameron Beccario의 아래 사이트에 들어가면 둥근 지구 표면 위에서 바람이 흐르는 모습을 볼 수 있다. (바람 이외에도 여러가지 기상 정보를 볼 수 있다) earth :: a global map of wind, weather, and ocean conditions See current wind, weat..
겹치지 않는 원으로 인구 그려보기
Function 2021. 12. 29. 겹치지 않는 원으로 인구 그려보기 여기서는 시군구 인구를 원으로 시각화한 과정의 기술적인 내용에 대해 적어보겠다. 관련된 두 글은 다음과 같다. 대한민국 시군구 인구 변화 시각화(1975~2020) 우리나라 인구 변화를 지도 위에 시군구 단위로 시각화 한 이 글에 새로운 발견은 없다. 인구 변화에 관심있던 사람이라면 대부분 아는 내용이다. 서울-인천-경기를 포괄하는 '수도권'으로 인구 www.vw-lab.com 시군구별 연령별 인구 변화 시각화(2000~2020) 앞의 글에 이어 이번에는 성연령별로 구분해본 인구의 변화를 본다. 앞의 글(아래 링크)에서 대체적인 취지와 개요를 설명했다. 대한민국 시군구 인구 변화 시각화(1975~2020) 우리나라 인구 변화 www.vw-lab.com 데이터 두 글에서 사용한 데이터가 다르다. 첫번째 1..
시군구별 연령별 인구 변화 시각화(2000~2020)
Content 2021. 12. 29. 시군구별 연령별 인구 변화 시각화(2000~2020) 앞의 글에 이어 이번에는 성연령별로 구분해본 인구의 변화를 본다. 앞의 글(아래 링크)에서 대체적인 취지와 개요를 설명했다. 대한민국 시군구 인구 변화 시각화(1975~2020) 우리나라 인구 변화를 지도 위에 시군구 단위로 시각화 한 이 글에 새로운 발견은 없다. 인구 변화에 관심있던 사람이라면 대부분 아는 내용이다. 서울-인천-경기를 포괄하는 '수도권'으로 인구 www.vw-lab.com 데이터 이번에는 성연령 인구 변화를 보기 위해 통계청 통계지리정보서비스(SGIS)의 자료신청을 통해 집계구별 인구를 받아서 가공했다. 과거의 인구를 2021년 행정구역에 맞춰 재집계해 주므로 행정구역의 시계열 변화에 따라 인구를 재조정하는 작업을 해 주지 않아도 된다. 단, 집계구 인구이므로 특정 성연령이 5명 미만..
대한민국 시군구 인구 변화 시각화(1975~2020)
Content 2021. 12. 29. 대한민국 시군구 인구 변화 시각화(1975~2020) 우리나라 인구 변화를 지도 위에 시군구 단위로 시각화 한 이 글에 새로운 발견은 없다. 인구 변화에 관심있던 사람이라면 대부분 아는 내용이다. 서울-인천-경기를 포괄하는 '수도권'으로 인구가 집중되었고, 도시 지역이 아닌 곳들의 인구는 점점 줄어들어서 도시와 비도시 지역의 인구는 9:1 정도의 극단적인 비율에 이르렀다. 비도시 지역은 인구가 줄어들 뿐 아니라 점점 고령화되고 젊은 인구들의 유입이 적어진 탓에 '지방소멸'까지 거론되고 있다. 이 글은 익히 알고 있는 이런 내용들을 다룬다. 그렇다면 왜 이런 뻔한 내용을 굳이 시간을 들여 그리고 있을까? 데이터 시각화에는 여러가지 목적이 있는 것 같다. 무언가를 빠르게 탐색하고 발견하기 위해서 숫자들을 그림으로 바꿔보는 경우, 복잡한 사실들을 한 눈에 보기 ..
반응형 유동인구/매출액 Viewer
Function 2021. 12. 20. 반응형 유동인구/매출액 Viewer PC에서 다루기에 데이터가 커지면, 즉 대략 몇 GB정도를 넘어가면 작업 속도가 현저히 떨어지기 시작한다. 속성값을 필터링하고 group by 해서 집계해보는데도 몇 초 정도는 걸리며, 혹은 그 결과물을 서로 비교하는 그래프를 그리는데도 적지 않은 노력이 든다. 많은 양의 데이터를 탐색할 때는 생각의 끊김 없이 데이터를 헤집어볼 수 있는게 중요한데, 속성을 덜어내거나 더할 때, 혹은 날짜를 바꿔가면서 값들을 비교해볼때, 시군구 단위처럼 넓은 지역의 집계량을 비교해볼 때 실시간으로 결과물을 확인할 수 있다면 데이터가 가진 특성을 빠른 시간안에 이해할 수 있고 문제점 혹은 특별한 현상을 발견하기가 매우 용이해진다. 데이터 필터링에서 시각화로 이어지는 반복되는 작업들을, 현대의 빠른 PC성능을 최대한 활용해서..
지구를 그려보자
Function 2021. 10. 29. 지구를 그려보자 지구를 만들어보자. 아무것도 없는 공간에 구를 그리고 지구의 이미지를 덮어씌워보자. 낮과 밤을 촬영한 NASA 이미지 두 장을 태양이 비추는 곳과 그렇지 않은 곳에 적절히 맵핑해주자. 그리고 두 부분이 만나는 곳을 황혼처럼 약간 붉게 만들어보자. 푸르스름한 지구 주변의 대기도 표현하면 그럭저럭 완성이 된다. 아, 당연히 연월일시에 따라 지구의 상태가 변해야 한다. cpp에서 OpenGL 라이브러리를 사용하여 만들었다. OpenGL에서 직접적으로 코딩하는 사람들에게는 도움이 되겠지만, 그런 사람은 많지 않을테니... WebGL 사용자들은 비슷하게 응용할 수 있을 것 같고, 안써봐서 잘 모르겠지만 유니티나 언리얼엔진같이 셰이더 기반으로 작업하는 환경에서도 적절히 옮겨쓸 수 있을 것 같다. 1년 전쯤 한 포럼..
스마트서울 도시데이터센서(S-DoT)기온 데이터 시각화
Function 2021. 10. 11. 스마트서울 도시데이터센서(S-DoT)기온 데이터 시각화 서울 열린데이터 광장에는 서울 전역에 설치된 온도, 습도, 미세먼지 등의 센서들이 측정한 환경정보를 제공하고 있다. 여기서는 그 중 기온데이터를 지도에 등온선과 그라데이션으로 그려보는 작업을 해보겠다. 시각화는 cpp와 OpenGL 라이브러리를 통해서 작업했기 때문에 모든 과정을 설명할 수는 없지만, 핵심 방법론은 간단하므로 그 부분을 설명해보려 한다. 데이터는 아래에 있다. 지속적으로 올라오는데 포맷도 한번 바뀌어서 전체를 병합하면 안된다. 열린데이터광장 메인 데이터분류,데이터검색,데이터활용 data.seoul.go.kr 간혹 엉뚱한 시점에 40도가 넘는이상치도 있고, 누락된 곳도 있으므로 분석을 하려면 어느 정도 전처리가 필요할 것 같다. 여기서는 그저 시각화 연습이 목적이므로 이상치는 특별히 검증하..
서울시 생활이동 데이터 개략 탐색
Content 2021. 9. 23. 서울시 생활이동 데이터 개략 탐색 지난 9월 8일 서울시 생활이동 데이터 기자설명회에서 발표한 자료를 약간 수정하여 여기에 기록해둔다. 발표시간이 7분으로 매우 짧았기 때문에 만들었던 자료들을 일부 덜어내고 발표했는데, 여기에는 그 중 일부를 다시 덧붙여 올린다. 서울시 생활이동 데이터는 KT의 휴대폰 시그널을 가공하여 만든 데이터로 서울시와 KT, 그리고 한국교통연구원이 공동 개발하였다. 데이터는 서울 열린데이터 광장에 행정동 단위로 공개되고, 서울시 빅데이터 캠퍼스에서는 좀 더 자세한 버젼을 이용할 수 있다. 이 발표자료는 행정동 단위보다 조금 더 자세한, 시간대별 교통폴리곤 단위의 데이터를 바탕으로 작성되었다. 공개된 형식의 데이터를 가공하여 지도 위에 그려보는 작업은 지난번에 소개하였다.(아래 링크 참고) 서울 생활이동 데이터를 ..
서울 생활이동 데이터를 지도 위에 옮겨보자
Function 2021. 9. 10. 서울 생활이동 데이터를 지도 위에 옮겨보자 서울시에서 '생활이동' 데이터를 공개했다. KT의 휴대폰 시그널을 바탕으로 언제 어디서 어디로 어떤 사람들이(성연령) 이동했는지에 대한 데이터다. 서울 열린데이터광장 서울 생활이동 인구란? 서울 안에서 이동하거나 서울 외부에서 서울로 오고 간 이동으로 통근, 통학, 쇼핑, 여가 등 행정수요를 유발하는 모든 이동 data.seoul.go.kr 공개된 형식은 한 달을 기준으로, 요일별, 시간대별, 행정동별, 성별, 연령별 이동량이 있는데, 부가적인 속성을 통해 출근 혹은 통학 이동인지도 알 수 있다. 서울시 빅데이터 캠퍼스에서는 좀 더 상세한 단위의 데이터를 다룰 수 있다고 한다. 이렇게 출발지와 도착지가 있어, 선으로 그릴수 있는 데이터를 OD(Origin-Destination) 데이터, 혹은 플로우(fl..
서울 공공자전거 따릉이 대여이력 시각화
Content 2021. 7. 20. 서울 공공자전거 따릉이 대여이력 시각화 따릉이 데이터는 서울 열린데이터 광장에서 받을 수 있다. 열린데이터광장에서 제공되는 데이터 중 여러가지 데이터 중 연습삼아 분석해보기 좋은 대상이라 '따릉이 데이터 분석' 정도로 구글링해봐도 읽어볼만한 좋은 글들이 많이 나온다. 여기서는 첫 대여 이력이 있는 2015년 9월부터 현재 공개된 최신자료인 2021년 1월까지의 대여이력을 시각화했다. 데이터 준비 대여이력 데이터는 아래 링크에 있다. 서울특별시 공공자전거 대여이력 정보 서울특별시 공공자전거 대여이력 정보입니다. 자전거 이동경로에 대한 데이터 분석이 가능하도록 년도별, 대여소별, 자전거별 대여이력 원천 데이터를 제공합니다. data.seoul.go.kr 대여소 위치의 경우 서울 열린데이터 광장의 다른 게시판에 있지만, 철거된 대여소의 경우 좌표가..
15분만에 전국 음식점 개폐업 지도 만들어보기
Function 2021. 7. 12. 15분만에 전국 음식점 개폐업 지도 만들어보기 로컬데이터(localdata.kr)의 개폐업 데이터를 바탕으로 위와 같은 히트맵을 만들어보려고 한다. 언론에서 종종 작년과 올해 사이에 폐업이 증가한 곳들을 보도하는데, 실제 데이터를 보면 개업과 폐업은 순환하는 신진대사처럼 일어난다. 잘 되는 곳 역시 개업도 많겠지만 폐업도 많다. 드는 곳이 있으면 나는 곳도 있고 나는 곳이 있으면 드는 곳도 있기 마련이다. 그래서 일반적인 히트맵 그리는 방식에서 개업과 폐업에 가중치를 양과 음으로 부여하여 많이 늘어난 지역과 많이 줄어든 지역을 동시에 보려고 한다. 그럼 만들어보자. 정말 15분만에 될까? Qgis와 Rstudio가 깔려있다면 가능할 것 같기도 하다. 물론 R과 Qgis의 기본적인 기능은 사용할 수 있어야 한다. 데이터 준비 localdata.kr 에..
이동의 범위, 삶의 테두리
Content 2021. 7. 10. 이동의 범위, 삶의 테두리 서울에 사는 어떤이는 한 달 동안 광주와 부산을 오고 간다. 서울에 사는 또 다른 이는 한 달 내내 집과 30분 거리의 직장만 시계추처럼 오고 간다. 어떤 이는 주말에 비행기를 타고 제주에 가서 드라이브를 하다가 온다. 신나는 여행길이다. 또 다른 이는 한달 내내 전국을 돌며 물건을 팔지만 그에게는 그 여정이 힘든 외근길에 불과하다. 이동은 자유일 수도 있고, 동시에 이동은 속박일 수도 있다. 이동에 담긴 각자의 사연은 쉽사리 알아낼 수 없지만, 어디로 다녀갔는지는 일단 그려볼 수 있다. 이 글에서는 KT 휴대폰 위치데이터로 사람들이 각자 한 달간 다녀간 권역들을 겹쳐 그려봤다. 어떤 사람이 한 달 동안 다녀간 곳들을 점으로 표시하면 위와 같은 그림을 그릴 수 있다. 그리고 그 점들을 온전히 포함하는 볼..
KT 휴대폰 위치데이터로 본 현지인과 외지인
Content 2021. 7. 2. KT 휴대폰 위치데이터로 본 현지인과 외지인 2020년 5월 11일 오후 2시의 명동에는 누가 얼만큼 있을까? 그 동네에 집이나 직장이 있는 20대는 얼마나 있을까? 외지에서 온 30대는 몇 명이나 있을까? 우리가 들고 다니는 휴대폰은 기지국과 신호를 주고 받으며 대략적인 위치를 남긴다. 그래서 GPS처럼 정밀하지는 않더라도 몇십미터나 몇백미터 정도의 오차로 대략적인 위치를 알 수 있다. 그래서 충분히 넓은 범위로, 예를 들어 전국을 1km x 1km의 격자로 나누어 사람들을 세어본다면 꽤 높은 정확도로 언제 어디에 몇 명이 있는지 알 수 있다. 데이터는 세분화할 수록 대체로 활용가치가 높아진다. "언제 어디에 몇명이 있는가?"라는 물음에 한 가지를 더 붙여보자. "언제 어디에 어떤 연령대의 사람들이 몇명 있는가?" 서울로 보자면 홍대 쪽은 20대..
OD 시각화 2 : 전국 인구 순이동
Function 2021. 4. 25. OD 시각화 2 : 전국 인구 순이동 앞의 글에서 여러가지 사례를 들어 OD 시각화에서 고민했던 점들을 썼다면, 이번에는 전국 인구 순이동 시각화를 조작해보면서 설명해보겠다. 앞의 글이란 이것 OD 시각화 1 : 여러가지 시도 지도 위에 데이터를 표현할 때 아주 까다로운 대상 중 하나는 OD 데이터다. Origin-Destination 데이터는 지도 위의 두 지점을 선으로 이어야 한다. 노드와 링크가 있는 추상공간 위의 네트워크 시각화 www.vw-lab.com 그리고 여기서 계속 다루게 될 "전국 시군구간 인구 순이동"은 조금 밑에서 소개하기로 하고, 일단 첫 시도로 거슬러 올라가보겠다. 첫 시도와 표현의 규칙들 이 작업의 출발은 2017년이었다. 대구MBC에서 제작하는 기획프로그램에 짧게 삽입될 목적이었는데, 요청사항은 '인구이동 데이터..
OD 시각화 1 : 여러가지 시도
Function 2021. 4. 24. OD 시각화 1 : 여러가지 시도 지도 위에 데이터를 표현할 때 아주 까다로운 대상 중 하나는 OD 데이터다. Origin-Destination 데이터는 지도 위의 두 지점을 선으로 이어야 한다. 노드와 링크가 있는 추상공간 위의 네트워크 시각화와는 조금 다른데, 되도록이면 정점의 위치를 움직이지 않음으로써 실제 지리 공간의 거리를 유지해야 한다는 전제가 있기 때문이다. 비교적 간단한 OD 시각화 처음 시도해봤던 OD 시각화는 d3.js를 공부해보던 시절에 그려봤던 패스 분포도였다. 지도 위의 공간 정보는 아니었지만 선수들 포지션에 따라 대략적으로 위치가 정해졌다고 전제로 깔고 그렸다. 전후반 출전 선수를 모두 포함하여 열댓개의 노드가 있는 OD 데이터였는데, 링크의 수는 이론적으로 노드의 제곱수까지 가능하므로 사실 노드가 열개만 되어도..
보궐선거 득표율 반응형 지도 사용법
Content 2021. 4. 21. 보궐선거 득표율 반응형 지도 사용법 웹 상에서 시도해볼 수 있는 인터랙티브 지도가 세상에 본격적으로 많아지기 시작한지 거의 10년이 다 되어간다. 뉴욕 타임즈 같은 해외의 언론사에서 한동안 다양한 시도를 했지만, 생각보다 사람들이 반응형 그래프나 지도 위에서 그리 오랜 시간을 보내지 않았던 것 같다. 그래서 그런지 데이터 저널리즘의 경우도 최근의 경향을 보면, 그저 단순히 한방향으로 마우스 휠을 긁어내리는 조작만으로 볼 수 있는 기사들을 많이 만들고 있다. 반응형 지도는 데이터를 좀 더 능동적으로 관찰하고 싶어하는 사람에게는 좋은 도구지만, 그렇지 않은 사람들에게는 복잡하고 쓸모없는 장난감일뿐이다. 그렇지만 또 어떤 사람들의 경우, 데이터에는 관심이 있는데 이용하는 방법에 익숙하지 않아서 이것저것 건드려보다가 그저 덮어두게 되는 대상이기도..
서울 생활인구 데이터를 격자로 재할당하기 ver2
Function 2020. 12. 19. 서울 생활인구 데이터를 격자로 재할당하기 ver2 이글에서는 서울시에서 KT와 협약을 맺어 공개하는 데이터인 '생활인구'데이터를 격자로 재할당하는 방법을 다룬다. 이 글은 전에 올렸던 두 개의 글과 연관이 있다. 첫번째로, 2년전에 올렸던 서울 생활인구 데이터를 격자 단위로 재할당하기 글 : 김승범 이 글은 불규칙한 형상의 집계구 단위로 배포된 서울 생활인구 데이터를 정사각형 격자 단위로 재할당하는 방법에 대해 다룬다. 여러가지 방법이 있겠지만, 건물 연면적 데이터를 www.vw-lab.com 생활인구를 건물 연면적에 가중치를 두어 50m 격자로 재할당했는데, 이 방식은 몇 가지 문제가 있다. 1. 건물 연면적을 가중치로 두기 때문에, 공원 처럼 건물이 없는 곳은 인구를 배분하지 않는다. '생활인구'의 개념 자체가 집에 거주하는 인구가 아닌, 움직이는 ..
10만개의 수를 draw call 한번으로 그리기
Function 2020. 12. 18. 10만개의 수를 draw call 한번으로 그리기 (이 글은 shader 작업이 가능한 사람에게만 유용합니다) 공간 데이터 시각화를 하다보면 많은 양의 숫자를 렌더링해야 할 경우가 종종 있다. 어떤 경우에는 몇 개의 숫자가 크고 명료하게 보여야 하지만, 때로는 '데이터스러운 느낌'을 주기 위해서 많은 양의 숫자가 필요할 때도 있다. 물론, 그 숫자들은 임의로 생성한 것이 아니라 데이터에서 비롯된 정확한 숫자가 되어야 한다. 인터랙션의 경우를 생각한다면 선택적으로 확대해서 볼 수도 있어야 하기 때문이다. 여기서는 많은 양의 숫자들을 빠르게 렌더링하는 간단한 팁을 소개한다. 최적화를 고민했던 누군가는 아래에 소개한 내용을 이미 당연하게 쓰고 있을 것 같기도 한데, 검색해도 잘 나오지 않아서 약간의 코드로 직접 만들어봤다. 셰이더를 통해 텍스쳐 작업을 하는 ..
통계청 집계구 인구를 격자로 재할당하기
Function 2020. 12. 15. 통계청 집계구 인구를 격자로 재할당하기 통계청 SGIS에서 신청하면 받을 수 있는 공개 자료 중, 집계구 기반 데이터들은 꽤 자세하기 때문에 상세하게 들여다보고 싶을 때는 아주 유용하다. 그렇지만 자세하다는 장점은 늘 다루기 까다롭다는 단점과 함께하기 마련이다. 빠르게 훑어보고 싶거나 전체를 놓고 비교해보고 싶을 때는 그 커다란 덩치 때문에 다소 불편하다. 그리고, 형상이 불규칙하고 크기도 제각각이다. 거주 인구를 기반으로 구획되었기 때문에 사람이 많이 살지 않는 곳은 아주 넓게 잡혀 있고, 반대로 집계구 하나가 아파트 한 동 크기에 불과한 경우도 있다. 때문에, 집계구 경계에 인구를 그대로 join 시켜서 GIS에서 인구에 연동되도록 색상을 설정하게 되면 한 눈에 밀도를 파악하기 어렵다. 여기서는 집계구에 할당된 인구를 격자로 재분배하는 작..
Nvidia Mesh Shader 코드를 작성해보자
Function 2020. 5. 17. Nvidia Mesh Shader 코드를 작성해보자 얼마 전 Unreal Engine 5의 데모가 공개되면서 엄청난 디테일의 표현을 가능하게 한 Nvidia 의 Mesh Shader 방식이 화제가 되었다. A first look at Unreal Engine 5 Get a glimpse of new and improved real-time rendering features currently in development. www.unrealengine.com 이 글에서는 Mesh Shader 를 직접 구성해보는 방법에 대해 설명한다. OpenGL 기준이며, 최소한 glDrawArrays 와 같은 드로우 명령을 통해 vertex shader - geometry shader - fragment shader 를 통과시키면서 개체들을 그려본 경험이 있는 사람들을 대..
실거래가 데이터 탐색 - 신축연도와 거래가격
Content 2020. 5. 8. 실거래가 데이터 탐색 - 신축연도와 거래가격 실거래가 데이터 탐색 두 번째 글 아래의 첫 번째 글에서 이어지는 내용이다. 실거래가 데이터 탐색 - 60-85㎡ 아파트 매매 가격 이번에는 국토교통부 실거래가 데이터를 살펴보자. 지난번에 데이터 전처리에 대해 올린 바 있다. 국토교통부 실거래가 데이터 전처리 이 글에서는 국토교통부에서 공개중인 실거래가 데이터를 지도에 표시하기 위.. www.vw-lab.com 신축연도와 아파트 매매 실거래가 앞의 글에서 아래와 같은 그래프들을 올린 바 있다. 앞의 글과 다소 다른 부분은 이번에는 60-85제곱미터 뿐만 아니라 모든 면적을 넣었고, 대신 제곱미터당 실거래가격으로 두어 면적 차이를 표준화했다. 위의 그래프를 보면 최근 들어 군산의 아파트 가격 상위 10%가 급상승한 것처럼 보인다. 이게 틀린 말은 아니지만..

티스토리툴바