본문 바로가기

ALL

레이 마칭(Ray-Marching) 방식의 인구막대 시각화
Function 2022. 2. 2. 레이 마칭(Ray-Marching) 방식의 인구막대 시각화 레이 마칭(Ray Marching)이란 3차원 물체를 렌더링하는 방식 중 하나다. 물체가 모두 그려진 2차원 이미지 한 장이 있다고 가정하고, 픽셀 하나하나의 색을 어떻게 칠할지를 결정하는 방식으로 접근한다. 아래 그림처럼, 3차원 실제 공간이 2차원의 투영막에 투영된다고 하자. 그 투영된 이미지가 화면에 렌더링 될 이미지가 된다. 이때 아래 그림에서 카메라의 시점이 곧 관찰자의 시점이 된다. 시선과 물체의 한 점을 잇는 선분을 만들어볼 수 있고, 이 투영막의 어떤 픽셀 하나가 있다고 가정할 때, 그 선분과 투영막이 교차하는 지점이 바로 그 픽셀이 된다. 여기까지의 서술이 잘 이해가지 않고 생소하다면, 잠시 이 글을 덮어두고 3차원 렌더링 방식의 기본 지식들을 공부할 것을 권한다. 트라이앵글 기반의 3차..
맵 매칭(Map Matching)
Function 2022. 2. 2. 맵 매칭(Map Matching) 맵 매칭(map matching)은 GPS처럼 측정된 궤적(trajectory)을, 노드와 링크로 구성된 기존의 지도(map)에 맞추는(matching) 작업이다. 차량 내비게이션의 경우에도 GPS의 궤적들을 기존에 입력된 지도 위에 매칭시킴으로써 주행하고 있는 도로의 전방 상황을 미리 안내해주기도 한다. 간혹 안내된 경로 밖으로 벗어나서 주행할 경우, 일정 시간이 지나면 경로 이탈을 인지한 후 다시 돌아가는 길을 안내해 주기도 하는데, 이는 측정된 궤적을 토대로 가장 그럴법한 링크들로 매칭시키는 작업이 끊임없이 반복되고 있기 때문이다. 가장 쉽게 해 볼 수 있는 맵 매칭 방식은 측정된 점으로부터 가장 가까운 링크에 곧바로 점들을 수선을 내려 투영시켜주는 방식이다. GPS 측정 주기가 매우 짧고 보행처럼..
벡터필드 : 풍속 데이터로 바람 그리기
Function 2022. 1. 24. 벡터필드 : 풍속 데이터로 바람 그리기 풍속 데이터로 바람을 표현해보자. 이 글은 두 개의 레퍼런스와 본 글로 구성된다. 이 글에서는 OpenGL을 이용해서 그리는 방식을 설명한다. 필요한 데이터와 기본적인 원리들을 설명하고 있으므로, 다른 방식으로 그리려면 글 내용을 이해한 후 스스로 시도해봐야 한다. 그리기 위한 전체 코드를 설명하지는 않고 핵심적인 부분만 다루므로 OpenGL의 기본적인 부분들은 알고 있어야 한다. 예시 1 : Cameron Beccario의 아래 사이트에 들어가면 둥근 지구 표면 위에서 바람이 흐르는 모습을 볼 수 있다. (바람 이외에도 여러가지 기상 정보를 볼 수 있다) earth :: a global map of wind, weather, and ocean conditions See current wind, weat..
겹치지 않는 원으로 인구 그려보기
Function 2021. 12. 29. 겹치지 않는 원으로 인구 그려보기 여기서는 시군구 인구를 원으로 시각화한 과정의 기술적인 내용에 대해 적어보겠다. 관련된 두 글은 다음과 같다. 대한민국 시군구 인구 변화 시각화(1975~2020) 우리나라 인구 변화를 지도 위에 시군구 단위로 시각화 한 이 글에 새로운 발견은 없다. 인구 변화에 관심있던 사람이라면 대부분 아는 내용이다. 서울-인천-경기를 포괄하는 '수도권'으로 인구 www.vw-lab.com 시군구별 연령별 인구 변화 시각화(2000~2020) 앞의 글에 이어 이번에는 성연령별로 구분해본 인구의 변화를 본다. 앞의 글(아래 링크)에서 대체적인 취지와 개요를 설명했다. 대한민국 시군구 인구 변화 시각화(1975~2020) 우리나라 인구 변화 www.vw-lab.com 데이터 두 글에서 사용한 데이터가 다르다. 첫번째 1..
시군구별 연령별 인구 변화 시각화(2000~2020)
Content 2021. 12. 29. 시군구별 연령별 인구 변화 시각화(2000~2020) 앞의 글에 이어 이번에는 성연령별로 구분해본 인구의 변화를 본다. 앞의 글(아래 링크)에서 대체적인 취지와 개요를 설명했다. 대한민국 시군구 인구 변화 시각화(1975~2020) 우리나라 인구 변화를 지도 위에 시군구 단위로 시각화 한 이 글에 새로운 발견은 없다. 인구 변화에 관심있던 사람이라면 대부분 아는 내용이다. 서울-인천-경기를 포괄하는 '수도권'으로 인구 www.vw-lab.com 데이터 이번에는 성연령 인구 변화를 보기 위해 통계청 통계지리정보서비스(SGIS)의 자료신청을 통해 집계구별 인구를 받아서 가공했다. 과거의 인구를 2021년 행정구역에 맞춰 재집계해 주므로 행정구역의 시계열 변화에 따라 인구를 재조정하는 작업을 해 주지 않아도 된다. 단, 집계구 인구이므로 특정 성연령이 5명 미만..
대한민국 시군구 인구 변화 시각화(1975~2020)
Content 2021. 12. 29. 대한민국 시군구 인구 변화 시각화(1975~2020) 우리나라 인구 변화를 지도 위에 시군구 단위로 시각화 한 이 글에 새로운 발견은 없다. 인구 변화에 관심있던 사람이라면 대부분 아는 내용이다. 서울-인천-경기를 포괄하는 '수도권'으로 인구가 집중되었고, 도시 지역이 아닌 곳들의 인구는 점점 줄어들어서 도시와 비도시 지역의 인구는 9:1 정도의 극단적인 비율에 이르렀다. 비도시 지역은 인구가 줄어들 뿐 아니라 점점 고령화되고 젊은 인구들의 유입이 적어진 탓에 '지방소멸'까지 거론되고 있다. 이 글은 익히 알고 있는 이런 내용들을 다룬다. 그렇다면 왜 이런 뻔한 내용을 굳이 시간을 들여 그리고 있을까? 데이터 시각화에는 여러가지 목적이 있는 것 같다. 무언가를 빠르게 탐색하고 발견하기 위해서 숫자들을 그림으로 바꿔보는 경우, 복잡한 사실들을 한 눈에 보기 ..
반응형 유동인구/매출액 Viewer
Function 2021. 12. 20. 반응형 유동인구/매출액 Viewer PC에서 다루기에 데이터가 커지면, 즉 대략 몇 GB정도를 넘어가면 작업 속도가 현저히 떨어지기 시작한다. 속성값을 필터링하고 group by 해서 집계해보는데도 몇 초 정도는 걸리며, 혹은 그 결과물을 서로 비교하는 그래프를 그리는데도 적지 않은 노력이 든다. 많은 양의 데이터를 탐색할 때는 생각의 끊김 없이 데이터를 헤집어볼 수 있는게 중요한데, 속성을 덜어내거나 더할 때, 혹은 날짜를 바꿔가면서 값들을 비교해볼때, 시군구 단위처럼 넓은 지역의 집계량을 비교해볼 때 실시간으로 결과물을 확인할 수 있다면 데이터가 가진 특성을 빠른 시간안에 이해할 수 있고 문제점 혹은 특별한 현상을 발견하기가 매우 용이해진다. 데이터 필터링에서 시각화로 이어지는 반복되는 작업들을, 현대의 빠른 PC성능을 최대한 활용해서..
지구를 그려보자
Function 2021. 10. 29. 지구를 그려보자 지구를 만들어보자. 아무것도 없는 공간에 구를 그리고 지구의 이미지를 덮어씌워보자. 낮과 밤을 촬영한 NASA 이미지 두 장을 태양이 비추는 곳과 그렇지 않은 곳에 적절히 맵핑해주자. 그리고 두 부분이 만나는 곳을 황혼처럼 약간 붉게 만들어보자. 푸르스름한 지구 주변의 대기도 표현하면 그럭저럭 완성이 된다. 아, 당연히 연월일시에 따라 지구의 상태가 변해야 한다. cpp에서 OpenGL 라이브러리를 사용하여 만들었다. OpenGL에서 직접적으로 코딩하는 사람들에게는 도움이 되겠지만, 그런 사람은 많지 않을테니... WebGL 사용자들은 비슷하게 응용할 수 있을 것 같고, 안써봐서 잘 모르겠지만 유니티나 언리얼엔진같이 셰이더 기반으로 작업하는 환경에서도 적절히 옮겨쓸 수 있을 것 같다. 1년 전쯤 한 포럼..
스마트서울 도시데이터센서(S-DoT)기온 데이터 시각화
Function 2021. 10. 11. 스마트서울 도시데이터센서(S-DoT)기온 데이터 시각화 서울 열린데이터 광장에는 서울 전역에 설치된 온도, 습도, 미세먼지 등의 센서들이 측정한 환경정보를 제공하고 있다. 여기서는 그 중 기온데이터를 지도에 등온선과 그라데이션으로 그려보는 작업을 해보겠다. 시각화는 cpp와 OpenGL 라이브러리를 통해서 작업했기 때문에 모든 과정을 설명할 수는 없지만, 핵심 방법론은 간단하므로 그 부분을 설명해보려 한다. 데이터는 아래에 있다. 지속적으로 올라오는데 포맷도 한번 바뀌어서 전체를 병합하면 안된다. 열린데이터광장 메인 데이터분류,데이터검색,데이터활용 data.seoul.go.kr 간혹 엉뚱한 시점에 40도가 넘는이상치도 있고, 누락된 곳도 있으므로 분석을 하려면 어느 정도 전처리가 필요할 것 같다. 여기서는 그저 시각화 연습이 목적이므로 이상치는 특별히 검증하..
서울시 생활이동 데이터 개략 탐색
Content 2021. 9. 23. 서울시 생활이동 데이터 개략 탐색 지난 9월 8일 서울시 생활이동 데이터 기자설명회에서 발표한 자료를 약간 수정하여 여기에 기록해둔다. 발표시간이 7분으로 매우 짧았기 때문에 만들었던 자료들을 일부 덜어내고 발표했는데, 여기에는 그 중 일부를 다시 덧붙여 올린다. 서울시 생활이동 데이터는 KT의 휴대폰 시그널을 가공하여 만든 데이터로 서울시와 KT, 그리고 한국교통연구원이 공동 개발하였다. 데이터는 서울 열린데이터 광장에 행정동 단위로 공개되고, 서울시 빅데이터 캠퍼스에서는 좀 더 자세한 버젼을 이용할 수 있다. 이 발표자료는 행정동 단위보다 조금 더 자세한, 시간대별 교통폴리곤 단위의 데이터를 바탕으로 작성되었다. 공개된 형식의 데이터를 가공하여 지도 위에 그려보는 작업은 지난번에 소개하였다.(아래 링크 참고) 서울 생활이동 데이터를 ..
서울 생활이동 데이터를 지도 위에 옮겨보자
Function 2021. 9. 10. 서울 생활이동 데이터를 지도 위에 옮겨보자 서울시에서 '생활이동' 데이터를 공개했다. KT의 휴대폰 시그널을 바탕으로 언제 어디서 어디로 어떤 사람들이(성연령) 이동했는지에 대한 데이터다. 서울 열린데이터광장 서울 생활이동 인구란? 서울 안에서 이동하거나 서울 외부에서 서울로 오고 간 이동으로 통근, 통학, 쇼핑, 여가 등 행정수요를 유발하는 모든 이동 data.seoul.go.kr 공개된 형식은 한 달을 기준으로, 요일별, 시간대별, 행정동별, 성별, 연령별 이동량이 있는데, 부가적인 속성을 통해 출근 혹은 통학 이동인지도 알 수 있다. 서울시 빅데이터 캠퍼스에서는 좀 더 상세한 단위의 데이터를 다룰 수 있다고 한다. 이렇게 출발지와 도착지가 있어, 선으로 그릴수 있는 데이터를 OD(Origin-Destination) 데이터, 혹은 플로우(fl..
서울 공공자전거 따릉이 대여이력 시각화
Content 2021. 7. 20. 서울 공공자전거 따릉이 대여이력 시각화 따릉이 데이터는 서울 열린데이터 광장에서 받을 수 있다. 열린데이터광장에서 제공되는 데이터 중 여러가지 데이터 중 연습삼아 분석해보기 좋은 대상이라 '따릉이 데이터 분석' 정도로 구글링해봐도 읽어볼만한 좋은 글들이 많이 나온다. 여기서는 첫 대여 이력이 있는 2015년 9월부터 현재 공개된 최신자료인 2021년 1월까지의 대여이력을 시각화했다. 데이터 준비 대여이력 데이터는 아래 링크에 있다. 서울특별시 공공자전거 대여이력 정보 서울특별시 공공자전거 대여이력 정보입니다. 자전거 이동경로에 대한 데이터 분석이 가능하도록 년도별, 대여소별, 자전거별 대여이력 원천 데이터를 제공합니다. data.seoul.go.kr 대여소 위치의 경우 서울 열린데이터 광장의 다른 게시판에 있지만, 철거된 대여소의 경우 좌표가..
15분만에 전국 음식점 개폐업 지도 만들어보기
Function 2021. 7. 12. 15분만에 전국 음식점 개폐업 지도 만들어보기 로컬데이터(localdata.kr)의 개폐업 데이터를 바탕으로 위와 같은 히트맵을 만들어보려고 한다. 언론에서 종종 작년과 올해 사이에 폐업이 증가한 곳들을 보도하는데, 실제 데이터를 보면 개업과 폐업은 순환하는 신진대사처럼 일어난다. 잘 되는 곳 역시 개업도 많겠지만 폐업도 많다. 드는 곳이 있으면 나는 곳도 있고 나는 곳이 있으면 드는 곳도 있기 마련이다. 그래서 일반적인 히트맵 그리는 방식에서 개업과 폐업에 가중치를 양과 음으로 부여하여 많이 늘어난 지역과 많이 줄어든 지역을 동시에 보려고 한다. 그럼 만들어보자. 정말 15분만에 될까? Qgis와 Rstudio가 깔려있다면 가능할 것 같기도 하다. 물론 R과 Qgis의 기본적인 기능은 사용할 수 있어야 한다. 데이터 준비 localdata.kr 에..
이동의 범위, 삶의 테두리
Content 2021. 7. 10. 이동의 범위, 삶의 테두리 서울에 사는 어떤이는 한 달 동안 광주와 부산을 오고 간다. 서울에 사는 또 다른 이는 한 달 내내 집과 30분 거리의 직장만 시계추처럼 오고 간다. 어떤 이는 주말에 비행기를 타고 제주에 가서 드라이브를 하다가 온다. 신나는 여행길이다. 또 다른 이는 한달 내내 전국을 돌며 물건을 팔지만 그에게는 그 여정이 힘든 외근길에 불과하다. 이동은 자유일 수도 있고, 동시에 이동은 속박일 수도 있다. 이동에 담긴 각자의 사연은 쉽사리 알아낼 수 없지만, 어디로 다녀갔는지는 일단 그려볼 수 있다. 이 글에서는 KT 휴대폰 위치데이터로 사람들이 각자 한 달간 다녀간 권역들을 겹쳐 그려봤다. 어떤 사람이 한 달 동안 다녀간 곳들을 점으로 표시하면 위와 같은 그림을 그릴 수 있다. 그리고 그 점들을 온전히 포함하는 볼..
KT 휴대폰 위치데이터로 본 현지인과 외지인
Content 2021. 7. 2. KT 휴대폰 위치데이터로 본 현지인과 외지인 2020년 5월 11일 오후 2시의 명동에는 누가 얼만큼 있을까? 그 동네에 집이나 직장이 있는 20대는 얼마나 있을까? 외지에서 온 30대는 몇 명이나 있을까? 우리가 들고 다니는 휴대폰은 기지국과 신호를 주고 받으며 대략적인 위치를 남긴다. 그래서 GPS처럼 정밀하지는 않더라도 몇십미터나 몇백미터 정도의 오차로 대략적인 위치를 알 수 있다. 그래서 충분히 넓은 범위로, 예를 들어 전국을 1km x 1km의 격자로 나누어 사람들을 세어본다면 꽤 높은 정확도로 언제 어디에 몇 명이 있는지 알 수 있다. 데이터는 세분화할 수록 대체로 활용가치가 높아진다. "언제 어디에 몇명이 있는가?"라는 물음에 한 가지를 더 붙여보자. "언제 어디에 어떤 연령대의 사람들이 몇명 있는가?" 서울로 보자면 홍대 쪽은 20대..
OD 시각화 2 : 전국 인구 순이동
Function 2021. 4. 25. OD 시각화 2 : 전국 인구 순이동 앞의 글에서 여러가지 사례를 들어 OD 시각화에서 고민했던 점들을 썼다면, 이번에는 전국 인구 순이동 시각화를 조작해보면서 설명해보겠다. 앞의 글이란 이것 OD 시각화 1 : 여러가지 시도 지도 위에 데이터를 표현할 때 아주 까다로운 대상 중 하나는 OD 데이터다. Origin-Destination 데이터는 지도 위의 두 지점을 선으로 이어야 한다. 노드와 링크가 있는 추상공간 위의 네트워크 시각화 www.vw-lab.com 그리고 여기서 계속 다루게 될 "전국 시군구간 인구 순이동"은 조금 밑에서 소개하기로 하고, 일단 첫 시도로 거슬러 올라가보겠다. 첫 시도와 표현의 규칙들 이 작업의 출발은 2017년이었다. 대구MBC에서 제작하는 기획프로그램에 짧게 삽입될 목적이었는데, 요청사항은 '인구이동 데이터..
OD 시각화 1 : 여러가지 시도
Function 2021. 4. 24. OD 시각화 1 : 여러가지 시도 지도 위에 데이터를 표현할 때 아주 까다로운 대상 중 하나는 OD 데이터다. Origin-Destination 데이터는 지도 위의 두 지점을 선으로 이어야 한다. 노드와 링크가 있는 추상공간 위의 네트워크 시각화와는 조금 다른데, 되도록이면 정점의 위치를 움직이지 않음으로써 실제 지리 공간의 거리를 유지해야 한다는 전제가 있기 때문이다. 비교적 간단한 OD 시각화 처음 시도해봤던 OD 시각화는 d3.js를 공부해보던 시절에 그려봤던 패스 분포도였다. 지도 위의 공간 정보는 아니었지만 선수들 포지션에 따라 대략적으로 위치가 정해졌다고 전제로 깔고 그렸다. 전후반 출전 선수를 모두 포함하여 열댓개의 노드가 있는 OD 데이터였는데, 링크의 수는 이론적으로 노드의 제곱수까지 가능하므로 사실 노드가 열개만 되어도..
보궐선거 득표율 반응형 지도 사용법
Content 2021. 4. 21. 보궐선거 득표율 반응형 지도 사용법 웹 상에서 시도해볼 수 있는 인터랙티브 지도가 세상에 본격적으로 많아지기 시작한지 거의 10년이 다 되어간다. 뉴욕 타임즈 같은 해외의 언론사에서 한동안 다양한 시도를 했지만, 생각보다 사람들이 반응형 그래프나 지도 위에서 그리 오랜 시간을 보내지 않았던 것 같다. 그래서 그런지 데이터 저널리즘의 경우도 최근의 경향을 보면, 그저 단순히 한방향으로 마우스 휠을 긁어내리는 조작만으로 볼 수 있는 기사들을 많이 만들고 있다. 반응형 지도는 데이터를 좀 더 능동적으로 관찰하고 싶어하는 사람에게는 좋은 도구지만, 그렇지 않은 사람들에게는 복잡하고 쓸모없는 장난감일뿐이다. 그렇지만 또 어떤 사람들의 경우, 데이터에는 관심이 있는데 이용하는 방법에 익숙하지 않아서 이것저것 건드려보다가 그저 덮어두게 되는 대상이기도..
서울 생활인구 데이터를 격자로 재할당하기 ver2
Function 2020. 12. 19. 서울 생활인구 데이터를 격자로 재할당하기 ver2 이글에서는 서울시에서 KT와 협약을 맺어 공개하는 데이터인 '생활인구'데이터를 격자로 재할당하는 방법을 다룬다. 이 글은 전에 올렸던 두 개의 글과 연관이 있다. 첫번째로, 2년전에 올렸던 서울 생활인구 데이터를 격자 단위로 재할당하기 글 : 김승범 이 글은 불규칙한 형상의 집계구 단위로 배포된 서울 생활인구 데이터를 정사각형 격자 단위로 재할당하는 방법에 대해 다룬다. 여러가지 방법이 있겠지만, 건물 연면적 데이터를 www.vw-lab.com 생활인구를 건물 연면적에 가중치를 두어 50m 격자로 재할당했는데, 이 방식은 몇 가지 문제가 있다. 1. 건물 연면적을 가중치로 두기 때문에, 공원 처럼 건물이 없는 곳은 인구를 배분하지 않는다. '생활인구'의 개념 자체가 집에 거주하는 인구가 아닌, 움직이는 ..
10만개의 수를 draw call 한번으로 그리기
Function 2020. 12. 18. 10만개의 수를 draw call 한번으로 그리기 (이 글은 shader 작업이 가능한 사람에게만 유용합니다) 공간 데이터 시각화를 하다보면 많은 양의 숫자를 렌더링해야 할 경우가 종종 있다. 어떤 경우에는 몇 개의 숫자가 크고 명료하게 보여야 하지만, 때로는 '데이터스러운 느낌'을 주기 위해서 많은 양의 숫자가 필요할 때도 있다. 물론, 그 숫자들은 임의로 생성한 것이 아니라 데이터에서 비롯된 정확한 숫자가 되어야 한다. 인터랙션의 경우를 생각한다면 선택적으로 확대해서 볼 수도 있어야 하기 때문이다. 여기서는 많은 양의 숫자들을 빠르게 렌더링하는 간단한 팁을 소개한다. 최적화를 고민했던 누군가는 아래에 소개한 내용을 이미 당연하게 쓰고 있을 것 같기도 한데, 검색해도 잘 나오지 않아서 약간의 코드로 직접 만들어봤다. 셰이더를 통해 텍스쳐 작업을 하는 ..
통계청 집계구 인구를 격자로 재할당하기
Function 2020. 12. 15. 통계청 집계구 인구를 격자로 재할당하기 통계청 SGIS에서 신청하면 받을 수 있는 공개 자료 중, 집계구 기반 데이터들은 꽤 자세하기 때문에 상세하게 들여다보고 싶을 때는 아주 유용하다. 그렇지만 자세하다는 장점은 늘 다루기 까다롭다는 단점과 함께하기 마련이다. 빠르게 훑어보고 싶거나 전체를 놓고 비교해보고 싶을 때는 그 커다란 덩치 때문에 다소 불편하다. 그리고, 형상이 불규칙하고 크기도 제각각이다. 거주 인구를 기반으로 구획되었기 때문에 사람이 많이 살지 않는 곳은 아주 넓게 잡혀 있고, 반대로 집계구 하나가 아파트 한 동 크기에 불과한 경우도 있다. 때문에, 집계구 경계에 인구를 그대로 join 시켜서 GIS에서 인구에 연동되도록 색상을 설정하게 되면 한 눈에 밀도를 파악하기 어렵다. 여기서는 집계구에 할당된 인구를 격자로 재분배하는 작..
Nvidia Mesh Shader 코드를 작성해보자
Function 2020. 5. 17. Nvidia Mesh Shader 코드를 작성해보자 얼마 전 Unreal Engine 5의 데모가 공개되면서 엄청난 디테일의 표현을 가능하게 한 Nvidia 의 Mesh Shader 방식이 화제가 되었다. A first look at Unreal Engine 5 Get a glimpse of new and improved real-time rendering features currently in development. www.unrealengine.com 이 글에서는 Mesh Shader 를 직접 구성해보는 방법에 대해 설명한다. OpenGL 기준이며, 최소한 glDrawArrays 와 같은 드로우 명령을 통해 vertex shader - geometry shader - fragment shader 를 통과시키면서 개체들을 그려본 경험이 있는 사람들을 대..
실거래가 데이터 탐색 - 신축연도와 거래가격
Content 2020. 5. 8. 실거래가 데이터 탐색 - 신축연도와 거래가격 실거래가 데이터 탐색 두 번째 글 아래의 첫 번째 글에서 이어지는 내용이다. 실거래가 데이터 탐색 - 60-85㎡ 아파트 매매 가격 이번에는 국토교통부 실거래가 데이터를 살펴보자. 지난번에 데이터 전처리에 대해 올린 바 있다. 국토교통부 실거래가 데이터 전처리 이 글에서는 국토교통부에서 공개중인 실거래가 데이터를 지도에 표시하기 위.. www.vw-lab.com 신축연도와 아파트 매매 실거래가 앞의 글에서 아래와 같은 그래프들을 올린 바 있다. 앞의 글과 다소 다른 부분은 이번에는 60-85제곱미터 뿐만 아니라 모든 면적을 넣었고, 대신 제곱미터당 실거래가격으로 두어 면적 차이를 표준화했다. 위의 그래프를 보면 최근 들어 군산의 아파트 가격 상위 10%가 급상승한 것처럼 보인다. 이게 틀린 말은 아니지만..
실거래가 데이터 탐색 - 60-85㎡ 아파트 매매 가격
Content 2020. 5. 8. 실거래가 데이터 탐색 - 60-85㎡ 아파트 매매 가격 이번에는 국토교통부 실거래가 데이터를 살펴보자. 지난번에 데이터 전처리에 대해 올린 바 있다. 국토교통부 실거래가 데이터 전처리 이 글에서는 국토교통부에서 공개중인 실거래가 데이터를 지도에 표시하기 위해 주로 좌표값을 연결하는 과정을 설명한다. 간단히 말해 '지오코딩'하는 과정 + 알파 정도가 되겠다. 형식적으로는 다음의 내용을 담.. www.vw-lab.com 이제 전처리를 했으니 대쉬보드 형식으로 만들어 이리저리 둘러보자. 그림의 형식 일단 이 글에 등장하게 될 그림들은 아래의 형식이다. 지도부터 설명하자면, 지도에 솟아오른 막대 하나하나는 실거래가 1건을 가리킨다. 막대의 높이는 실거래가에 비례하도록 두었고, 색상 역시 그러하다. 저 그림에서는 푸른색 -> 붉은색 -> 노란색일수록 실거래가 높다. ..
데이터로서의 이미지 : 수백만개 선들의 적층과 재분해
Function 2020. 4. 25. 데이터로서의 이미지 : 수백만개 선들의 적층과 재분해 데이터로 만든 이미지 3년 전에 프로세싱으로 한 해 동안의 인구 이동을 표현했었다. 580만개 가구 이동 각각을 선 하나로 나타냈는데, 적절한 결과물을 얻기 위해 선의 굵기와 색, 그리고 투명도를 바꿔가면서 수십장의 다른 이미지들을 만들었었다. 수치를 조금 작게 하면 너무 흐려지거나 조금 크게하면 모두 하얗게 날아가기도 했고, 선들이 모두 겹쳐진 최종 색상이 마음에 들지 않아 다시 작업하기도 했다. 그래서 결국 마지막에는 위와 같은 코드로 마무리했다. 랜덤하게 발생시킨 색상을 겹치고, 중간 진행 정도를 나타내는 t값을 세제곱 네제곱해보면서 적절한 변화 정도를 찾고, 굵기와 진하기는 영쩜 몇몇몇몇을 해야 적절한지를 여러차례 시도한 끝에 결정지었다. 그렇게 얻은 이미지를 마지막으로 포토샵에서 약간 조정했는데..
국토교통부 실거래가 데이터 전처리
Function 2020. 4. 19. 국토교통부 실거래가 데이터 전처리 이 글에서는 국토교통부에서 공개중인 실거래가 데이터를 지도에 표시하기 위해 주로 좌표값을 연결하는 과정을 설명한다. 간단히 말해 '지오코딩'하는 과정 + 알파 정도가 되겠다. 형식적으로는 다음의 내용을 담고 있으며 실거래가 데이터를 예로 들어서 설명한다고 보면 된다. - 법정동 주소 형식을 PNU 코드로 바꾸기 - PNU 코드의 좌표값 얻기 - 현재 존재하지 않는 과거 주소의 좌표값 얻기 - 한 좌표점으로 겹치는 좌표값 처리하기 - 전월세 전환율 적용시켜 월세를 전세가로 만들기 이 데이터를 처리하기 위해서는 어떤 파이썬이든 R이든 자바든 파일 입출력과 문자열 처리 정도는 할 수 있어야 한다. 세세한 디테일은 설명하지 않으므로, 혹시 설명이 부족한 부분이 있다면 각자 익숙한 언어와 도구에서 검색하기를 권한..
서울 아파트 매매 실거래가를 살펴보다가
Content 2020. 4. 16. 서울 아파트 매매 실거래가를 살펴보다가 60~85제곱미터규모 아파트 매매 실거래가 세 곳. 각각 2006년부터 2020년 3월까지 시간에 따른(x축) 산포도다. 규제가 만들어놓은 실질적(혹은 심리적)제한선의 영향이 보인다. 첫번째 성동구 옥수동 부근을 보면 2014년부터 2017년까지는 취득세가 2%에서 3%로 오르는 9억 제한선 위로 좀처럼 거래금액이 올라오지 못하는 상황이 보인다. 사는 사람 입장에서는 취득세 때문에 9억 미만으로 끌어내리려 했을 것이고 파는 사람은 양도세 제한을 약간 고려했을 수도 있다. 그런데 전반적인 시세 자체가 9억을 확실히 넘어가는 순간 9억이라는 제한은 무의미해지는 것 같다. 두 번째는 소위 잠실 '엘.리.트.레.오' 중 다섯번째 파크리'오'다. 여기야말로 9억이라는 규제의 영향이 아주 확실하게 보이는데, 201..
코로나 바이러스로 인한 항공기 운행 감소
Content 2020. 3. 25. 코로나 바이러스로 인한 항공기 운행 감소 코로나 바이러스로 인해 운행하지 않는 항공 노선이 많아졌다. 중국을 제외하고도 미국, 이탈리아, 스페인, 독일, 프랑스, 스위스 등 여러 나라에서 확진자가 만명을 넘어서면서 국제선 운항을 중단하는 국가들이 늘어나고 있다. opensky-network.org 에는 수 많은 장소에서 모은 항공기 트래킹 데이터를 집계하고 있다. flightradar24.com 같은 곳이 데이터는 더 많은 것 같은데, opensky-network.org의 경우에는 일주일에 하루씩 무료로 다운받을 수 있는 데이터가 올라온다는 장점이 있다. 최근에 올라온 데이터는 3월 16일과 3월 23일. 두 데이터의 용량을 비교해보면 3월 16일이 7GB, 그리고 3월 23일이 55% 수준이다. 다시말해, 항공기 운행이 절반 가까이 줄어들었단..
코로나19 감염회복 시뮬레이션
Content 2020. 3. 21. 코로나19 감염회복 시뮬레이션 일주일 전 쯤 워싱턴포스트에 코로나 확산과 회복에 관한 시뮬레이션 기사가 올라왔다. 아래의 기사는 사회적 거리두기가 코로나19가 빠르게 확산되지 않도록 하는데 얼마나 효과적인지를 아주 잘 보여주고 있다. https://www.washingtonpost.com/graphics/2020/world/corona-simulator/ 기사를 보고 몇 가지 조건을 바꾸거나 넣어보면 어떻게 바뀔까 궁금해하다가 시간을 내어 한번 만들어봤다. 이렇게 개별적인 개체에 조건을 주어 시뮬레이션 하는 방식을 agent-based modeling 이라고도 하는데, 화재 탈출 시뮬레이션처럼 군집의 행동을 예측해보는데 널리 쓰인다. 어떤 조건들을 설정하느냐, 혹은 얼마나 세밀하게 셋팅하느냐에 따라 결과가 많이 달라지기도 한다. 워싱..
공시지가 - 전국 모든 땅의 가격은 얼마나 높고 낮은가?
Function 2020. 3. 2. 공시지가 - 전국 모든 땅의 가격은 얼마나 높고 낮은가? 국토교통부 지적통계에 따르면, 2018년 말 기준으로 전국의 필지는 38,786,795개가 있다.*** 우리나라는 1990년부터 모든 토지에 대해 개별공시지가를 산정해서 발표했는데, 작년 말에 처음으로 전국 모든 토지의 30년간 공시지가 변동 이력을 csv 형식으로 공개하기 시작했다. ***. 국토부 통계누리 지적통계 참고 http://bitly.kr/MTojEnUl 국가공간정보 포털에 30년치가 한번에 올라와 있다 데이터는 국가공간정보 포털에 있다. http://openapi.nsdi.go.kr/nsdi/eios/ServiceDetail.do?svcSe=F&svcId=F012&provOrg=NIDO 서울같은 경우는 엑셀로 이미 공개하고 있었지만 다른 시도의 데이터는 잘 찾기가 어려웠는데, 기존에 이 곳..