[PySpark] Elasticsearch Index 에서 DataFrame 생성하기 elasticsearch-hadoop connector 를 이용해서 spark dataframe을 생성한다. Spark 설치 spark 다운로드 및 환경설정 필요한 요소만 설치하고자 하는 경우 소스코드를 내려받아서 maven을 이용해 빌드해도 되지만 pre-compiled 바이너리를 이용한다. wget http://mirror.navercorp.com/apache/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz tar -xvzf spark-2.3.2-bin-hadoop2.7.tgz -C /app/spark/. mv /app/spark/spark-2.3.2-bin-hadoop2.7 /app/spark/2.3.2 find /app/spark/2.3.2 -mindepth 1 -maxdepth 1 -type d | xargs -I {} […]
[Python] Flask – wsgi를 이용한 Apache httpd 연동
wsgi를 이용한 Apache httpd 연동 wsgi를 이용해서 apache httpd 웹서버가 flask application 을 서비스할 수 있다. python 프로세스 단위로 실행시킬 수도 있지만, ssl 보안 연결이나 가상 호스트 사용 등 httpd 에 얹어서 쓰면 관리 차원에서 httpd 에 얹어 쓰는게 좋을 듯 하다. 패키지 설치 크게 버전을 타지 않는 라이브러리들은 yum 을 이용해서 설치 하고, apache […]