하둡 거래 시스템
App Store를 통해 가져 오기 우리의 응용 프로그램 에서이 게시물을 읽으십시오!
Hadoop을 사용하여 주식 시장 데이터를 저장합니다.
Hadoop과 그 주변의 다양한 프로젝트에 대해 재미있게 배우고 있으며 현재 시장 틱 데이터의 대규모 콜렉션을 저장하는 시스템을 구축하기 위해 생각하고있는 2 가지 전략이 있습니다. 이제는 Hadoop / HDSF 그리고 HBase를 사용하고 있지만 나중에 누군가가 이러한 기술을 사용하여 폐크 할 필요가없는 시스템 시드를 심는 것을 도울 수 있기를 바랍니다. 다음은 쿼리 및 데이터 사용 사례가있는 시스템 및 요구 사항의 개요입니다. 마지막으로 제가 읽은 작은 문서에서 가장 좋은 방법에 대한 현재의 생각을 말합니다. 열린 질문입니다. 통찰력이 있으며 가장 좋은 답변을 기꺼이 받아 들일 것입니다. 아래의 모든 점에 대해 자유롭게 의견을 말하십시오. - 던컨 크레브스.
시스템 요구 사항 - 시스템의 과거 백 테스트, 과거 데이터 차트 및 향후 데이터 마이닝을 위해 데이터 저장소를 활용할 수 있습니다. 일단 저장되면 데이터는 항상 읽기 전용이므로 빠른 데이터 액세스가 필요하지만 다시 테스트 할 때 반드시 있어야하는 것은 아닙니다.
정적 스키마 - 매우 간단합니다. 피드에서 3 가지 유형의 메시지를 캡처하고 싶습니다.
날짜, 요일, 시간을 포함한 타임 스탬프 기호, 타임 스탬프, 요청, askSize, bid, bidSize, volume을 포함한 견적. (약 40 열 데이터) 기호, 타임 스탬프, 가격, 크기, 교환 등 무역. (약 20 열의 데이터)
데이터 삽입 사용 사례 - 실시간 시장 데이터 스트림 또는 브로커 API를 통한 조회 중 하나.
데이터 쿼리 사용 사례 - 아래에 논리적으로 데이터를 쿼리하는 방법을 보여줍니다.
2014 년 9 월 22 일 GOOG의 모든 시세, 거래, 타임 스탬프를 받으십시오.
성배 - MapReduce를 아래의 사용 사례에 사용할 수 있습니까 ??
분산 된 에이전트를 통해 원시 시장 데이터에서 메타 데이터를 생성합니다. 예를 들어, 모든 주식 및 데이터베이스에 저장된 모든 세션에 대해 1 분 간격으로 평균 거래량을 계산하는 작업을 작성하십시오. 각 주식 / 세션에 대해이 값을 계산해야하는 주식 및 세션을 알려주는 에이전트를 갖도록 작업을 만듭니다. (이것이 MapReduce가 할 수있는 것입니다.)
에이전트의 classpath에서 위의 사용 사례가 중앙 repo 또는 Messaging Server에 그 값을 게시 할 수 있도록 내 자신의 util 코드를 추가 할 수 있습니까? 에이전트를 OSGI 번들로 배포 할 수 있습니까?
시장 조사 전 거래 전에 매일 아침 실행되는 다양한 유형의 통계 및 점수에 대해 다양한 유형의 에이전트를 만드십니까?
고주파 거래 시스템의 맥락에서 Hadoop을 사용하여 경험을 공유 할 수 있다면 관심이 있습니다. 이 기술에 대해 처음으로 생각해 보면 Hadoop은 많은 양의 역사적인 틱 데이터를 저장하고 처리하는 데 유용 할 수 있습니다. 누군가가 이것을 실시간 거래에 사용한다면 더 많은 것을 배울 수 있습니다! - 던컨 크레브스.
요구 사항에 대한 이해를 바탕으로 Hadoop은 데이터를 저장하고 하이브를 사용하여 쿼리를 실행하는 정말 좋은 솔루션입니다.
저장소 : Hadoop에 다음과 같은 디렉토리 구조로 데이터를 저장할 수 있습니다.
시간 폴더 안에는 해당 시간에 해당하는 데이터가있을 수 있습니다.
이러한 구조를 사용하는 한 가지 장점은 몇 년, 몇 달, 며칠 동안 파티션을 사용하여이 데이터를 통해 외부 테이블을 Hive에 만들 수 있다는 것입니다. 이 같은:
쿼리 부분에 오면 위에서 언급 한 형식으로 데이터를 저장하면 간단한 쿼리를 쉽게 실행할 수 있습니다.
2014 년 9 월 22 일 GOOG의 모든 시세, 거래, 타임 스탬프를 받으십시오.
2014 년 9 월 1 일부터 2014 년 5 월 1 일까지 GOOG, FB에 대한 모든 거래를하십시오.
이러한 집계 쿼리를 하루에 한 번 실행할 수 있으며 시장을 선점하기 전에 결과를 사용하여 메트릭을 산출 할 수 있습니다. Hive는 내부적으로 mapreduce를 실행하기 때문에 이러한 쿼리는 그리 빠르지 않을 것입니다.
더 빠른 결과를 얻으려면 임팔라 (Impala) 나 스파크 (Spark)와 같은 메모리 프로젝트를 사용할 수 있습니다. 필자는 Impala를 사용하여 하이브 테이블에 대한 쿼리를 실행했으며 내 쿼리의 런타임이 크게 향상되었습니다 (약 40 배). 또한 데이터 구조를 변경할 필요가 없습니다.
데이터 삽입 사용 사례 : Flume 또는 Kafka와 같은 도구를 사용하여 Hadoop에 실시간으로 데이터를 삽입 할 수 있습니다 (따라서 하이브 테이블에도 적용 가능). Flume은 선형 적으로 확장 가능하며 전송 중에 이벤트를 즉시 처리하는데도 도움이됩니다.
전반적으로 여러 개의 빅 데이터 기술을 조합하면 제안한 문제에 대한 진정한 해결책을 제공 할 수 있으며 이러한 솔루션은 막대한 양의 데이터로 확장됩니다.
빅 데이터 기술.
Hadoop이란 무엇입니까? MapReduce 란 무엇입니까? NoSQL이란 무엇입니까?
이 현대 시대의 데이터 유출량 & # 150; 콜로라도 강에 범람하는 후버 댐을 생각해보십시오.
그 어느 때보 다 더 많은 정보 중심의 세계가 생기면서 데이터의 폭발에 대처하는 방법이 주요 과제로 대두되었습니다. 데이터 관리의 전통적인 프레임 워크는 현재 엄청난 양의 오늘날 데이터 집합에 좌절감을 나타냅니다. 다행스럽게도 급속도로 변화하는 신기술로 인해 대규모 데이터 처리 방법을 재정의하고 있습니다. 이러한 기술은 훨씬 더 정교한 시스템을 관리 할 수있는 새로운 유형의 DBA 및 인프라 엔지니어 / 개발자를 필요로합니다.
다음은 빅 데이터 인프라와 관련된 컨텍스트에 대해 알아야 할 중요한 기술에 대한 개요입니다.
기존 RDBMS (오래된 기술, 관련성 손실) NoSQL 데이터베이스 시스템 Hadoop, MapReduce 및 대규모 병렬 컴퓨팅.
관계형 데이터베이스 란 무엇입니까?
전통적인 RDBMS (관계형 데이터베이스 관리 시스템)는 인터넷 시대의 데이터베이스 관리를위한 사실상의 표준이었습니다. RDBMS의 아키텍처는 관계형 모델에 따라 데이터가 구조화 된 방식으로 구성되는 구조입니다. 하지만 RDBMS는 이제 데이터베이스 기술의 감소로 간주됩니다. 데이터의 정확한 구성으로 인해웨어 하우스가 "깔끔"하게 유지되는 반면 데이터가 잘 구조화 될 필요성은 실제로 대량으로 상당히 큰 부담이되며 결과적으로 크기가 커짐에 따라 성능이 저하됩니다. 따라서 RDBMS는 일반적으로 '빅'데이터의 요구를 충족시킬 수있는 확장 가능한 솔루션으로 간주되지 않습니다.
NoSQL이란 무엇입니까?
NoSQL (일반적으로 "Not Only SQL"이라고도 함)은 막대한 규모의 정보를 고성능의 민첩하게 처리 할 수있는 완전히 다른 데이터베이스 프레임 워크를 나타냅니다. 즉, 큰 데이터의 과도한 요구에 매우 잘 적응 한 데이터베이스 인프라입니다.
고도로 구조화 된 관계형 데이터베이스와는 달리 NoSQL 데이터베이스는 본질적으로 구조화되지 않아 속도와 민첩성에 대한 엄격한 일관성 요구 사항을 처리하기 때문에 NoSQL의 효율성을 달성 할 수 있습니다. NoSQL은 비 구조적 데이터가 여러 프로세싱 노드에 걸쳐 저장 될 수있는 분산 데이터베이스 개념을 중심으로 이루어지며 종종 여러 서버에 분산되어 있습니다. 이 분산 형 아키텍처를 통해 NoSQL 데이터베이스를 수평 적으로 확장 할 수 있습니다. 데이터가 폭발적으로 늘어남에 따라 하드웨어 성능을 저하시키지 않고 더 많은 하드웨어를 추가하십시오. NoSQL 분산 데이터베이스 인프라 스트럭처는 행성에서 가장 큰 데이터웨어 하우스 중 일부를 처리하는 솔루션이었습니다. 즉 Google, Amazon 및 CIA를 좋아합니다.
Hadoop이란 무엇입니까?
Hadoop은 데이터베이스 유형이 아니라 대용량 병렬 컴퓨팅을 허용하는 소프트웨어 생태계입니다. 특정 유형의 NoSQL 분산 데이터베이스 (예 : HBase)의 작동 방식으로, 성능 저하가 거의없이 수천 개의 서버에 데이터를 분산시킬 수 있습니다.
Hadoop 에코 시스템의 기본 요소는 MapReduce로, 기본적으로 집중적 인 데이터 프로세스를 사용하고 잠재적으로 끝없는 서버 (일반적으로 Hadoop 클러스터라고 함)에 계산을 분산시키는 계산 모델입니다. 빅 데이터의 엄청난 프로세싱 요구를 지원하는 게임 체인저였습니다. 중앙 집중식 관계형 데이터베이스 시스템에서 20 시간의 처리 시간이 소요될 수있는 대용량 데이터 절차는 모든 대형 처리 시스템을 병렬로 처리하는 데 필요한 대형 Hadoop 클러스터에 3 분이 소요될 수 있습니다.
결론.
큰 데이터가 성장의 길을 계속 따라 가면서, 이러한 혁신적인 접근 방식은 의심의 여지가 없습니다. NoSQL 데이터베이스 아키텍처와 Hadoop 소프트웨어 활용 기업들이 데이터로 최대한의 잠재력을 발휘할 수있게하는 데 핵심적인 역할을합니다. 또한 데이터 기술의 급속한 발전으로이 강력한 인프라를 구축 할 수있는 차세대 기술 천재를 고용해야한다는 요구가 커졌습니다. 기술 및 재능의 비용은 저렴하지 않을 수 있지만 큰 데이터가 제공 할 수있는 모든 가치에 대해 회사는 매우 가치있는 투자라는 것을 알고 있습니다.
하둡 거래 시스템
복잡한 수학 알고리즘을 기반으로 자동화 된 주식 거래 솔루션은 수백 가지 요소를 고려하여 구매 / 판매 주문을하기에 적합한시기를 제시합니다. 그런 시스템 중 일부는 사람이 개입하지 않아도 거래를 할 수 있습니다. 그러나 알고리즘이 필수 시장 매개 변수를 생략하면 상당한 손실이 발생할 수 있습니다.
Hortonworks의 내 게스트 포스트에서 Hadoop과 데이터 클러스터링이 주식 거래 시스템의 성능을 20 % 가속화하고 고객 매출을 12 % 늘린 실제 사례를 공유했습니다. 데이터 클러스터링이 판매 / 구매 전략을 다각화하는 데 어떻게 도움이되었는지, 추가 투자없이 올바른 인프라로 시스템 성능을 개선 한 방법을 학습합니다.
제가 생각하기에 거래는 거기에 있었지만 거기에서 일하는 방식은 일하는 전략이 커다란 변화를 겪고 있음을 의미합니다. 사람들은 똑같이 받아들이고 그것에 대해 노력하고있었습니다. 그들이 그것을 좋아했기 때문에가 아니라 실제로 그들 모두를 말할 수 있습니다. 그것으로부터 이익을 얻고 있었다.
이것은 가능하다. 어떤 경우라도 Hadoop은 주식 거래 전략을 가속화하는 훌륭한 도구입니다. 우리 기사는 그것이 어떻게 작동 하는지를 설명 할뿐만 아니라 당신이 기대할 수있는 결과의 종류를 보여줍니다.
벤치 마크 및 연구.
새 게시물을 구독하십시오.
카테고리.
새 게시물을 구독하십시오.
알트로 스에 대하여.
Altoros는 방법론, 교육, 기술 구성 요소 및 종단 간 솔루션 개발을 통해 Global 2000 조직을 지원하는 300 명 이상의 강력한 컨설팅 업체입니다. 이 회사는 클라우드 고유의 응용 프로그램 개발, 고객 분석, 블록 체인 및 AI를 지속적인 경쟁 우위를 가진 제품으로 전환합니다. Altoros는 세계에서 가장 큰 Cloud Foundry 배포 물의 뒤에 서있는 기업으로 하여금 디지털 변환에 대한 지원을 제공합니다.
30 개 이상의 기업에서 Hadoop을 사용하는 방식.
MapReduce는 특히 Hadoop의 형태로 단연 돋보입니다. Hadoop World의 여파로 Cloudera의 Jeff Hammerbacher는 Cloudera의 파일에서 가져온 25 명의 고객을 통해 신속하게 나를 안내했습니다. 물론 사실과 측정 기준은 광범위했습니다.
일부는 Hadoop으로 대량 생산 중이며 Cloudera와 밀접한 관계가 있습니다. 다른 사용자는 활동적인 Hadoop 사용자이지만 매우 비밀리입니다. 그러나 다른 사람들은 지난 주 하둡 교육에 처음으로 서명했습니다. 일부는 수천 개의 노드에 Hadoop 클러스터를 가지고 있습니다. 많은 사람들이 50-100 노드 범위에서 Hadoop 클러스터를 사용합니다. 다른 것들은 단지 Hadoop 사용을 프로토 타이핑하는 것입니다. 그리고 하나는 & nbend; OEMing & # 8221; 판매 된 각 장비의 작은 Hadoop 클러스터 많은 사람들이 Hadoop에서 관계형 DBMS로 데이터를 내 보냅니다. 다른 많은 사람들은 HDFS (Hadoop Distributed File System)에 그대로 두었습니다. Hive를 쿼리 언어로 사용하거나 정확히 하나의 Jaql을 사용합니다. 일부는 웹 비즈니스 또는 기타 분야의 가계 이름입니다. 다른 것들은 꽤 애매한 것 같습니다. 산업 분야에는 금융 서비스, 통신 (아시아 및 아주 새로운 분야), 생물 정보학 (및 기타 연구), 정보 및 수많은 웹 및 / 또는 광고 / 미디어가 포함됩니다. 언급 된 적용 분야 & # 8212; 이 중첩은 어떤 경우에는 & # 8212; 포함 : 다양한 종류의 로그 및 / 또는 클릭 스트림 분석 마케팅 분석 기계 학습 및 / 또는 정교한 데이터 마이닝 이미지 처리 XML 메시지 처리 웹 크롤링 및 / 또는 텍스트 처리 관계형 / 표 형식 데이터를 포함한 일반 아카이브. 준수를 위해.
우리는이 목록을 너무 빨리 검토하여 어느 한 사용자에 대해 자세히 설명하지 않았습니다. 그러나 눈에 띄는 한 가지 예는 집계 파이프 라인이있는 광고 서비스 회사의 사례입니다. 70-80 MapReduce 작업으로 구성됩니다.
저는 어제 다시 Vertica의 Omer Trajman과 이야기를 나눴습니다. Vertica의 고객은 Hadoop & # 8212; 즉, Vertica의 생산 고객 중 10 % 이상. (Vertica는 최근에 100 번째 판매를했고, 아직 그 구매자가 모두 생산 단계에있는 것은 아닙니다.) Vertica / Hadoop 사용법은 Vertica의 금융 서비스 거점에서 시작된 것으로 보입니다. & # 8212; 특히 금융 거래에서 & # 8212; 나중에 웹 분석 등이 계속됩니다. 현재의 프로토 타이핑 노력에 기반하여 오메르는 생물 정보학이 Vertica / Hadoop의 세 번째 생산 시장이 될 것으로 예상하며, 통신은 4 번째로 올 것입니다.
당연히 일반적인 Vertica / Hadoop 사용 모델은 다음과 같습니다.
Hadoop에서 데이터에 무언가를 수행하십시오. 쿼리 할 수 있도록 Vertica로 덤프하십시오.
제가 놀랍게 생각한 것은 데이터가 종종이 분석에 의해 감소되지 않고 오히려 크기가 폭발적이라는 것입니다. 예를 들어 모기지 거래 데이터의 전체 저장 용량은 수 테라 바이트이지만 Hadoop 기반의 후 처리는 1 ~ 2 배 증가시킬 수 있습니다. (과학적 데이터 처리에서 요리 된 데이터의 중요성과 중요성을 유추 해 볼 수 있습니다.)
마지막으로, 며칠 전에 nCluster / Hadoop 커넥터의 사용법에 대해 Aster와 이야기했습니다. Aster는 Aster / Hadoop 사용자를 특징으로했습니다. & # 8217; Hadoop을 Batch / ETL 버라이존으로 사용하는 것은 Hadoop이 MapReduce를 일반적으로 DBMS에서 올바르게 수행해야한다고 생각하더라도 고전적인 사용 사례입니다.
& # 8220; 30 개 이상의 기업에서 Hadoop을 사용하는 방법에 대한 9 가지 응답 & # 8221;
인터넷에서 공개적으로 사용 가능한 데이터를 기반으로 몇 가지 계산을했습니다. 유명한 Yahoo Terasort 기록 & # 8211; Hadoop에 1 TB의 데이터 (실제로 100 억 개의 100 바이트 레코드)를 정렬합니다.
3400+ 서버 클러스터를 60 초 만에 사용할 수 있습니다. 계산 세부 사항은 생략 하겠지만 실행 중 평균 CPU, 디스크 I / O 및 네트워크 I / O 사용률은 다음과 같습니다.
1 %, 5 ~ 6 % 및 30 %이다. 물론 정확한 수치는 아니지만 사용 된 정렬 알고리즘, 클러스터 구성, 서버 CPU 전력, 최대 NIC 처리량 (1Gb) 및 4 개의 SATA 디스크 배열 I / O 기능을 기반으로 한 추정치입니다.
그래서, 병목 현상은 분명히 네트워크입니다 (저는 그것이 정렬을위한 것이 아니라 많은 다른 문제들에 대한 것이라고 생각합니다). 그러나 야후 클러스터가 최대 지속 처리량의 관점에서 차선책이거나 Hadoop이 1Gb 링크를 포화시키지 못하는 것 같습니다. OK, 상용 하드웨어를 사용하지 않고 서버와 네트워크 구성을 최적화 한 것을 상상해보십시오.
서버 당 2 개의 10Gb 포트 NIC와 128 # 포트 10GB 스위치. 딱 하나만. 네트워크 처리량을 30MB / s에서 2GB / s (서버 당 10Gb 포트 NIC 2 개) 초로 늘림으로써 클러스터의 서버 수를 70 배로 줄일 수 있습니다
50 대의 서버) 여전히 동일한 60 초 동안 실행됩니다. 한 서버에서 초당 2GB (100 만 바이트의 레코드 2,000 만 개)를 정렬 할 수 있습니까? 당연히 그렇지.
야후 클러스터 비용은 약 7 백만입니다. 100 만 개 미만으로 클러스터를 구축 할 수 있으며 전력 소비 및 기타 관련 비용에 대해 언급하지 않습니다.
MapReduce 및 상용 하드웨어로 돈을 절약 할 수 있습니다. 싸게 사지 마라.
커트, 이 V 고객 중 몇 명이 클라우드에 있는지 & # 8221; (예 : EC2에서 V AMI를 실행 중), 그 중 얼마나 많은 수가 10 % 정도입니까?
MapReduce는 어떤 이유에서인지 야후와 페이스 북에 의해 크게 홍보되었지만 구글에서는 그렇지 않다. Google (및 Microsoft)은 이미 차세대 & nbsp; Hadoops & # 8221; (Pregel과 Dryad) 그러나 그들은 일반 대중을 위해 아직 이용할 수없고 오픈 소스가 아니다. Pregel에 관한 정보조차도 제한적입니다.
나에게 상황은 80 년대 후반 중반에 소련을 생각 나게한다. 자체 슈퍼 컴퓨터를 만들 수 없기 때문에 소련은 미국의 기술을 리버스 엔지니어링하려고했습니다 (크레이 등). 이미 완료된 것을 재현 할 수 있지만 항상 뒤떨어져 있습니다.
UPD. Dryad는 MS 사이트에서 다운로드 할 수 있지만 학술 연구를 위해서만 사용할 수 있습니다.
드라이 어드는 하둡보다 훨씬 낫습니까? 그렇다면 개선 된 점은 무엇입니까?
Dryad 백서에서 :
두 시스템 (Dryad와 MapReduce)의 근본적인 차이점은 Dryad 응용 프로그램이 필요보다는 임의의 통신 DAG를 지정할 수 있다는 것입니다.
map / distribute / sort / reduce 작업 시퀀스. 특히 그래프 정점은 여러 입력을 소비하고 여러 유형의 여러 출력을 생성 할 수 있습니다. 많은 어플리케이션에서 이것은 알고리즘에서 구현으로의 매핑을 단순화시켜줍니다.
더 큰 기본 서브 루틴 라이브러리를 구축하고 데이터 엣지에 대해 TCP 파이프 및 공유 메모리를 활용할 수있는 기능과 함께 상당한 성능 향상을 가져올 수 있습니다. 동시에 우리의 구현은 MapReduce 논문에 설명 된 모든 기능을 지원하기에 충분합니다. & # 8221;
블라드, 차이점은 소련이 그들 뒤에 오픈 소스를 가지고 있지 않았다는 점이다. 최근 역사에서보다 일반적인 패턴은 다음과 같습니다.
1. 독점 소프트웨어 솔루션이 나옵니다.
2. 유사한 기능을 갖춘 훌륭한 오픈 소스 솔루션이 나중에 나옵니다.
3. 오픈 소스 솔루션은 대형 후원자, 최고 개발자, 최첨단 기술 회사, 선도적 인 학자를 얻습니다.
4. 오픈 소스 솔루션은 쉬운 가용성과 문서화로 인해 독점적 인 솔루션을 사용하지 못합니다.
5. 독점적 인 솔루션은 오픈 소스 솔루션으로 전환하는 것이 수익이되기 때문에 폐기됩니다.
Hadoop은 (3) 어딘가에 있고 (4) 부분적으로 있습니다.
[& # 8230;] 이것은 Hadoop 사용 사례에 대한 이전 설문 조사와 일치하지 않습니다. [& # 8230;]
[& # 8230;]은 큰 데이터 및 분석을 위해 Bank of America의 전무 이사가되었습니다. 1 년 전 이미 Vertica는 고객 중 약 10 %가 Hadoop 제품을 생산 중이라고 밝혔습니다. 이는 금융 서비스 고객이 주도하는 추세입니다. [& # 8230;]
블로그 및 백서 검색
Monash Research 블로그.
DBMS 2는 데이터베이스 관리, 분석 및 관련 기술을 다룹니다. 텍스트 기술은 텍스트 마이닝, 검색 및 소셜 소프트웨어를 다루고 있습니다. 전략적 메시징은 마케팅 및 메시징 전략을 분석합니다. Monash 보고서는 기술 및 공공 정책 문제를 조사합니다. Software Memories는 소프트웨어 업계의 역사를 자세히 설명합니다.
사용자 컨설팅.
짧은 목록 작성? 전략 계획 재정비? 우리가 도와 줄 수 있어요.
공급 업체 자문.
우리는 공급 업체에게 무슨 일이 일어나고 있는지, 그리고 더 중요한 것은 그들이해야 할 일을 알려줍니다.
Monash Research 하이라이트.
RSS 또는 백서, 웹 캐스트 및 블로그 하이라이트에 대해 자세히 알아보십시오.
복잡한 수학 알고리즘을 기반으로 자동화 된 주식 거래 솔루션은 수백 가지 요소를 고려하여 구매 / 판매 주문을하기에 적합한시기를 제시합니다. 그런 시스템 중 일부는 사람이 개입하지 않아도 거래를 할 수 있습니다. 그러나 알고리즘이 필수 시장 매개 변수를 생략하면 상당한 손실이 발생할 수 있습니다.
Hortonworks의 내 게스트 포스트에서 Hadoop과 데이터 클러스터링이 주식 거래 시스템의 성능을 20 % 가속화하고 고객 매출을 12 % 늘린 실제 사례를 공유했습니다. 데이터 클러스터링이 판매 / 구매 전략을 다각화하는 데 어떻게 도움이되었는지, 추가 투자없이 올바른 인프라로 시스템 성능을 개선 한 방법을 학습합니다.
제가 생각하기에 거래는 거기에 있었지만 거기에서 일하는 방식은 일하는 전략이 커다란 변화를 겪고 있음을 의미합니다. 사람들은 똑같이 받아들이고 그것에 대해 노력하고있었습니다. 그들이 그것을 좋아했기 때문에가 아니라 실제로 그들 모두를 말할 수 있습니다. 그것으로부터 이익을 얻고 있었다.
이것은 가능하다. 어떤 경우라도 Hadoop은 주식 거래 전략을 가속화하는 훌륭한 도구입니다. 우리 기사는 그것이 어떻게 작동 하는지를 설명 할뿐만 아니라 당신이 기대할 수있는 결과의 종류를 보여줍니다.
벤치 마크 및 연구.
새 게시물을 구독하십시오.
카테고리.
새 게시물을 구독하십시오.
알트로 스에 대하여.
Altoros는 방법론, 교육, 기술 구성 요소 및 종단 간 솔루션 개발을 통해 Global 2000 조직을 지원하는 300 명 이상의 강력한 컨설팅 업체입니다. 이 회사는 클라우드 고유의 응용 프로그램 개발, 고객 분석, 블록 체인 및 AI를 지속적인 경쟁 우위를 가진 제품으로 전환합니다. Altoros는 세계에서 가장 큰 Cloud Foundry 배포 물의 뒤에 서있는 기업으로 하여금 디지털 변환에 대한 지원을 제공합니다.
30 개 이상의 기업에서 Hadoop을 사용하는 방식.
MapReduce는 특히 Hadoop의 형태로 단연 돋보입니다. Hadoop World의 여파로 Cloudera의 Jeff Hammerbacher는 Cloudera의 파일에서 가져온 25 명의 고객을 통해 신속하게 나를 안내했습니다. 물론 사실과 측정 기준은 광범위했습니다.
일부는 Hadoop으로 대량 생산 중이며 Cloudera와 밀접한 관계가 있습니다. 다른 사용자는 활동적인 Hadoop 사용자이지만 매우 비밀리입니다. 그러나 다른 사람들은 지난 주 하둡 교육에 처음으로 서명했습니다. 일부는 수천 개의 노드에 Hadoop 클러스터를 가지고 있습니다. 많은 사람들이 50-100 노드 범위에서 Hadoop 클러스터를 사용합니다. 다른 것들은 단지 Hadoop 사용을 프로토 타이핑하는 것입니다. 그리고 하나는 & nbend; OEMing & # 8221; 판매 된 각 장비의 작은 Hadoop 클러스터 많은 사람들이 Hadoop에서 관계형 DBMS로 데이터를 내 보냅니다. 다른 많은 사람들은 HDFS (Hadoop Distributed File System)에 그대로 두었습니다. Hive를 쿼리 언어로 사용하거나 정확히 하나의 Jaql을 사용합니다. 일부는 웹 비즈니스 또는 기타 분야의 가계 이름입니다. 다른 것들은 꽤 애매한 것 같습니다. 산업 분야에는 금융 서비스, 통신 (아시아 및 아주 새로운 분야), 생물 정보학 (및 기타 연구), 정보 및 수많은 웹 및 / 또는 광고 / 미디어가 포함됩니다. 언급 된 적용 분야 & # 8212; 이 중첩은 어떤 경우에는 & # 8212; 포함 : 다양한 종류의 로그 및 / 또는 클릭 스트림 분석 마케팅 분석 기계 학습 및 / 또는 정교한 데이터 마이닝 이미지 처리 XML 메시지 처리 웹 크롤링 및 / 또는 텍스트 처리 관계형 / 표 형식 데이터를 포함한 일반 아카이브. 준수를 위해.
우리는이 목록을 너무 빨리 검토하여 어느 한 사용자에 대해 자세히 설명하지 않았습니다. 그러나 눈에 띄는 한 가지 예는 집계 파이프 라인이있는 광고 서비스 회사의 사례입니다. 70-80 MapReduce 작업으로 구성됩니다.
저는 어제 다시 Vertica의 Omer Trajman과 이야기를 나눴습니다. Vertica의 고객은 Hadoop & # 8212; 즉, Vertica의 생산 고객 중 10 % 이상. (Vertica는 최근에 100 번째 판매를했고, 아직 그 구매자가 모두 생산 단계에있는 것은 아닙니다.) Vertica / Hadoop 사용법은 Vertica의 금융 서비스 거점에서 시작된 것으로 보입니다. & # 8212; 특히 금융 거래에서 & # 8212; 나중에 웹 분석 등이 계속됩니다. 현재의 프로토 타이핑 노력에 기반하여 오메르는 생물 정보학이 Vertica / Hadoop의 세 번째 생산 시장이 될 것으로 예상하며, 통신은 4 번째로 올 것입니다.
당연히 일반적인 Vertica / Hadoop 사용 모델은 다음과 같습니다.
Hadoop에서 데이터에 무언가를 수행하십시오. 쿼리 할 수 있도록 Vertica로 덤프하십시오.
제가 놀랍게 생각한 것은 데이터가 종종이 분석에 의해 감소되지 않고 오히려 크기가 폭발적이라는 것입니다. 예를 들어 모기지 거래 데이터의 전체 저장 용량은 수 테라 바이트이지만 Hadoop 기반의 후 처리는 1 ~ 2 배 증가시킬 수 있습니다. (과학적 데이터 처리에서 요리 된 데이터의 중요성과 중요성을 유추 해 볼 수 있습니다.)
마지막으로, 며칠 전에 nCluster / Hadoop 커넥터의 사용법에 대해 Aster와 이야기했습니다. Aster는 Aster / Hadoop 사용자를 특징으로했습니다. & # 8217; Hadoop을 Batch / ETL 버라이존으로 사용하는 것은 Hadoop이 MapReduce를 일반적으로 DBMS에서 올바르게 수행해야한다고 생각하더라도 고전적인 사용 사례입니다.
& # 8220; 30 개 이상의 기업에서 Hadoop을 사용하는 방법에 대한 9 가지 응답 & # 8221;
인터넷에서 공개적으로 사용 가능한 데이터를 기반으로 몇 가지 계산을했습니다. 유명한 Yahoo Terasort 기록 & # 8211; Hadoop에 1 TB의 데이터 (실제로 100 억 개의 100 바이트 레코드)를 정렬합니다.
3400+ 서버 클러스터를 60 초 만에 사용할 수 있습니다. 계산 세부 사항은 생략 하겠지만 실행 중 평균 CPU, 디스크 I / O 및 네트워크 I / O 사용률은 다음과 같습니다.
1 %, 5 ~ 6 % 및 30 %이다. 물론 정확한 수치는 아니지만 사용 된 정렬 알고리즘, 클러스터 구성, 서버 CPU 전력, 최대 NIC 처리량 (1Gb) 및 4 개의 SATA 디스크 배열 I / O 기능을 기반으로 한 추정치입니다.
그래서, 병목 현상은 분명히 네트워크입니다 (저는 그것이 정렬을위한 것이 아니라 많은 다른 문제들에 대한 것이라고 생각합니다). 그러나 야후 클러스터가 최대 지속 처리량의 관점에서 차선책이거나 Hadoop이 1Gb 링크를 포화시키지 못하는 것 같습니다. OK, 상용 하드웨어를 사용하지 않고 서버와 네트워크 구성을 최적화 한 것을 상상해보십시오.
서버 당 2 개의 10Gb 포트 NIC와 128 # 포트 10GB 스위치. 딱 하나만. 네트워크 처리량을 30MB / s에서 2GB / s (서버 당 10Gb 포트 NIC 2 개) 초로 늘림으로써 클러스터의 서버 수를 70 배로 줄일 수 있습니다
50 대의 서버) 여전히 동일한 60 초 동안 실행됩니다. 한 서버에서 초당 2GB (100 만 바이트의 레코드 2,000 만 개)를 정렬 할 수 있습니까? 당연히 그렇지.
야후 클러스터 비용은 약 7 백만입니다. 100 만 개 미만으로 클러스터를 구축 할 수 있으며 전력 소비 및 기타 관련 비용에 대해 언급하지 않습니다.
MapReduce 및 상용 하드웨어로 돈을 절약 할 수 있습니다. 싸게 사지 마라.
커트, 이 V 고객 중 몇 명이 클라우드에 있는지 & # 8221; (예 : EC2에서 V AMI를 실행 중), 그 중 얼마나 많은 수가 10 % 정도입니까?
MapReduce는 어떤 이유에서인지 야후와 페이스 북에 의해 크게 홍보되었지만 구글에서는 그렇지 않다. Google (및 Microsoft)은 이미 차세대 & nbsp; Hadoops & # 8221; (Pregel과 Dryad) 그러나 그들은 일반 대중을 위해 아직 이용할 수없고 오픈 소스가 아니다. Pregel에 관한 정보조차도 제한적입니다.
나에게 상황은 80 년대 후반 중반에 소련을 생각 나게한다. 자체 슈퍼 컴퓨터를 만들 수 없기 때문에 소련은 미국의 기술을 리버스 엔지니어링하려고했습니다 (크레이 등). 이미 완료된 것을 재현 할 수 있지만 항상 뒤떨어져 있습니다.
UPD. Dryad는 MS 사이트에서 다운로드 할 수 있지만 학술 연구를 위해서만 사용할 수 있습니다.
드라이 어드는 하둡보다 훨씬 낫습니까? 그렇다면 개선 된 점은 무엇입니까?
Dryad 백서에서 :
두 시스템 (Dryad와 MapReduce)의 근본적인 차이점은 Dryad 응용 프로그램이 필요보다는 임의의 통신 DAG를 지정할 수 있다는 것입니다.
map / distribute / sort / reduce 작업 시퀀스. 특히 그래프 정점은 여러 입력을 소비하고 여러 유형의 여러 출력을 생성 할 수 있습니다. 많은 어플리케이션에서 이것은 알고리즘에서 구현으로의 매핑을 단순화시켜줍니다.
더 큰 기본 서브 루틴 라이브러리를 구축하고 데이터 엣지에 대해 TCP 파이프 및 공유 메모리를 활용할 수있는 기능과 함께 상당한 성능 향상을 가져올 수 있습니다. 동시에 우리의 구현은 MapReduce 논문에 설명 된 모든 기능을 지원하기에 충분합니다. & # 8221;
블라드, 차이점은 소련이 그들 뒤에 오픈 소스를 가지고 있지 않았다는 점이다. 최근 역사에서보다 일반적인 패턴은 다음과 같습니다.
1. 독점 소프트웨어 솔루션이 나옵니다.
2. 유사한 기능을 갖춘 훌륭한 오픈 소스 솔루션이 나중에 나옵니다.
3. 오픈 소스 솔루션은 대형 후원자, 최고 개발자, 최첨단 기술 회사, 선도적 인 학자를 얻습니다.
4. 오픈 소스 솔루션은 쉬운 가용성과 문서화로 인해 독점적 인 솔루션을 사용하지 못합니다.
5. 독점적 인 솔루션은 오픈 소스 솔루션으로 전환하는 것이 수익이되기 때문에 폐기됩니다.
Hadoop은 (3) 어딘가에 있고 (4) 부분적으로 있습니다.
[& # 8230;] 이것은 Hadoop 사용 사례에 대한 이전 설문 조사와 일치하지 않습니다. [& # 8230;]
[& # 8230;]은 큰 데이터 및 분석을 위해 Bank of America의 전무 이사가되었습니다. 1 년 전 이미 Vertica는 고객 중 약 10 %가 Hadoop 제품을 생산 중이라고 밝혔습니다. 이는 금융 서비스 고객이 주도하는 추세입니다. [& # 8230;]
블로그 및 백서 검색
Monash Research 블로그.
DBMS 2는 데이터베이스 관리, 분석 및 관련 기술을 다룹니다. 텍스트 기술은 텍스트 마이닝, 검색 및 소셜 소프트웨어를 다루고 있습니다. 전략적 메시징은 마케팅 및 메시징 전략을 분석합니다. Monash 보고서는 기술 및 공공 정책 문제를 조사합니다. Software Memories는 소프트웨어 업계의 역사를 자세히 설명합니다.
사용자 컨설팅.
짧은 목록 작성? 전략 계획 재정비? 우리가 도와 줄 수 있어요.
공급 업체 자문.
우리는 공급 업체에게 무슨 일이 일어나고 있는지, 그리고 더 중요한 것은 그들이해야 할 일을 알려줍니다.
Monash Research 하이라이트.
RSS 또는 백서, 웹 캐스트 및 블로그 하이라이트에 대해 자세히 알아보십시오.
Comments
Post a Comment