欢迎光临
我们一直在努力

亚马逊云服务器使用体验怎么样?相比其他品牌亚马逊云服务器有哪些优势?

我来提供一点作为亚马逊云普通使用者的体验。我不是技术出身,无法从开发和架构的视角来谈,但我也算是见证了亚马逊云在上一个十年的高速增长和繁荣期,作为亚马逊云的普通使用者,总的感受就是亚马逊云还是方便,而且学习使用它的过程也是一个理清工作流的过程,对理解业务本身也是有帮助的。


我的亚马逊云使用体验

我的上一个工作是做外汇期权的报价模型,并且把模型部署到亚马逊云上面。外汇期权主要是OTC市场,不同的currency pair流动性差异极大,流动性最好的比如USDJPY的quote arrival可以在毫秒级,流动性不好的可以好几天都没有一个quote,我们要做的就是部署kafka来捕捉这些事件,并且把这些新到的quote作为观测值放到我们的模型里校准一下我们的SABR参数,以便于SABR给出新的quote。开发团队的意见是搭建Kafka集群本身就是个挺麻烦的事,之后用起来的时候人们往往习惯什么数据都做成日志都往Kafka里塞,导致后期的扩展和维护非常头痛。

为了避免这样的局面,开发和运维团队就用Amazon MSK (Managed Streaming for Kafka), 这样一来,很多之前需要开发和交易团队反复沟通才能确定好的集群配置、服务器瘫痪、打补丁升级等等问题统统交给亚马逊云(当然没有那么好的事,该出的问题还会出,但对开发者和使用者而言应该说都变得更方便了)。

当然对于银行这种大型机构来说,可以用到亚马逊云的地方实在是太多了,报价和交易只是很小的一部分。但无论是对于trading这种前台部门,还是反洗钱、欺诈检测等中后台业务,亚马逊云的流数据服务都是非常切中需求的,最典型的就是上面提到的MSK和Kinesis Data Streams/Firehose。

更多的细节就不说了,也是说不出来了。主要是大卖方的业务线和系统都非常复杂甚至庞杂,哪怕是把整个Kafka集群迁移到MSK,这对于一个desk来说也不过是他们的系统其中一部分而已,而且大机构似乎主观上也没有准备好、客观上也很困难全面云端化。所以我反而觉得,亚马逊云对于一个小型的买方团队或者独立交易者来说全面云端化确实是在帮助人们节省了很多精力。


亚马逊云能为小型交易团队带来什么?

比如S3,全称是Simple Storage Service,负责存储,属于基础配置,几乎什么数据都能存。一般都会有新数据进来然后整合的需求,这时候需要亚马逊云 Glue来实现ETL功能,还有Athena实现S3的SQL query。还有实现实时流数据的Kinesis,可以用来跑实时的模拟交易。Kinesis好像流数据可以保存一年。有需要的还可以用Lake Formation服务扩展成S3数据湖。

亚马逊云服务器使用体验怎么样?相比其他品牌亚马逊云服务器有哪些优势?
Source: Fregly & Barth, Data Science on 亚马逊云, O'Reilly, 2021

比如SageMaker, 这是一个相当完整的机器学习解决方案,几乎所有主流的适合大规模运算的机器学习框架都随便部署,使用起来异常方便,从数据分析到特征工程,从模型训练到参数寻优,再到最后的大规模部署,都可以在jupyter notebook上实现。对于习惯了在colab训练模型的人来说,整个SageMaker studio用起来不会有任何不适。当然做策略不一定需要这么多机器学习的资源,有的时候策略是很简单的,但通过Amazon ESR部署一个容器,就可以把SageMaker变成无论是做研究还是交易部署都可以的一键式环境。这对于那些喜欢快速研究快速迭代的策略,放到SageMaker还是方便。

亚马逊云服务器使用体验怎么样?相比其他品牌亚马逊云服务器有哪些优势?
亚马逊云服务器使用体验怎么样?相比其他品牌亚马逊云服务器有哪些优势?
Source: Fregly & Barth, Data Science on 亚马逊云, O'Reilly, 2021

比如Lambda,它是一个无服务器的服务器服务。对于小团队中低频来说,把容器部署到Lambda,就是把策略、行情和下单模块打包在服务器上跑,然后配合EventBridge作为事件总线,基本就够用了;但对于偏向中高频交易来说,相对应的就是ECS,全称是Elastic Container Service,可以部署多个容器,然后再配合MSK (for Kafka) 作为事件总线。如果追求低延迟,Dockers或者Kubernetes就不一定适用于部署了,那样网络延迟会比较大,对于追求200微妙的roundtrip来说不可承受。据说有的高频团队会倾向于用VM,这样成本会大很多(每月能有几百万美元),但可以很大程度上保证性能。我也是听说,把VM部署到亚马逊云 EC2,效率和in-house设备大差不差,而据说其它公有云还做不到。

亚马逊云服务器使用体验怎么样?相比其他品牌亚马逊云服务器有哪些优势?
Source: Amazon SageMaker Workshop


最后再说几句

我还有一个观察是除了公有云提供商自身,我所知道的几乎所有团队不论大小,但凡对云服务有需求的,亚马逊云都是首选。这让我觉得挺可怕的,这龙头地位怕是难以撼动了。一般人们都喜欢说亚马逊云最稳定云云,但也一定会有人跳出来说亚马逊云也经常崩,但说实话,完全自己搭建数据中心也一样会经常崩,但是亚马逊云修复得一定比自己抢修硬件要快得多。也有说亚马逊云很贵之类的,但别家好像也差不多,虽然定价策略各有不同。所以我觉得谈论亚马逊云究竟有多好,或许在10年前是个好话题。但现在,谈论它的优劣势什么的已经不重要了,因为它已经无处不在。

亚马逊云服务器使用体验怎么样?相比其他品牌亚马逊云服务器有哪些优势?

亚马逊云服务器使用体验怎么样?相比其他品牌亚马逊云服务器有哪些优势?

  • 海报
海报图正在生成中...
赞(0) 打赏
声明:
1、本博客不从事任何主机及服务器租赁业务,不参与任何交易,也绝非中介。博客内容仅记录博主个人感兴趣的服务器测评结果及一些服务器相关的优惠活动,信息均摘自网络或来自服务商主动提供;所以对本博客提及的内容不作直接、间接、法定、约定的保证,博客内容也不具备任何参考价值及引导作用,访问者需自行甄别。
2、访问本博客请务必遵守有关互联网的相关法律、规定与规则;不能利用本博客所提及的内容从事任何违法、违规操作;否则造成的一切后果由访问者自行承担。
3、未成年人及不能独立承担法律责任的个人及群体请勿访问本博客。
4、一旦您访问本博客,即表示您已经知晓并接受了以上声明通告。
文章名称:《亚马逊云服务器使用体验怎么样?相比其他品牌亚马逊云服务器有哪些优势?》
文章链接:https://www.456zj.com/1567.html
本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址