开源已成为现代软件的重要组成部分,如今,一个新的创业公司已经悄悄地脱颖而出,以利用开源的一个较新领域:利用它来构建和管理分布式应用程序环境,这种方法越来越多地用于处理大型计算项目,例如涉及人工智能或科学或其他复杂计算的项目。
由同一团队创建的Anyscale创业公司,从UC Berkeley构建了Project Ray开源分布式编程框架-RobertNishihara,Philipp Moritz和Ion Stoica,以及Berkeley教授Michael I. Jordan,已经在A轮融资中筹集了2060万美元本轮融资由Andreessen Horowitz领导,NEA,英特尔投资,蚂蚁金服,Amplify Partners,11.2 Capital和众议院基金也参与了该轮融资。
该公司计划用这笔钱来开发其第一批商业产品,其详细信息仍在保密中,但更广泛地包括能够轻松地将计算项目从一台笔记本电脑扩展到一台机器集群的能力。以及一组用于管理项目的库和应用程序。这些预计将在明年推出。
“现在,我们专注于使Ray成为建筑应用程序的标准,” Stoica在接受采访时说。“公司将为Ray构建工具和运行时平台。因此,如果您想安全,高性能地运行Ray应用程序,则可以使用我们的产品。”
这笔资金的一部分是战略性的:英特尔是与Ray一起将Ray用于其自己的计算项目的大公司之一,微软和蚂蚁金服。
英特尔IT企业和平台事业部首席工程师兼首席技术官Moty Fania在一份声明中说:“英特尔IT一直在利用Ray来通过最少的代码修改来扩展Python工作负载。”“通过实施到英特尔的制造和测试流程中,我们发现Ray帮助提高了用于创建个性化芯片测试的超参数选择技术和自动建模过程的速度和规模。对我们来说,这降低了成本,增加了容量并提高了质量。”
对于免费使用的Ray,如此令人印象深刻的用户列表使您可能会问自己,Anyscale的目的是什么?正如Stoica和Nishihara所解释的那样,该想法将是创建更简单的方法来实现Ray,从而使它成为可用,无论您是世界上的Amazon之一,还是更谦虚且可能更少以技术为中心的运营。
“我们看到这对于大多数没有工程专家的公司来说都是有价值的,” Stoica说。
Anyscale正在解决的问题是大规模,涉及计算项目的未来的中心问题:计算解决方案正在解决越来越多的问题,但是随着所涉及工作的复杂性的增加,限制一台机器(甚至是一台大机器)可以处理的工作量。(实际上,Anyscale引用了IDC估计到2025年每年创建和复制的数据量将达到175 ZB。)
尽管有一天可能会有量子计算机器可以高效,大规模地运行以解决这类任务,但如今这已不是现实的选择,因此分布式计算已成为一种解决方案。
Ray被设计为用于实现分布式计算环境的标准,但就其本身而言,它太技术性了,无法使用。
Nishihara补充说:“想象一下你是生物学家。”“您可以编写一个简单的程序并大规模运行它,但是要成功地做到这一点,您不仅需要成为生物学专家,还需要成为计算机专家。那太高了障碍。”
Anyscale(和Ray)背后的人们背后还有一长串非常可靠的其他工作清单,这些清单表明了这里所发现的机会。例如,Stoica也是Databricks,Conviva的共同创始人,也是Apache Spark的最初开发者之一。
“我与Ion合作开发了Databricks,这就是它的开始,” Andreessen Horowitz联合创始人Ben Horowitz在接受采访时说。他补充说,该公司一直是加州大学伯克利分校的项目的定期投资者。Ray,尤其是Anyscale,以其与当今计算需求的相关性而著称。
“W第i个雷,这是因为开源的指标,也因为这个问题它解决了一个非常有吸引力的项目,”他说。
“我们一直在努力克服摩尔定律的结束,但更有趣的是,对于人工智能应用程序来说,这是不够的。”在这种情况下,需要增加的计算能力超过任何一台机器都能做到的。“您必须能够处理分布式计算,但是除Google之外的每个人都面临的问题是分布式计算很难,因此我们一直在寻找解决方案。”
标签: