Kai-Fu Lees 1-Milliarde-Dollar-LLM-Startup stellt Open-Source-Modell vor

Kai-Fu Lee, der Informatiker, der im Westen für seine Bestseller bekannt ist KI-Superkräfte Und in China, wo es auf Einhörner mit künstlicher Intelligenz setzt, hat er ein neues Projekt – und große Ambitionen.

Ende März gründete Lee ein Unternehmen namens … 01.AI Mit der Vision, vor Ort ein großes Sprachmodell für den chinesischen Markt zu entwickeln. Das Projekt stellt es in Konkurrenz zu anderen prominenten chinesischen Technologieführern, darunter Sogou-Gründer Wang Xiaochuan, der schnell Talente und Risikokapital sammelt, um chinesische Äquivalente von OpenAI zu schaffen.

„Ich denke, Notwendigkeit ist die Mutter der Innovation, und in China gibt es eindeutig eine große Notwendigkeit“, sagte Li, der 61 Jahre alt ist und 01.AI als CEO leitet, in einem Interview mit TechCrunch und erläuterte die Motivation hinter der Gründung des Unternehmens. „Anders als der Rest der Welt hat China keinen Zugang zu OpenAI und Google, weil diese beiden Unternehmen ihre Produkte nicht in China verfügbar gemacht haben. Daher denke ich, dass viele MBAs versuchen, ihren Teil dazu beizutragen, eine Lösung für den Markt zu finden.“ . Das braucht es wirklich.“

01. Das Wachstum der künstlichen Intelligenz spiegelt die rasante Entwicklung im Bereich der generativen künstlichen Intelligenz treffend wider. Sieben Monate nach seiner Gründung veröffentlichte das Startup seinen ersten Prototypen, der Open Source ist YE-34B. Die Entscheidung, ein offenes LLM als erstes Produkt anzubieten, sei eine Möglichkeit, der Community „etwas zurückzugeben“, sagte Lee. Für Menschen, die das Gefühl hatten, LLaMA sei ein „Glücksfall“ für sie, „haben wir eine überzeugende Alternative geboten“, fügte er hinzu.

Zum Zeitpunkt des Schreibens wurde Yi-34B, ein zweisprachiges Basismodell (Englisch und Chinesisch), mit 34 Milliarden Parametern trainiert und ist viel kleiner als andere offene Modelle wie Falcon-180B und Meta LlaMa2-70B. Es belegte den ersten Platz unter den vorab trainierten LLM-Modellen. Gemäß Hugging Face-Klassifizierung.

„Wir glauben immer noch, dass größere Modelle, wenn sie gut auf einer großen Menge hochwertiger Daten trainiert werden, kleinere Modelle ähnlicher Qualität und ähnlicher Technologie immer deutlich übertreffen werden, denke ich.“ [Yi-34B] „Eine bessere Leistung als größere Modelle ist etwas, was wir normalerweise nicht sehen“, sagte Lee. „Wir sind sehr zuversichtlich, dass wir im Laufe des nächsten oder anderthalb Jahren Modelle im Wert von 100 bis 400 Milliarden US-Dollar auf den Markt gebracht haben, und diese Modelle werden deutlich besser sein als das heute angekündigte Modell.“

Die Fähigkeit des Startups, schnell mit der modularen Ausbildung zu beginnen, ist zweifellos das Ergebnis einer reibungslosen Mittelbeschaffung, die für die Sicherung erstklassiger Talente und KI-Experten von entscheidender Bedeutung ist. Während er es ablehnte, den von 01.AI gesammelten Betrag preiszugeben, sagte Li, dass dieser einen Wert von 1 Milliarde US-Dollar habe, nachdem er Mittel von Sinovation Ventures, Alibaba Cloud und anderen nicht genannten Investoren erhalten habe.

01.AI ist bereits auf mehr als 100 Mitarbeiter angewachsen, von denen mehr als die Hälfte LLM-Experten großer multinationaler und chinesischer Technologieunternehmen sind. Sein Vizepräsident für Technologie ist beispielsweise ein frühes Mitglied von Googles Bard, und sein Chefingenieur war Gründungsmitglied von TensorFlow und arbeitete mit berühmten Forschern wie Jeff Dean und Samy Bengio bei Google Brain zusammen. Die Schlüsselfiguren hinter dem Yi-34B sind Wenhao Huang, ein Veteran der Microsoft-Forschung in Asien, und Ethan Dai, der leitende KI-Positionen bei Huawei und Alibaba innehatte.

Lee hat mehr als ein Dutzend Einhörner unterstützt und über Sinovation Ventures sieben Unternehmen aufgebaut. Er ist vielleicht einer der am besten vernetzten Investoren und Unternehmer in China.

„Es ist mehr als 25 Jahre her, dass Microsoft Research Asia gegründet wurde, und bei allem, was ich getan habe, ging es darum, absolut großartige Talente zu gewinnen“, sagte Lee, der Microsoft Research Asia gründete, das größte ausländische Forschungszentrum des US-Riesen. Bevor Google China anführte. Im Laufe der Jahre hat sich Microsoft Research Asia den Ruf erworben, der „West Point“ für die Förderung von KI-Unternehmern in China zu sein.

„Natürlich möchte man die Arbeitnehmer fair bezahlen und bei den Löhnen wettbewerbsfähig sein, aber ich denke wirklich, dass es auch darum geht, dass die Menschen daran glauben, dass sie etwas bewirken können und dass das Unternehmen erfolgreich sein kann“, sagte Lee, der auftrat die Show. „. Videoanruf um 21:30 Uhr Pekinger Zeit. Seine Mitarbeiter motivierten sich gleichermaßen. Einer der Infrastrukturexperten des Startups arbeitete bis in die frühen Morgenstunden des Tages und schickte um 2:15 Uhr noch Nachrichten an Lee, in denen er seine Begeisterung darüber zum Ausdruck brachte, Teil der 01.AI-Mission zu sein.

Es ist kein Geheimnis, dass der Aufbau von LLMs ein teures Unterfangen ist. Um seinen bargeldintensiven Betrieb aufrechtzuerhalten, verfügt 01.AI von Anfang an über Monetarisierungspläne. Während das Unternehmen weiterhin einige seiner Modelle als Open Source bereitstellen wird, besteht sein Ziel darin, ein hochmodernes proprietäres Modell zu entwickeln, das als Grundlage für eine Vielzahl kommerzieller Produkte dienen wird.

„Wir „Man kann nicht alles als Open Source veröffentlichen“, sagte er mir. „Wir waren uns der Tatsache bewusst, dass diese großen Sprachmodelle viel Rechenleistung erfordern und daher teuer sind. Wenn wir viel Geld aufbringen, wird das meiste davon für die GPU ausgegeben. Vor diesem Hintergrund mussten wir zunächst so etwas beschaffen.“ viel GPU wie möglich Was wir getan haben.

Wie andere LLM-Akteure in China hat 01.AI im Vorgriff auf US-Sanktionen proaktiv GPUs gelagert; Sie haben sich Geld geliehen, um Prozessoren zu kaufen, noch bevor Sie die Finanzierung erhalten haben. Im vergangenen Jahr hat die Biden-Regierung die Beschränkungen für Chinas Zugang zu fortschrittlichen KI-Chips verschärft. Dies veranlasste chinesische Unternehmen dazu, überhöhte Preise für Chips zu zahlen. Die Weitsicht wurde belohnt, denn 01.AI verfügt nun über ausreichende Vorräte Zumindest für die nächsten 12-18 Monate.

Abgesehen davon, dass sie chinesischen Unternehmen Kopfschmerzen bereiteten, waren die US-Sanktionen auch ein Katalysator für Innovationen, indem sie sie dazu ermutigten, die Rechenleistung optimal zu nutzen. „Mit einem hochqualifizierten Infrastrukturteam könnten wir pro 1.000 GPUs möglicherweise 2.000 GPUs herausholen“, sagte Lee.

01. Der Weg der KI zur Monetarisierung hängt weitgehend von ihrer Fähigkeit ab, einen Produktmarkt zu finden, der für teure KI-Modelle geeignet ist. Obwohl es an herausragenden LLM-Wissenschaftlern rar ist, herrscht in China kein Mangel an produktiven Talenten.

„China ist den Vereinigten Staaten im MBA-Bereich nicht voraus, aber es besteht kein Zweifel daran, dass China in der Lage ist, bessere Anwendungen zu entwickeln als amerikanische Entwickler, vor allem aufgrund des riesigen mobilen Internet-Ökosystems, das im Laufe der Jahre aufgebaut wurde“, sagte Li . „Die letzten 12 Jahre oder so.“

Der Gründer machte zwar keine Angaben zu den in der Pipeline befindlichen Diensten, deutete jedoch an, dass das Unternehmen mit Konzepten in den Bereichen Produktivität und soziale Trends experimentiere und dass er „enttäuscht“ wäre, wenn 01.AI keine App veröffentlichen würde innerhalb dieses Kalenders. Jahr.

Das ultimative Ziel des Startups besteht laut Lee darin, ein Ökosystem zu werden, in dem externe Entwickler problemlos Apps erstellen können. „Die Pflicht besteht nicht nur darin, gute Forschungsmodelle zu veröffentlichen, sondern vor allem darin, die Anwendungsentwicklung zu vereinfachen, damit es überzeugende Anwendungen gibt“, sagte er. „Letztendlich ist es ein Ökosystemspiel. Die Zeit wird zeigen, ob sich Lees KI-Bemühungen auszahlen werden.“