Vorhersagen im Bereich KI für die nächsten 12 Monate

Seit 2018 geben Nathan Benaich und Ian Hogarth einmal jährlich ihren State of AI Report heraus. Für 2021 ist er hier veröffentlicht.
Neben einem umfassenden Rückblick zur Entwicklungen der KI im vergangen Jahr in den Bereichen Forschung, Talentausbildung, Industrieeinsatz und Politik (der sehr lesenswert ist) gibt es immer auch einen Part mit Vohersagen für die kommenden 12 Monate, bei denen sie in den letzten Jahren häufig richtig lagen.

Hier also nun die sieben Vorhersagen für die kommenden 12 Monate sowie jeweils ein Kommentar als Erklärung dazu:

1. Transformer Modelle ersetzen RNNs in Modellen zur Umweltmodellierung ("world models"), um mit Hilfe von Reinforcement Learning Verfahren die Leistungen von Menschen in großen und komplexen Spielen zu übertreffen.

   • Transformer Modelle haben in den letzten zwei Jahren bereits in den Bereichen NLP und Computer Vision zu neuen Bestmarken geführt und setzen sich zunehmend in allen Bereichen als Basismodelle durch.

2. Die Marktkapitalisierung von ASML erreicht 500 Milliarden Dollar.

   • ASML ist ein niederländisches Unternehmen und der weltweit größte Anbieter von Lithographiesystemen für die Halbleiterindustrie. Die sehr komplexen Maschinen spielen eine wichtige Rolle bei der Herstellung von Mikrochips. Die meisten Chiphersteller sind Kunden von ASML. Der weltweite Marktanteil betrug 2020 62%. Aktuell liegt die Marktkapitalisierung von ASML bei 330 Milliarden Dollar.

3. Anthropic publiziert auf dem Niveau von GPT, Dota, AlphaGo und etabliert sich damit als dritter Pol der AGI-Forschung.

   • Die Forschung im Bereich Artificial General Intelligence (AIG; allgemeine Künstliche Intelligenz) wird aktuell von DeepMind (einem Unternehmen von Google) und von OpenAI (von Elon Musk gegründet, aber inzwischen stark vom neuen Miteigentümer Microsoft beeinflusst). Anthropic ist ein kürzlich von ehemaligen Mitarbeitern von OpenAI gegründetes Unternehmen.

4. Eine Konsolidierungswelle in der KI-Halbleiterbranche, bei der mindestens eines der Unternehmen Graphcore, Cerebras, SambaNova, Groq oder Mythic von einem großen Technologieunternehmen oder einem großen etablierten Halbleiterhersteller übernommen wird.

   • Die Halbliterbranche und der Zugang zu leistungsfähigen Chips (vornehmlich in Taiwan hergestellt) werden ein immer wichtigere Element der KI-Weiterentwicklung, wie auch in Vorhersage 2 bereits zu erkennen ist.

5. Kleine Transformer+CNN-Hybridmodelle erreichen die aktuellen State-of-the-Art Ergebnisse auf Imagenet (CoAtNet-7; 90,88%; 2,44 Milliarden Parameter) mit 10x weniger Parametern.

   • Imagenet ist der Standarddatensatz zum Leistungsvergleich in der Bilderkennung. Die verwendeten KI-Modelle werden dabei immer größer, gleichzeitig gibt es aktuell viele Anstrengungen sie bei gleicher Leistung kleiner zu machen, was durch diese Vorhersage verdeutlicht wird.

6. DeepMind veröffentlicht einen wichtigen Forschungsdurchbruch in den physikalischen Wissenschaften.

   • Durch sein Modell zur Vorhersage von Proteinstrukturen hat DeepMind bereits in der Biologie für einen Forschungsdurchbruch gesorgt, von dem gesagt wird, dass er die Forschung in der Biologie grundlegend verändern wird (siehe Nature News)

7. Das JAX-Framework wächst von 1 % auf 5 % der monatlich erstellten Repos, gemessen von PapersWithCode.

   • PapersWithCode ist die Standardseite im Web, die für die unterschiedlichen Anwendungsbereiche die aktuell besten KI-Modelle dokumentiert sowie welche Frameworks eingesetzt werden, um KI-Modelle umzusetzen. Die beiden dominanten Frameworks sind Pytorch und TensorFlow. JAX ist ein neuer Framework, der 2020 von Google Research entwickelt wurde und insbesodere in der Forschung zunehmend beliebter wird.