Uczenie maszynowe w Apple: czym jest, jak działa i w jakich produktach jest wykorzystywane

Jeśli codziennie używasz iPhone'a, iPada lub komputera Mac, jesteś już ich użytkownikiem. Uczenie maszynowe Apple'a Choć nie zawsze zdajesz sobie z tego sprawę. Od sposobu organizacji zdjęć, przez podpowiedzi tekstowe na klawiaturze, po nowe funkcje Apple Intelligence – w tle pracuje prawdziwy cyfrowy mózg, który sprawia, że ​​wszystko wydaje się magiczne… ale jednocześnie bardzo kontrolowane.

W ostatnich latach firma Apple przeszła od bardzo skrytego podejścia do sztucznej inteligencji do otwarcia się na świat Inteligencja Apple, Czasopismo Apple Machine Learning, MLX i bardzo kompletny ekosystem frameworków dla programistów. Wszystko to z jasną ideą: sztuczna inteligencja powinna być wszędzie, ale Twoje dane powinny pozostać Twoje i być przetwarzane, kiedy tylko to możliwe, w obrębie urządzenia.

Co Apple rozumie pod pojęciem uczenia maszynowego i sztucznej inteligencji?

Dla Apple automatyczne uczenie się (uczenie maszynowe) Nie chodzi tylko o wytrenowanie ogromnego modelu w centrum danych i połączenie go z aplikacją. Ich podejście opiera się na wypełnieniu systemu operacyjnego małymi i dużymi inteligentnymi procedurami, które rozwiązują bardzo specyficzne zadania: rozpoznają twarze w Zdjęciach, przewidują, którą aplikację chcesz otworzyć, oczyszczają szumy podczas połączenia czy wykrywają potencjalne wypadki drogowe za pomocą iPhone'a lub Apple Watch.

Równocześnie firma wykonała skok w kierunku generatywna sztuczna inteligencja Z Apple Intelligence: modele potrafiące podsumowywać, przepisywać i klasyfikować tekst, generować obrazy przypominające ilustracje lub tworzyć spersonalizowane Genmoji, reagować językiem naturalnym i rozumieć kontekst tego, co widzisz na ekranie. Wszystko to nie jest dostępne jako samodzielna aplikacja, ale zintegrowany z systemem i rozdzielone pomiędzy różne funkcje.

Historycznie Apple bardzo skrywało to, co ujawniało na temat swojej pracy nad sztuczną inteligencją, co powodowało problemy w kontekście przyciągnąć talenty badawczeBrak publikacji artykułów i umożliwienie inżynierom dzielenia się postępami w pracach kłóciło się z kulturą akademicką społeczności AI. Właśnie dlatego uruchomienie Apple Machine Learning Journal Apple Stanowiło to znaczącą zmianę w sposobie przekazywania wyników ich badań.

W tym technicznym blogu inżynierowie Apple szczegółowo wyjaśniają, w jaki sposób stosują sztuczną inteligencję i uczenie maszynowe, aby tworzyć inteligentniejsze produkty, a przede wszystkim, jak rozwiązują złożone problemy, takie jak: realizm obrazów syntetycznychktóre służą do szybszego szkolenia sieci neuronowych i wymagają mniejszego wysiłku w zakresie ręcznego etykietowania.

Zmiana kulturowa jest również widoczna w obecnym zachęcaniu przez Apple innych badaczy, studentów i programistów do wysyłać pytania i oferować informacje zwrotne, otwierając kanał komunikacji, którego wcześniej po prostu nie było. Ten krok był niemal konieczny, jeśli Apple chciało kontynuować bezpośrednią rywalizację w środowisku, w którym Google, OpenAI, Meta lub Microsoft Stale publikują i współpracują.

Apple Intelligence: Nowa warstwa sztucznej inteligencji na iPhonie, iPadzie i komputerze Mac

Apple Intelligence to nazwa, którą Apple nadaje swojej ujednoliconej strategii Generatywna sztuczna inteligencja i uczenie maszynowe zintegrowane z samym systemem operacyjnym. Nie jest to pojedynczy model ani pojedyncza aplikacja, ale zestaw modeli i narzędzi, które znajdują się w systemach iOS, iPadOS i macOS i są rozproszone w całym systemie.

Wiele funkcji Apple Intelligence wykorzystuje istniejące możliwości (ponad 200 procedur uczenia maszynowego na iPhonie już obsługiwało takie zadania, jak porządkowanie zdjęć czy przewidywanie tekstu), ale teraz dodają modele generowania języka i obrazów dużo bardziej wyrafinowane, zaprojektowane specjalnie do codziennych zadań.

Kluczem jest sposób wykonywania tych funkcji. Apple stawia wszystko na jedną kartę. przetwarzanie na urządzeniuModele działają bezpośrednio na Twoim iPhonie, iPadzie lub komputerze Mac Chipy A17 Pro lub Apple Silicon (seria M)Wykorzystuje to procesor CPU, GPU i przede wszystkim silnik neuronowy. Dzięki temu Twoje dane osobowe nie opuszczają urządzenia podczas większości codziennych czynności.

Jeśli zadanie jest zbyt wymagające dla lokalnego sprzętu, należy podjąć następujące kroki: Prywatna chmura obliczeniowaW takim przypadku urządzenie wybiera tylko niezbędne dane, anonimowo przesyła je na serwery Apple, uruchamia tam model i usuwa dane bez ich przechowywania. Ta prywatna chmura działa w oparciu o sprzęt z procesorami Apple i oferuje zaawansowane mechanizmy audytu bezpieczeństwa, zapobiegające nieautoryzowanemu dostępowi.

Ponadto Apple Intelligence może korzystać z modeli innych firm, takich jak Czat OpenAIGPT W przypadku bardzo ogólnych pytań lub specjalistycznych tematów, których nie obejmują modele Apple, Siri wyraźnie pyta, czy chcesz wysłać informacje do tej usługi zewnętrznej. Możesz zablokować tę opcję, jeśli wolisz, aby wszystko pozostało w ekosystemie Apple.

Główne inteligentne funkcje dla użytkownika

Widoczne oblicze uczenia maszynowego w Apple można dostrzec w funkcjach, z których korzystasz na co dzień, a wiele z nich jest już zintegrowanych z Apple Intelligence i klasycznymi frameworkami uczenia maszynowego tej firmy.

Jedną z najbardziej rzucających się w oczy nowych funkcji jest Inteligencja wizualnaFunkcja ta jest dostępna na iPhonie 16, iPhonie 16 Pro oraz po naciśnięciu przycisku akcji na iPhonie 15 Pro i iPhonie 16e. Aktywuje ona kamerę, która następnie przechodzi w tryb, w którym system analizuje treści, na których się skupiasz, i oferuje opcje takie jak „Zapytaj” lub „Szukaj”. Jeśli zostanie wyświetlony tekst, mogą pojawić się również opcje takie jak „Podsumowanie”, „Przetłumacz” lub „Przeczytaj na głos”.

Dzięki temu iPhone może podsumować wydrukowany dokument, przeczytać całą stronę na głos lub przetłumaczyć menu w locie na inny językJest to połączenie przetwarzania obrazu komputerowego, przetwarzania języka i syntezy mowy, które w dużej mierze są wykonywane bezpośrednio na urządzeniu.

Te Narzędzia do pisania Stanowią kolejny kluczowy element. Zintegrowane z wieloma aplikacjami systemowymi i dostępne dla aplikacji firm trzecich korzystających ze wspólnych interfejsów API, pozwalają podsumowywać długie teksty, przepisywać je w innym tonie lub stylu, poprawiać gramatykę i sugerować szybkie odpowiedzi w kontekstach takich jak Poczta czy Wiadomości. W tym miejscu do gry wchodzą modele językowe Apple, a także, opcjonalnie, modele firm trzecich, takie jak ChatGPT.

W sferze wizualnej Apple oferuje dwie funkcje generowania obrazu: Genmoji, która tworzy niestandardowe emotikony z opisów tekstowych do wykorzystania w iMessage lub e-mailach, oraz Obraz Plac zabawGeneruje ilustracje w różnych stylach (szkic, ilustracja lub animacja 3D) na podstawie prostych instrukcji. Nie konkurują z niszowymi usługami takimi jak Midjourney, ale mają tę zaletę, że są zintegrowane, darmowe i działają z silnym naciskiem na prywatność.

Zarządzający powiadomienia Wiadomości stały się również bardziej inteligentne. System wykorzystuje modele klasyfikacji, aby decydować, które powiadomienia są najbardziej istotne i nadawać im priorytety. Potrafi skondensować treść e-maili i wiadomości w jednym wierszu, dzięki czemu można zapoznać się z nimi bez ich otwierania, a także inteligentniej dostosowywać tryb skupienia w oparciu o kontekst.

W aplikacji Zdjęcia uczenie maszynowe jest wykorzystywane do rozpoznawać twarze, miejsca, obiekty i scenyTwórz pokazy slajdów o strukturze narracyjnej i sugeruj odpowiednią muzykę. Dzięki sztucznej inteligencji możesz również wyszukać konkretny moment w filmie, opisując, co się dzieje („kiedy dziewczyna zdmuchuje świeczki”), a także uzyskać dostęp do zaawansowanych narzędzi do edycji, takich jak usuwanie niechcianych elementów tła jednym dotknięciem.

Udoskonalona Siri: więcej kontekstu, więcej sztucznej inteligencji i połączenie z modelami zewnętrznymi

Siri to jeden z produktów Apple, w którym wpływ uczenia maszynowego i jego niedawnej ewolucji jest najbardziej zauważalny. Pierwotny asystent, nabyty w 2010 roku po okresie współpracy z projektami finansowanymi przez DARPA, opierał się na technologiach rozpoznawania głosu, takich jak te firmy Nuance, oraz na systemach mniej zaawansowanych niż dzisiejsze modele sieci neuronowych.

Z czasem Apple zaczęło używać głębokie sieci neuronowe, n-gramy i inne modele na urządzeniu Aby poprawić rozumienie języka i rozpoznawanie mowy. Te ulepszenia były tak znaczące, że, według Eddy'ego Cue, skok w dokładności zmusił zespół do powtórzenia testów w przypadku wystąpienia błędu obliczeniowego.

Mimo to rewolucja nadeszła wraz z architekturą Transformatory Spopularyzowane przez słynny artykuł z 2017 roku „Attention is All You Need”, fundament nowoczesnej generatywnej sztucznej inteligencji i modeli podobnych do tych z OpenAI. Podczas gdy ChatGPT stał się wszechobecny, wielu uważało, że Apple pozostaje w tyle, nie mając bezpośredniego odpowiednika.

Odpowiedzią firmy było przeprojektowanie Siri jako publicznej twarzy Apple Intelligence. Teraz asystent ma nowy interfejs Oświetla całą ramkę iPhone'a, można go obsługiwać zarówno podczas pisania tekstu, jak i za pomocą poleceń głosowych. Znacznie lepiej rozpoznaje kontekst osobisty: spotkania w kalendarzu, wiadomości e-mail, treści wyświetlane na ekranie, ostatnie wiadomości itp.

Począwszy od nowych wersji systemu, Siri będzie mogła steruj aplikacjami tak, jakbyś był sobąŁączy ze sobą złożone działania i konsultuje różne wewnętrzne źródła informacji. A gdy potrzebne są informacje zewnętrzne lub bardzo otwarte rozumowanie, działa jako brama do modeli zewnętrznych, takich jak ChatGPT, zawsze prosząc o pozwolenie przed wysłaniem danych.

Ramy uczenia maszynowego dla programistów

Wszystko, co widzi użytkownik końcowy, opiera się na potężnym ekosystemie frameworków ML, które Apple oddaje w ręce programistów i entuzjastów. Zespół On-Device Machine Learning oferuje narzędzia do integracji Apple Intelligence i modeli niestandardowych w aplikacjach i projektach, bez konieczności ciągłego polegania na chmurze.

Kamieniem węgielnym jest Rdzeń ML, framework do uruchamiania modeli uczenia maszynowego na urządzeniach Apple. Modele są spakowane w formacie .mlmodel i można je pobrać w postaci gotowej ze strony developer.apple.com lub z oficjalnej przestrzeni Hugging Face firmy Apple, a także przekonwertować z innych formatów (TensorFlow, PyTorch itp.) za pomocą narzędzi Core ML Tools w Pythonie.

Core ML automatycznie optymalizuje modele pod kątem sprzętu Apple, zmniejszając rozmiar i poprawiając wydajność, a także może łączyć te optymalizacje z ręcznymi modyfikacjami. W Xcode programiści mogą analizować architekturę modelu, przeglądać metryki wydajności, a nawet… generuj silnie typizowany kod Swift aby bezpiecznie zintegrować je ze swoimi aplikacjami.

W czasie wykonywania Core ML rozdziela obciążenie między procesor, kartę graficzną i silnik neuronowy, aby zapewnić szybkie i energooszczędne wnioskowanie, zachowując jednocześnie prywatność dzięki lokalnemu uruchamianiu wszystkich funkcji. W zaawansowanych przypadkach użycia można go uzupełnić o MPSGraph i Metal Compute do programowania niestandardowych jąder GPU lub za pomocą API Wykres BNNS z frameworka Accelerate, który teraz obejmuje BNNSGraphBuilder do budowania grafów ML na procesorze z niskim opóźnieniem.

Dla tych, którzy chcą trenować własne modele bez opuszczania ekosystemu, Apple oferuje Utwórz MLPołączenie aplikacji i frameworka zaprojektowanego do trenowania modeli klasyfikacji obrazów, wykrywania obiektów, analizy tekstu lub klasyfikacji dźwięku w języku Swift. Wykorzystuje techniki transferu wiedzy i integruje się z Xcode, upraszczając cykl trenowania, oceny i eksportowania modeli bezpośrednio do .mlmodel.

Konkretne interfejsy API: wizja, język, dźwięk i głos

Oprócz Core ML firma Apple utrzymuje szereg specjalistycznych struktur opartych na uczeniu maszynowym, które pomagają rozwiązywać bardzo specyficzne problemy bez konieczności projektowania modelu przez programistę od podstaw.

Pierwszy to WizjaInterfejs API widzenia komputerowego umożliwia klasyfikację obrazów, wykrywanie obiektów za pomocą ramek ograniczających, rozpoznawanie twarzy, OCR, segmentację osób lub tła oraz ocenę pozycji człowieka. Najnowsze wersje zawierają takie ulepszenia, jak... zaawansowane rozpoznawanie dokumentów lub wykrywanie smug na obiektywie, co jest bardzo przydatne, ponieważ ostrzega użytkownika o konieczności wyczyszczenia aparatu, jeśli coś wyjdzie nieostre.

W przypadku języka naturalnego istnieją ramy Język naturalnyOferuje identyfikację języka, tokenizację, tagowanie gramatyczne, rozpoznawanie encji, analizę sentymentu, lematyzację i generowanie osadzania. Wszystko to działa na urządzeniu, gdy tylko jest to możliwe, co czyni go idealnym wyborem dla… aplikacje, które muszą analizować teksty w sposób prywatny bez przesyłania danych na serwer.

Tłumaczenie maszynowe jest obsługiwane za pomocą frameworka TłumaczeniePodczas Analiza dźwięku Wykrywa i klasyfikuje dźwięki w czasie rzeczywistym (od szczekania psów i alarmów po lekcje muzyki) za pomocą modeli Core ML. Podobnie jak w przypadku pozostałych interfejsów API Apple, przetwarzanie dźwięku może odbywać się lokalnie, co jest kluczowe w kontekście bezpieczeństwa lub monitoringu.

W obszarze głosu Apple ma ramy Przemówienie, specjalizujący się w rozpoznawaniu i transkrypcji. Włączenie API Analizator mowy Umożliwia szybsze i bardziej elastyczne przetwarzanie mowy na tekst, szczególnie w długie nagrania audio lub gdy mikrofon jest dalekoJest to ważny element aplikacji do dyktowania, nagrywania spotkań i tworzenia napisów na żywo.

Wszystkie te struktury można łączyć ze sobą, a także z niestandardowymi modelami utworzonymi za pomocą Create ML lub przekonwertowanymi za pomocą narzędzi Core ML Tools, co pozwala na stworzenie niezwykle spójnego ekosystemu AI obejmującego systemy iOS, iPadOS, macOS, watchOS i tvOS.

Modele fundamentowe i MLX: skok w skalowalność w Apple Silicon

Wraz z pojawieniem się systemu iOS 26 firma Apple wykonała ważny krok, włączając Struktura modeli fundacyjnych bezpośrednio do systemu. Są to rozbudowane modele językowe, zoptymalizowane i dostrojone specjalnie do typowych codziennych zadań: podsumowywania, wyodrębniania kluczowych informacji, klasyfikowania, generowania ustrukturyzowanych odpowiedzi czy bezpiecznej pracy z danymi osobowymi.

Te modele działają idealnie na urządzeniu Jeśli to możliwe, oznacza to na przykład, że możesz zażądać streszczenia długiego tekstu lub wyodrębnić kluczowe dane z dokumentu, nie opuszczając iPhone'a ani Maca. Co więcej, można je zintegrować z danymi w czasie rzeczywistym poprzez „wywołania narzędzi”, umożliwiając modelowi wykonywanie działań (otwieranie aplikacji, tworzenie cytowań, wyszukiwanie w lokalnej bazie danych) i cytowanie wiarygodnych źródeł.

W celu przeprowadzenia badań i eksperymentów firma Apple uruchomiła MLXMLX to biblioteka open source do obliczeń numerycznych i uczenia maszynowego, zaprojektowana specjalnie z myślą o wykorzystaniu potencjału procesorów Apple Silicon. MLX umożliwia dostrajanie, trenowanie i uruchamianie modeli nowej generacji na urządzeniach Mac z układami M, w tym: duże modele językowe (LLM) który można uruchomić za pomocą prostego wywołania wiersza poleceń.

Zunifikowana architektura pamięci Apple Silicon umożliwia równoległą pracę procesora CPU i GPU na tym samym buforze, co znacznie upraszcza zarządzanie danymi i zwiększa wydajność uczenia i wnioskowania. Technologia MLX jest dostępna w Python, Swift, C++ i inne językii jest uzupełniona o obsługę popularnych frameworków, takich jak PyTorch lub JAX, którą Apple dodało za pośrednictwem Metal.

Dla badaczy i entuzjastów sztucznej inteligencji Apple utrzymuje aktywne zasoby na stronie developer.apple.com oraz w swoich repozytoriach GitHub, gdzie publikuje modele, narzędzia do konwersji, przykłady kodu i artykuły techniczne. To znacząca zmiana w porównaniu z czasami, gdy praktycznie żadne z badań nie było upubliczniane.

Prywatność, prywatna chmura i relacje z innymi modelami sztucznej inteligencji

Jednym z filarów podejścia Apple do sztucznej inteligencji i uczenia maszynowego jest PrywatnośćFirma twierdzi, że modelki muszą znać Twoje dane osobowe, aby móc być naprawdę przydatne, nie oznacza to jednak, że będą je gromadzić lub wykorzystywać poza Twoją kontrolą.

Przetwarzanie na urządzeniu, z coraz wydajniejszymi i bardziej wyspecjalizowanymi układami scalonymi, pozwala iPhone'owi lub Macowi wykonywać czynności, które jeszcze kilka lat temu wymagały dużego serwera. To przekłada się na mniejsze opóźnienie, praca w trybie offline i zerowa zależność Firmy zewnętrzne oferują wiele inteligentnych funkcji. Dzięki temu, że dane nie są przesyłane do chmury, ryzyko wycieków i problemów prawnych jest mniejsze.

Kiedy Apple musi użyć większych modeli, które nie mieszczą się wygodnie w urządzeniu, ucieka się do Prywatna chmura obliczeniowaIdea polega na tym, że serwery nie wiedzą, kim jesteś ani co przetwarzasz; po prostu otrzymują partię anonimowych danych, uruchamiają model i zwracają wynik, nie przechowując niczego. Co więcej, serwery te działają na sprzęcie z procesorami Apple i posiadają otwarte systemy audytu, dzięki czemu eksperci ds. bezpieczeństwa mogą je weryfikować.

Integracja z usługami stron trzecich, taka jak umowa z OpenAI o korzystaniu z ChatGPT w określonych przypadkach, zawsze odbywa się za pośrednictwem Siri lub narzędzi systemowych, z wyraźnym pytaniem o zgodę na przesłanie informacji. Mimo to nie jest to konieczne. załóż konto na ChatGPT aby korzystać z podstawowych funkcji, choć możesz je także połączyć, jeśli chcesz uzyskać dostęp do bardziej zaawansowanych narzędzi.

Apple planuje w przyszłości zezwolić na integrację z tym systemem innych modeli: od alternatyw, takich jak Google Gemini, po otwarte modele, takie jak Llama. Koncepcja zakłada, że ​​Siri i Apple Intelligence będą pełnić funkcję „warstwy orkiestracyjnej” dla tych modeli, zapewniając spójność i, w miarę możliwości, zgodność ze standardami prywatności firmy.

Przykłady zastosowań w produktach i rozwój zawodowy

W codziennym użytkowaniu uczenie maszynowe w Apple znajduje odzwierciedlenie w tak różnorodnych funkcjach, jak wykrywanie kolizji z iPhone’a i Apple Watch, przewidywanie tekstu na klawiaturze, oprogramowanie do ulepszania zdjęć, rekomendacje Apple Music lub sugestie popularnych miejsc docelowych w Mapach o określonych porach.

Ekosystem uczenia maszynowego Apple otwiera przed firmami i deweloperami drzwi do całej gamy projektów: klasyfikacji obrazów w katalogach produktów, lokalnych systemów rekomendacji, automatycznej analizy dokumentów, wewnętrznych asystentów konwersacyjnych, agentów automatyzujących rutynowe procesy lub wykrywania zdarzeń akustycznych w czasie rzeczywistym.

Firmy specjalistyczne takie jak Q2BSTUDIO Opierają się na technologiach takich jak Core ML, Create ML, Vision, Natural Language i SoundAnalysis, aby tworzyć rozwiązania dostosowane do indywidualnych potrzeb, integrując również infrastruktury chmurowe (AWS, Azure), gdy wymagane jest przetwarzanie w chmurze lub wdrożenia hybrydowe. Łączą również te modele z narzędziami z Business Intelligence i Power BI przekształcić prognozy w wykonalne decyzje.

Innym często zadawanym pytaniem jest, czy warto korzystać z MacBook do uczenia maszynowegoWielu użytkowników ceni sobie żywotność baterii, mobilność i ogólną wygodę użytkowania w porównaniu z nieporęcznymi laptopami z systemem Windows. Jednak w przypadku bardzo dużych modeli bardziej praktyczne pozostają dedykowane stacje robocze lub chmura. Komputery Mac z chipem M Wykazali się bardzo dobrą wydajnością w przypadku szkoleń na małą i średnią skalę, lokalnego rozwoju, prototypowania i uruchamiania zoptymalizowanych modeli przy użyciu MLX lub Core ML.

Potencjalne wady w porównaniu z Linuksem lub Windowsem zwykle wiążą się ze zgodnością określonych bibliotek lub z faktem, że niektóre narzędzia są przeznaczone przede wszystkim dla procesorów graficznych NVIDIA. Jednak wsparcie firmy Apple za pośrednictwem platformy Metal i własnego ekosystemu ML dość szybko zniwelowało tę różnicę.

Cała ta sieć technologii, od małych modeli na urządzeniach po Apple Intelligence i Private Cloud Computing, tworzy obraz, w którym Sztuczna inteligencja firmy Apple dociera do niemal każdego zakątka systemu aby zapewnić użytkownikom płynniejsze, bardziej spersonalizowane i jednocześnie bezpieczniejsze korzystanie z aplikacji, tak aby zarówno użytkownicy, jak i deweloperzy mogli polegać na uczeniu maszynowym bez konieczności rezygnowania z prywatności lub zmagania się z nadmierną złożonością.