Inference - новий аплікейшн | AI Reliability Engineering | LLM Tracing with OpenInference |
В цьому епізоді - моя доповідь на Fwdays: AI Reliability Engineering чи варто застосовувати новий підхід або продовжувати використовувати традиційний. Продукти та рішення штучного інтелекту набули величезного значення у забезпеченні конкурентоспроможності бізнесу. Однак розгортання та експлуатація продуктів штучного інтелекту в межах периметра організації створює нові виклики з точки зору безпеки та надійності даних. Для зменшення таких ризиків, як витік даних, бюджети, дотримання етичних норм і процесів забезпечення надійності, вкрай важливо застосовувати нові підходи. У цьому контексті ми розглянемо нові виклики та практики SRE, спеціально адаптовані для AI на прикладі кейсу з OpenAI та демо AutoGPT. 00:00 Інтро 03:57 Inspiration 06:58 Numbers 08:00 AI Current State 11:55 AIRe Challenges 14:53 AI Observability 26:44 Q&A
