Bakdata

В нашите проекти често ни се налага да правим заявки към съдържанието на Kafka topics. За тази цел предлагаме REST-приложения, базирани на интерактивните заявки на Kafka Streams. Този подход обаче има някои недостатъци. Например, потребителите трябва да свързват различни APIs и резултати заедно. Освен това той може да стане скъп, тъй като API на всяка Kafka topic изисква един или повече JVM. В тази лекция ще покажем как GraphQL може да обслужва единични заявки, включващи множество Kafka topics, като връща само данните, които потребителят е поискал. Нашият подход елиминира ненужните разходи и липсата на гъвкавост, свързани с традиционните API-подходи към Kafka topics. Ще подчертаем и различни начини за намаляване на разходите за изчислителни ресурси, като процесор и оперативна памет.

Компанията Bayer избра Apache Kafka като основен слой за различни потоци от документи, преминаващи през няколко стъпки за обработка и обогатяване на текст. Всеки ден Bayer анализира множество документи, включително клинични изследвания, патенти, доклади, новини, литература и др. Ще дадем представа за стратегическото значение, ще надникнем в бъдещите предизвикателства и ще предоставим цялостен технически преглед. По време на дискусията ще разгледаме предизвикателствата, с които се справяме в платформата, и ще обсъдим съответните решения. Обсъждаме нашия подход за непрекъснато привличане на данни от различни външни източници и как хармонизираме различните формати и схеми. Говорим и за обработката на големи документи и отстраняването на грешки. След това се обръщаме към потребителя и демонстрираме платформата. Ще научите как потребителите създават нови конвейери за обработка на документи и как Bayer следи многото работещи Kafka конвейери.